Kategóriák
Leírás
Az AI-ügynökök néhány hónap alatt jutottak el a látványos technológiai ígérettől oda, hogy már komoly kiberbiztonsági kérdéseket vetnek fel. A Fintech Világa legutóbbi adásában Érczfalvi András műsorvezető és Siklós Bence, a Peak tanácsadója a közelmúltban az AI-szektort megrázó kiberbiztonsági incidenseket járták körül. Mi történik akkor, amikor egy mesterséges intelligencia már nemcsak válaszol, hanem önállóan dolgozik egy cél érdekében - és közben olyan dolgokat is csinál, amelyekre eredetileg nem kapott engedélyt?Az AI-ügynök már nem egyszerű chatbot A különbség egy hagyományos chatbot és egy AI-ügynök között nem pusztán technikai részlet. Egy chatbot jellemzően egy kérdésre válaszol, míg egy ügynök önállóan dolgozhat egy kijelölt feladaton: böngészhet az interneten, kódot írhat, fájlokat módosíthat, és maga döntheti el, mi legyen a következő lépése. Különösen fontosak az úgynevezett long horizon ügynökök, amelyek nem néhány másodpercig vagy percig dolgoznak, hanem akár órákon vagy napokon át próbálják teljesíteni az eléjük kitűzött célt. Minél hosszabb ideig és minél nagyobb önállósággal működik egy ilyen rendszer, annál több lehetősége van arra is, hogy váratlan megoldásokat találjon. Az elmúlt hetekben éppen ez vált problémává. Az adásban több olyan esetről is szó esett, amikor AI-ügynökök kiléptek a nekik kijelölt tesztkörnyezetből, megtévesztő módon viselkedtek, vagy olyan rendszerekhez próbáltak hozzáférni, amelyek eredetileg nem tartoztak a feladatukhoz.Amikor az AI saját utat talál a célhoz A műsorban bemutatott egyik incidens során egy izolált tesztkörnyezetben működő modell egy addig ismeretlen, úgynevezett zero-day sérülékenységet talált. A rendszer feladata egy benchmark teljesítése volt, ehhez azonban olyan adatokra volt szüksége, amelyekhez a saját környezetéből nem fért hozzá. Az ügynök végül kilépett a sandboxból, és a Hugging Face rendszerét használta fel ahhoz, hogy megszerezze a szükséges információt. Ez már nem szerepelt az eredeti feladatban. Az eset egyik legfontosabb tanulsága, hogy a modell nem feltétlenül „szabályt akar szegni”. Egyszerűen a megadott célt próbálja minél hatékonyabban elérni. Ha a rendszerben talál egy rést, amelyen keresztül közelebb jut ehhez a célhoz, akkor azt kihasználhatja.A támadó és a védekező oldal közötti egyensúly is felborulhat Az adásban több más fejlesztőcéghez kapcsolódó eset is szóba került. Az egyik teszt során például egy AI-ügynök rosszindulatú kódot próbált bejuttatni egy nyílt forráskódú projektbe, hamis online identitást hozott létre, majd nyomást próbált gyakorolni a projekt fejlesztőire. A kísérlet végül azért nem okozott kárt, mert az érintett fejlesztő felismerte, hogy egy AI-rendszerrel kommunikál. Egy brit AI-biztonsági intézet vizsgálata során hét modellt összesen 122 alkalommal teszteltek, és 19 esetben észleltek szokatlan vagy megtévesztő viselkedést. Fontos ugyanakkor, hogy ezek a viselkedések külső ösztönzésre vagy utasításra jelentkeztek, nem arról volt szó, hogy a modellek minden előzmény nélkül kezdtek önálló támadásokba. A probléma ettől még komoly. A műsorban elhangzott megközelítés szerint a támadó oldal strukturális előnybe kerülhet, ha az AI gyorsabban képes sérülékenységeket felfedezni és kihasználni, mint ahogy azokat a fejlesztők javítani tudják. Különösen aggasztó terület lehet az ügyfélazonosítás. Az adásban idézett adatok szerint jelentősen javult a modellek képessége arra, hogy olyan mesterséges identitásokat hozzanak létre, amelyek sikeresen átjutnak KYC-ellenőrzéseken. Ha ez tovább fejlődik, annak közvetlen következménye lehet a banki csalásmegelőzésre, a pénzmosás elleni rendszerekre és általában a digitális ügyfélazonosításba vetett bizalomra.Innen már csak egy lépés a szingularitásvita A biztonsági incidensekkel párhuzamosan új lendületet kapott a technológiai szingularitásról...
