Érdekes jelenséget rögzít a Palisade Research múlt héten közzétett tanulmánya, amelyből kiderül, hogyan viselkednek a vezető MI-modellek, ha utasítást kapnak rá, hogy győzzenek le egy erős sakkprogramot. A kutatók megfigyelték, hogy a fejlett érvelési képességeikkel reklámozott modellek némelyike gyorsan rájön, hogy képtelen megnyerni a játszmákat, ezért hekkeléssel próbálkozik: stratégiát alkot, hogy megkerülje környezetének tervezett szabályait a nehéz problémák megoldása érdekében.
A Palisade Research a legjobbnak tartott nagy nyelvi modelleket (LLM-eket) állította szembe az emberi játékosokat már több mint 10 éve stabilan felülmúló Stockfish motorral, ennek során pedig azt tapasztalta, hogy az OpenAI o1 (preview) és a DeepSeek R1 a rendszerfájlok manipulálására törekedett, hogy megváltoztassa bábuinak pozícióját a táblán. Más szóval a biztonsági hézagok feltárásával és kihasználásával akarta megkerülni a biztosítékokat, kerülőutakat találva a feladatok elvégzéséhez még akkor is, ha technikailag nem lett volna lehetősége rá.
A kutatók arra is utasították a modelleket, hogy magyarázzák meg egyes lépéseik okát, a vesztésre álló o1 pedig meg is magyarázta, hogy a feladata a sakkprogram legyőzése volt, nem a tisztességes játék. Ennek megfelelően az esetek 37 százalékában csalni próbált, ami a mérkőzések 6 százalékában sikerült is neki; az R1 az esetek 11 százalékában próbálkozott hekkeléssel, de nem talált ki olyan megoldást, ami végül működött volna.
Nincs az alapokban az etikus működés
Ahogy a beszámolók is emlékeztetnek rá, a Palisade Research anyaga már a sokadik olyan kutatás, ami felhívja a figyelmet a "problémaközpontú LLM-fejlesztés" ellentmondásaira. Kiderült például, hogy az o1 hajlamos a felhasználók szándékos megtévesztésre is, ha utasításba adják neki, hogy "minden áron" teljesítsen egy adott feladatot, mások pedig felfedezték, hogy az MI külön felszólítás nélkül is tud hazudni a kutatóknak, sőt aktívan manipulálja a válaszokat, ha ezzel elkerülheti egy éppen zajló teszt lezárását.
A Futurism riportja alapján mindez rávilágít a mesterséges intelligencia fejlesztésének ingatag etikai alapjaira és a gyors fejlődéssel összefüggő elszámoltathatóság szükségességére: a lap a Palisade Research ügyvezető igazgatóját idézi, aki szerint a bonyolult problémák megoldását célzó megerősített tanulás "könyörtelenné neveli" az MI-modelleket. A technológiai versenyben is elsősorban a befektetők lenyűgözése a cél, így az MI-fejlesztők nem a biztonságot, hanem a sebességet tartják prioritásnak, ami önmagában nem feltétlenül jelent értéket.
CIO KUTATÁS
AZ IRÁNYÍTÁS VISSZASZERZÉSE
Valóban egyre nagyobb lehet az IT és az IT-vezető súlya a vállalatokon belül? A nemzetközi mérések szerint igen, de mi a helyzet Magyarországon?
Segítsen megtalálni a választ! Töltse ki a Budapesti Corvinus Egyetem és a Bitport anonim kutatását, és kérje meg erre üzleti oldalon dolgozó vezetőtársait is!
Az eredményeket május 8-9-én ismertetjük a 16. CIO Hungary konferencián.
Nyílt forráskód: valóban ingyenes, de használatának szigorú szabályai vannak