Az Nvidia kétségtelenül a ChatGPT színre lépésével kirobbant MI-láz egyik legnagyobb nyertese, a generatív technológiákra (pl. chatbotok és képgenerátorok) rárepülő tech ipar ugyanis elsősorban a vállalat által kifejlesztett hardverekre építi az algoritmusok betanításához és működtetéséhez használt nagy teljesítményű infrastruktúrákat.
Az ezzel járó fellendülésnek hála a zöldek nemrég beléptek a billió dolláros cégek exkluzív klubjába, most viszont egy friss jelentés hívja fel rá a figyelmet, hogy milyen biztonsági kockázatokkal járhat az a nagy sietség, ami a mesterséges intelligenciát övezi.
Az Ars Technica beszámolója szerint a San Franciscó-i Robust Intelligence kutatócég munkatársai súlyos biztonsági réseket találtak az Nvidia által létrehozott NeMo Frameworkben. Ez egy felhő-alapú, nyílt forráskódú keretrendszer, amely a generatív szolgáltatásokat hajtó nagy nyelvi modellek létrehozását, személyre szabását és alkalmazását szolgálja, és vállalatok számára teszi lehetővé, hogy a saját adataikat dolgozzák fel ezekkel.
A NeMo Framework így többek között arra is alkalmas lehet, hogy egy nagyobb cég egy mesterséges intelligenciás ügyfélszolgálati platformot alapozzon rá. Csakhogy a Robust Intelligence kutatói felfedezték, hogy a technológiában rejlő sérülékenységek kihasználásával könnyedén hozzá lehet férni olyan adatokhoz is, amelyeket a chatbotoknak nem szabadna kiadniuk, köztük személyek azonosítására alkalmas információkkal.
A beépített korlátozások kijátszása már néhány óra alatt sikerült, a vizsgálat során pedig több kerülőutat is találtak. Az Ars Technica szerint a kutatók az Nvidia által biztosított minta-adathalmazba ásva egy szűk körű, munkahelyi jelentésről szóló beszélgetésen keresztül olyan témákban tudtak válaszokat kicsikarni a vizsgált nyelvi modellből, mint például egy hollywoodi filmsztár egészségi állapota, vagy a francia-porosz háború - annak ellenére, hogy a korlátoknak biztosítaniuk kellene, hogy a mesterséges intelligencia ne lépjen túl bizonyos témakörökön.
Yaron Singer, a Harvard Egyetem informatika professzora és a Robust Intelligence vezérigazgatója szerint a kutatás rámutat, hogy milyen mély buktatókat rejthetnek a hatalmas adathalmazokkal dolgozó nagy nyelvi modellekre épülő szolgáltatások. A jelentésre maga az Nvidia is reagált, úgy nyilatkozva, hogy az egyik biztonsági rést már be is foltozták, és egyben elismerve, hogy a kutatócég tanulmánya "további lépéseket azonosított" a NeMo Framework fejlesztéséhez.
