Az már eddig sem volt titok, hogy a tavaly ősszel megjelent mesterséges intelligenciás chatbot, a ChatGPT egész jó eredménnyel képes megbirkózni az iskolai feladatokkal, hiszen a diákok nemcsak az esszék megírására használják előszeretettel, de korábbi tesztek alapján több egyetemi vizsgát, köztük az amerikai orvosi szakvizsgát is jó eredménnyel abszolválta.
Ezek persze mind angol nyelvű kihívások voltak, így duplán érdekes a HVG nemrég végrehajtott kísérlete, amelyben a hazai érettségi 2022-es feladatsoraival állították szembe a GPT nyelvi modellen alapuló szolgáltatást.
A kísérlet eredményéről pedig elmondható, hogy az OpenAI találmánya a hírhedten nehéz anyanyelvünktől sem jön zavarba, a magyar nyelv és irodalom középszintű érettségit ugyanis 66%-kal teljesítette, ami mellé még matematikából is kanyarintott egy 63 százalékos tesztet. A chatbot így mindkét tárgyból megszerezte volna a négyest.
A ChatGPT ezzel a hús-vér diákok eredményét is felülmúlta, azok ugyanis az Oktatási Hivatal statisztikája alapján magyarból 65,43%-os, matematikából pedig 55,28%-os átlaggal tudták le ugyanezeket a feladatsorokat. Az eredmény kétségtelenül lenyűgöző és ijesztő is egyben, azt azonban a HVG is leszögezi, hogy ehhez a szerkesztőség részéről is sok munka kellett.
Az algoritmusnak ugyanis nem lehetett minden kérdést egy az egyben bemásolni, helyenként különösen kreatívnak kellett lenni ahhoz, hogy a chatbot egyáltalán megértse, hogy mit is vártak tőle: a szövegelemzésnél például Google-dokumentumot kellett gyártani az alapanyagból, mert "nyersen" túl hosszúnak bizonyult, a matematikánál pedig a chatbot nyelvére kellett fordítgatni a hatványt, gyököt és logaritmust tartalmazó egyenleteket, míg a geometriai feladatokat egyáltalán nem sikerült hatékonyan betáplálni.
A próba konklúziója így az, hogy az elvesztett pontok egy részét akár emberi hibának is betudhatjuk, hiszen a ChatGPT teljesítménye nagyban függ a kérdés feltevésének módjától, ami végső soron csakis a felhasználó felelőssége. A fenti linken bővebben olvashattok az egészről.
