A különböző multimodális, tehát több funkcióra is használható AI-modellek rengeteg dologra alkalmasak. Szöveget írnak, képet generálnak és még sok másra is képesek. Nagyon úgy tűnik viszont, hogy egy meglehetősen hétköznapi dologban nem túl jók: jórészt képtelenek vizuálisan leolvasni egy fotóról, hogy mennyi az idő. Ezen felül azt is tesztelték, hogy le tudják-e olvasni egy naptárról az aktuális dátumot.
Az Edinburgh Egyetem kutatói hét közismert AI-modell vonatkozó képességeit tesztelték. A teszt részeként szimplán elküldtek egy fotót egy analóg óráról azzal a kérdéssel, hogy mennyi az idő a képen. A kutatás arra jutott, hogy a legtöbbjüknek gondot okoz a feladat.
Összességében a különböző AI-modellek egyaránt rosszul teljesítettek. Az analóg órákról az esetek kevesebb mint 25%-ában olvasták le helyesen az időt. A római számokkal és stilizált mutatókkal ellátott órák esetében ugyanúgy küszködtek, mint a másodpercmutatót egyáltalán nem tartalmazó órák esetében, ami a kutatók szerint arra utal, hogy a probléma a mutatók felismeréséből és az óralapon lévő szögek értelmezéséből adódhat.
"Az analóg óra leolvasása és a naptár megértése bonyolult kognitív lépéseket igényel: finom vizuális felismerést (pl. óramutató pozíciója) és nem triviális numerikus gondolkodást. A legtöbb ember már kisgyermekkorától kezdve meg tudja mondani az időt és használni a naptárakat. Eredményeink rávilágítanak arra, hogy jelentős hiányosságok mutatkoznak a mesterséges intelligencia azon képességei terén, amelyek az emberek számára alapvető készségeknek számítanak"
- mondta Rohit Saxena, a tanulmány társszerzője.
A Google Gemini-2.0 érte el a legjobb eredményeket az órás feladatban, míg a GPT-o1 a naptár leolvasásának 80%-ában volt pontos - ez sokkal jobb eredmény, mint a versenytársaké.
