A szakértők nem győzik hangsúlyozni, hogy habár a mesterséges intelligenciával hajtott chatbotok félelmetesen meggyőző anyagokkal képesek előállni, a háttérben dolgozó algoritmusok egyáltalán nem vizsgálják a végtermék hitelességét, így olykor óriási magabiztossággal előadott hazugságokat is tartalmaznak ezek a gépi szövegek. Szerencsés esetben már első pillantásra is nyilvánvaló a kamu, néha viszont nehéz kiszúrni, így amikor végül mégis sikerül, annál nagyobb a lebukás. Ehhez szolgálhat tankönyvi példaként Donald Trump egykori ügyvédjének története, aki az AI által kitalált kamu ügyekkel próbált kicsikarni egy neki kedvező döntést.
Michael Cohen korábban adócsalás és más bűncselekmények miatt a börtönt is megjárta, most pedig a hároméves próbaidejét tölti, amit egy bírósági indítvány útján igyekezett lerövidíteni. Az ügyvédi kamarából is kizárt férfi saját védője, David Schwartz által benyújtott dokumentum több korábbi ítéletre is utalt, amelyek a kérés jogosságát hivatottak bizonyítani, ám a The Verge beszámolója szerint Jesse Furman kerületi bíró rájött, hogy az idézett ügyek egyszerűen nem léteznek.
Furman erre felszólította Schwartzot a kamuzás tisztázására, az ügyvéd pedig a válaszában felfedte, hogy a légből kapott jogi esetek magától Cohentől származnak, aki a Google Bard chatbotból szerezte a leírásokat, majd elküldte neki őket az indítvány megfogalmazásához. Cohen erre reagálva elismerte, hogy valóban így történt, ám elmondása szerint nem rossz szándék, hanem a témában való járatlansága vezetett ide.
"Nem praktizáló jogászként nem tartottam lépést a jogi technológia új trendjeivel (és a kapcsolódó kockázatokkal), és nem tudtam, hogy a Google Bard egy generatív szövegszolgáltatás, amely a Chat-GPT-hez hasonlóan képes olyan idézeteket és leírásokat megjeleníteni, amelyek valódinak tűnnek, de valójában nem azok. Ehelyett úgy értelmeztem, hogy ez egy felturbózott keresőmotor, és többször használtam más kontextusban, hogy (sikeresen) pontos információkat találjak az interneten."
- írta Cohen, aki állítólag nem gondolta, hogy a beadvány miatt most büntető szankciók előtt álló Schwartz mindenféle ellenőrzés nélkül fogja átvenni az idézeteket. Hogy valóban a felek által vázolt forgatókönyv-e az igaz, azt nem mi fogjuk eldönteni, annyi viszont mindenesetre biztos, hogy a Bard főoldalán, közvetlenül a szövegbeviteli mező alatt szerepel egy apró betűs figyelmeztetés, amely szerint "előfordulhat, hogy a Bard pontatlan információkat jelenít meg".
Nem ez az első eset, amikor az AI botrányt okoz a bíróságon: májusban egy másik ügyvéd, Steven Schwartz is lebukott, hogy a ChatGPT által kitalált ügyekkel próbált előnyt szerezni.
