A mesterséges intelligencia körüli felhajtásról még sokáig beszélni fogunk, de a vakító rivaldafényhez egyre jobban hozzászokó szemünk látni véli a ténylegesen hasznos felhasználási formákat. Igyekszünk az otthoni felhasználásra fókuszálni, mert bár kétségtelenül izgalmas látni, miképp száll el az Nvidia részvényárfolyama az adatközponti, HPC és egyéb, egyedi tervezésű kiszolgálókba szánt AI-gyorsítók hatására, a többség mégis csak arra kíváncsi, mi csapódik le ebből az íróasztal előtt ülve. A legnagyobb teret egyelőre a Microsoft Copilot szolgáltatási rétege foglalja, naponta érkeznek a hírek arról, miképp fejlődik és milyen módon használható pl. az Office-alkalmazásokban.
Ezen túl számos egyéb program érhető el és próbálható ki különféle méretű, összetettségű nyelvi modellekkel betöltve, miközben a nagy hardvergyártók saját megoldásokkal támogatják az AI-korszakhoz szükséges marketingkommunikációs üzeneteiket. Az Nvidia ebben is elsőként lépett, és kiadta a Chat with RTX megoldását, ami egy, a megfelelő tudású videokártya által gyorsított, otthoni PC-n futtatható chatbot. Kezdésnek nem rossz, olyannyira nem, hogy most az AMD jelentett be hasonlót.
Van egy kis különbség
A Ryzen és Radeon vezérlőket gyártó vállalat más utat választott arra, hogy megmutassa hardvereinek AI-képességeit. Sejtésünk szerint egyfajta átmeneti lépésről lehet szó, hiszen a legfrissebb blogbejegyzésükben feltüntetett LM Studio független az AMD-től, egy bárki számára elérhető, saját, igen széleskörű hardverkövetelményi listával rendelkező program. Nem példa nélküli, hogy az AMD egy harmadik fél által fejlesztett szoftvert von be a saját technológiáinak demonstrálásába, de ha szigorúan tekintünk az összevetésre, akkor az Nvidia a céljait tekintve ezt a feladatot jobban oldotta meg.
Az LM Studio futtatása ugyanis nem gyártótól függ, sokkal inkább a számítási kapacitás és bizonyos utasításkészletek támogatása fontos. Továbbá kvázi platformfüggetlen, Windows mellett MacOS-re és Linuxra is elérhető. Csupán arra kell figyelned, hogy legalább 16 GB rendszermemória legyen a gépedben és 6 GB-nyi VRAM-nál szerényebb felszereltségű videokártyával inkább ne használd.
Az AMD nem is rejti véka alá, hogy ez alapvetően egy multiplatform megoldás, a Ryzen AI neurális egységgel felszerelt processzorokra épített rendszerekre elég egy szimpla telepítés, a nyelvi modell kiválasztása, és máris kezdődhet a csevegés. A Radeon GPU-knál sem sokkal bonyolultabbak a lépések, csak arra kell figyelned, hogy a nyelvi modell telepítését és kiválasztását követően engedélyezd a GPU-gyorsítást, lehetőleg maximális szinten. Eltérés, hogy külön programverziót ajánl az LM Studio telepítésére, ami tartalmazza a videokártyára paraméterezett, gépi tanulás folyamatokat, számításokat lehetővé tévő ROCm szoftvermodult.
Az élmény tulajdonképpen hasonló, a chatelés rögtön indítható, de hogy pontosan miképp és milyen terheléssel használja a processzort vagy Radeon videokártyát, egyelőre rejtély. Előbbi esetében egyébként a notebookokban elérhető Phoenix és Hawk Point APU-kat, valamint az asztali PC-kbe nemrég bejelentett integrált IGP-s Ryzen 8000G-ket ajánlja a vállalat, de ha épp csak egy korábbi Ryzen áll rendelkezésre, akkor sincs katasztrófa, legfeljebb más módon fut le az utasítás.
Lehet próbálkozni
Internet-kapcsolat elvileg nem szükség az LM Studióhoz, de a felhasznált LLM-modul időszakosan frissítésre szorul, hiszen nemcsak tőlünk tanul, hanem világszinten frissül a tudása, képességei és válaszainak pontosság. Például bármennyire is szerettük volna, nem tudta megmondani a Radeon 7900 GRE videokártya pontos specifikációját, illetve amikor a budapesti időjárásról kérdeztük, akkor a jövő heti prognózisban 23-28 fokokat írt; és egyébként a Liszt Ferenc reptéren elérhető a Lyft és Uber személyszállítási szolgáltatás.
Ugyanakkor képes magyarul kommunikálni, vagyis válaszokat adni. Teljes, lokális nyelven zajló párbeszédre nem képes, de ha kifejezetten arra kéred, hogy magyarul adjon választ, akkor az érdemi információt tartalmazó rész valóban magyarul érkezik. Sőt, büszkén vállalja, hogy érti és használni tudja a magyar nyelvet.
Órákat, napokat el lehet tölteni vele, ezért, ha most megnéznéd, mire képes egy AI-alapú chatbot, akkor olvasd át az AMD blogbejegyzését. Pár perc alatt megvan a telepítés, és teljesen ingyenes használható.
