Nem mindenhez kell óriásmodell: ezért kap egyre több figyelmet a Jev

Leírás

Az AI-verseny az elmúlt években jórészt arról szólt, ki tud nagyobb, komplexebb és általánosabb modellt építeni. A TypeSafe Jev modellje ezzel szemben egészen más irányból közelíti meg a kérdést: abból indul ki, hogy a vállalati AI-feladatok jelentős részénél nincs szükség hosszú válaszokra vagy összetett szöveges érvelésre, elég egy gyors, strukturált döntés. A Fintech Világa legutóbbi adásában Érczfalvi András műsorvezető és Siklós Bence, a Peak tanácsadója arról beszélgetett, lehet-e ebből egy új AI-architektúra alapja.A Jev nem beszélgetni akar, hanem dönteni A Jevet nem érdemes közvetlenül a ChatGPT-hez vagy a Claude-hoz hasonlítani. Nem ugyanazt a feladatot próbálja megoldani. Egy klasszikus nagy nyelvi modellnek feltehetjük azt a kérdést, hogy egy tranzakció gyanús-e, majd részletes magyarázatot kérhetünk tőle. A Jev esetében inkább azt mondjuk: döntse el, hogy a tranzakció normál, gyanús vagy manuális ellenőrzést igényel. Nincs szükség embernek szánt magyarázatra, csak egy strukturált eredményre és az ahhoz kapcsolódó valószínűségre. Ez azért lehet fontos, mert rengeteg vállalati AI-feladat valójában nem generatív. Egy banknál vagy fintech cégnél sokszor sokkal fontosabb az, hogy egy rendszer néhány ezredmásodperc alatt eldöntse, engedélyezzen-e egy tranzakciót, továbbítsa-e az ügyet vizsgálatra, vagy melyik folyamatba irányítsa tovább. A Jev tehát elsősorban nem a végfelhasználókért versenyez, hanem azokért a háttérben futó API-hívásokért, amelyeket ma gyakran jóval nagyobb modellek kezelnek.Olcsóbb és gyorsabb lehet, de ettől még nem tévedhetetlen A TypeSafe egyik legerősebb érve a költség. A Jev ára jelenleg 0,042 dollár egymillió input tokenenként, miközben output tokenekért nem számít fel külön díjat. Ez jelentős különbséget jelenthet a nagy nyelvi modellekhez képest, különösen akkor, ha egy vállalat napi több millió egyszerű döntést futtat át a rendszeren. A másik előny a sebesség lehet. Ha egy modellnek nem kell hosszú szöveget generálnia és több lépésen keresztül érvelnie, akkor egyszerűbb döntési feladatoknál jóval gyorsabban adhat eredményt. A biztonság azonban árnyaltabb kérdés. A Jev egyik kommunikált előnye, hogy nem hallucinál a klasszikus értelemben, hiszen nem állít elő hosszú szövegeket, nem talál ki neveket vagy hamis forrásokat. Ettől azonban még hozhat rossz döntést. Az adásban elhangzott példa szerint a modell egy süteményreceptet 94 százalékos bizonyossággal technikai problémának kategorizált, egy véletlenszerű betűsorra pedig 97 százalékos magabiztossággal adott valamilyen választ. Ez jól mutatja a különbséget a hallucináció és a hibás döntés között: attól, hogy egy modell nem talál ki történeteket, még nem lesz automatikusan pontos.A bankoknál különösen sok ilyen feladat akad A Jevhez hasonló megoldások egyik legkézenfekvőbb terepe a pénzügyi szektor lehet. Bankoknál és fintech cégeknél naponta óriási mennyiségű, viszonylag egyszerű döntést kell meghozni: tranzakciókat kategorizálni, KYC-dokumentumokat továbbítani, ügyfélszolgálati megkereséseket megfelelő csatornába irányítani vagy csalásgyanús eseményeket előszűrni. Ezeknél a feladatoknál a költség és a válaszidő is kritikus. Egy chatbot esetében a felhasználó még elviselhet néhány másodperc várakozást, egy valós idejű fizetési vagy fraud detection rendszerben viszont már milliszekundumok is számíthatnak. Ebből könnyen kialakulhat egy többszintű rendszer. A legegyszerűbb döntéseket egy Jevhez hasonló modell kezeli, a bonyolultabb ügyeket egy kisebb általános modellhez továbbítja, a komplex elemzéseket pedig egy nagyobb frontier modell végzi. A legkritikusabb esetek végül emberhez kerülhetnek.Nem biztos, hogy új matematikáról van szó A Jev mögötti alapgondolat önmagában nem teljesen új. Gépi tanulásban régóta léteznek klasszifikációs modellek, amelyek feladata nem szövegek generálása, hanem...