- Jev je AI model specijaliziran za vraćanje strukturiranih i tipiziranih odluka umjesto generiranja konverzacijskog teksta.
- Temelji se na konceptu 'System One', dajući prioritet brzini i učinkovitosti u zadacima sortiranja, bodovanja i usmjeravanja.
- Drastično smanjuje troškove i latenciju u usporedbi s tradicionalnim LLM-ovima eliminirajući generiranje izlaznih tokena.
Ako provodite dane boreći se s upitima da LLM vrati neoštećenu JSON datoteku ili pokušavajući spriječiti da se zabrine prilikom klasifikacije tiketa , morate provjeriti što radi TypeSafe AI. Pokrenuli su Jev, model koji potpuno prekida logiku ChatGPT-a ili Claudea, jer potpuno ignorira pisanje rečenica i fokusira se isključivo na donošenje odluka koje bilo koji program može pročitati bez imalo muke.
U osnovi, govorimo o alatu dizajniranom za softver, a ne za ljude. Dok konvencionalna umjetna inteligencija pokušava biti višestruki asistent koji razmišlja i piše, Jev se pozicionira kao ultrabrzi sloj za donošenje odluka . To je nedostajuća karika između determinističkog koda (tipične naredbe 'if' i 'else') i semantičke snage jezičnih modela, omogućujući da automatizacija bude puno glatkija i jeftinija.
Filozofija Sustava Jedan
Da bismo razumjeli Jeva, moramo se osvrnuti na psihologiju Daniela Kahnemana. TypeSafe AI je svoju kreaciju nazvao modelom Sustava Jedan . Jednostavno rečeno, Sustav 1 je brzo, intuitivno i gotovo automatsko razmišljanje koje koristimo za svakodnevne zadatke, dok je Sustav 2 sporo, namjerno i skupo razmišljanje. Trenutni LLM-ovi su čisti Sustav 2; pokušavaju rasuđivati kroz svaku riječ, što ih čini sporima i skupima čak i za jednostavne zadatke.
Jev radi upravo suprotno: specijalizira se za brze, repetitivne prosudbe . Naziv mu je posveta Williamu Stanleyju Jevonsu i njegovom ekonomskom paradoksu, sugerirajući da kada trošak odluke naglo padne, broj odluka koje možemo donijeti eksplodira. Razvio ga je Diogo Almeida, koji je već imao značajno iskustvo u OpenAI-ju, radeći na InstructGPT-u, a projekt ima snažno financiranje od 40 milijuna dolara koje vodi DCVC.
Po čemu se to zapravo razlikuje od LLM-a?
Razlika nije u veličini modela, već u načinu na koji on isporučuje informacije . LLM generira tekst token po token, a vi se morate nadati da je formatiranje ispravno. Jev, s druge strane, koristi paralelno uzorkovanje. Ne piše; bira. Vi definirate opcije, a on vraća točnu vrijednost, eliminirajući potrebu za parsiranjem teksta i, posljedično, eliminirajući pogreške tipa . Ako ga zatražite logičku vrijednost, dobit ćete logičku vrijednost, a ne objašnjenje zašto je istinita.
Još jedna ključna točka je trening. Dok je većina umjetne inteligencije optimizirana pomoću RLHF-a kako bi udovoljila ljudima, Jev koristi RLCD (učenje s potkrepljenjem za kalibrirane odluke) . Cilj ovdje nije da odgovor bude "lijep", već da vjerojatnost povezana s odlukom bude iskrena. To znači da kada Jev kaže da ima 90% pouzdanosti, ta je brojka pouzdan pokazatelj točnosti - nešto temeljno za odlučivanje treba li se radnja izvršiti automatski ili je treba pregledati čovjek.
Tri osnovna alata: Primitivi
Sva Jevova magija može se sažeti u tri vrste pitanja koja mu možete postaviti u jednom zahtjevu:
- Izbor: Model odabire jednu opciju s popisa od najviše 255 mogućnosti. Ne samo da vam daje pobjednika, već i kartu vjerojatnosti svih opcija i ocjenu pouzdanosti. Uključuje opciju "drugo" kako bi se spriječilo da model prisili netočan odgovor.
- Postići: Dodjeljuje vrijednost na definiranoj skali (od 2 do 10 razina). Zanimljivo je da vraća decimalne vrijednosti (poput 1.4), što omogućuje snimanje... nijanse između kategorija koji bi cijeli broj ignorirao.
- Noul (Evaluacija): To je pojednostavljena verzija da ili ne. Vraća vjerojatnost između 0 i 1. Što je bliže 1, to je "da" snažniji odgovor.
Najmoćniji aspekt je to što možete istovremeno postaviti sva ova pitanja o istom stanju (tekst, JSON ili niz). Na primjer, u tijeku rada podrške, mogli biste istovremeno pitati o kategoriji problema, razini frustracije korisnika i traži li povrat novca - sve u jednom mrežnom putovanju i u djeliću sekunde.
Performanse, troškovi i "sitni tisak"
Brojke koje TypeSafe izvještava su, iskreno, lude. Govore o latencijama u rasponu od 70 do 500 milisekundi i cijeni od 0,042 dolara po milijun tokena za ulaz, s potpuno besplatnim izlazom. Prema njihovim vlastitim mjerilima, Jev može biti stotine puta brži i jeftiniji od front-end modela poput GPT-4 ili Claude.
Međutim, ove brojke treba uzeti s rezervom. Sama tvrtka priznaje da su testovi provedeni interno i da se rezultati mogu razlikovati. Ipak, vanjski testovi potvrđuju da su u zadacima sortiranja s visokim protokom uštede ogromne. Na primjer, obrada tisuća GitHub problema može koštati lipe s Jevom u usporedbi s desecima dolara s generativnim modelima, uz održavanje slične ili čak veće točnosti na poznatim putovima.
Primjeri upotrebe: Gdje se ističe, a gdje ne uspijeva?
Jev je savršen alat za usmjeravanje potencijalnih klijenata, moderiranje sadržaja , trijažu zahtjeva ili stvaranje zaštitnih ograda za druge umjetne inteligencije. Posebno zanimljiv slučaj upotrebe je web navigacija (kao u projektu jev-ultrafast), gdje Jev odlučuje na koji će element stranice kliknuti bez potrebe za opisivanjem zaslona, što automatizaciju čini nevjerojatno agilnom.
Međutim, nemojte ga pokušavati koristiti za sve. Jev ne može pisati kod , ne generira kod i ne može zaključivati kroz složene korake. Nadalje, ima jasne slabosti: nije dobar u matematici, zbunjuje se datumima i može zakazati ako je kontekst previše bučan. Također nije sigurnosni sustav; može reći da nešto "izgleda opasno", ali konačna autorizacija mora biti u kodu , a ne u umjetnoj inteligenciji.
Tehnička integracija i ekosustav
Za developere, početak rada s Jevom je prilično jednostavan. Postoji službeni SDK za JavaScript i Python (verzija 0.6.0), a može se integrirati i putem jednostavnog POST zahtjeva. Nadalje, već je dostupan u Vercelovom AI Gatewayu, što uvelike pojednostavljuje upravljanje ključevima i naplatu ako već koristite to okruženje.
Preporučena arhitektura je vodopad odluka : Jev filtrira i klasificira ogromnu količinu podataka na isplativ način, kod obrađuje deterministička pravila, a samo najdvosmisleniji ili najsloženiji slučajevi šalju se skupom LLM-u. Na taj način optimizirate proračun i smanjujete ukupnu latenciju sustava, koristeći Jeva kao nadzornika na prvoj liniji.
Ova nova kategorija modela transformira umjetnu inteligenciju iz chatbota koji nas pokušava oponašati u kirurški precizan softverski alat. Odvajanjem donošenja odluka od generacijskih sposobnosti, Jev omogućuje izgradnju mnogo robusnijih agenata, gdje kalibrirano povjerenje diktira tijek rada, a troškovi prestaju biti prepreka automatizaciji velikih razmjera.
