Da li ChatGPT postaje gluplji?
Mnogi online korisnici postavili su upravo ovo pitanje.
Naime, primetili su da je ChatGPT usporio i da ne daje vrhunske odgovore koji su nas u početku sve ostavili impresionirane.
Pa, šta se desilo?
Prema izveštaju koji je prošle nedelje objavio Univerzitet Stanford:
- Sposobnost za razumevanje matematičkih problema opala je za 95%;
- Veštine kodiranja opale su za 42%;
- Dogodio se strmoglav pad u njegovoj veštini rezonovanja;
- ChatGPT je postao “bezbedniji, ali manje racionalan”.
Preciznije, istraživači su uporedili GPT verzije iz marta 2023. i juna 2023. godine i došli do iznenađujućih zaključaka da starija verzija zaista ima bolje performanse u poređenju sa novijom, i to kada su u pitanju razni zadaci, kao što je odgovaranje na osetljiva pitanja ili rešavanje matematičkih problema. Pored toga, zabeležno je više grešaka u formatiranju teksta.
Naši nalazi pokazuju da se ponašanje "istog" jezičkog modela (eng. Large language model – LLM) može značajno promeniti u relativno kratkom vremenskom periodu, ističući potrebu za kontinuiranim praćenjem LLM kvaliteta.
Izveštaj Univerziteta Stanford
Ažuriranje ne znači nužno nadograđivanje
Da li je to zaista tako, ne možemo tvrditi sa sigurnošću, budući da je ChatGPT zatvorenog koda. Zato je, kao što smo istakli u jednom od naših prethodnih članaka, odluka kompanije Meta da njihov jezički model Llama 2 bude otvorenog koda, predstavlja jednu od boljih odluka kada su LLM alternative u pitanju.
U svakom slučaju, ono što se za sada pouzdano zna jeste da se LLM vremenom mogu ažurirati na osnovu podataka i povratnih informacija korisnika. Drugim rečima, stalne kritike u vezi sa osetljivim temama i takozvanim “ChatGPT halucinacijama” možda su rezultirale time da on sada “pažljiviji”, dajući proračunate ili nedovoljno konkretne odgovore.
Zanimljivo je i pitanje da li LLM servis kao što je GPT4 vremenom postaje "bolji". Važno je znati da li ažuriranja modela koji ima za cilj poboljšanje nekih aspekata zapravo povređuju njegovu sposobnost u drugim dimenzijama.
Izveštaj Univerziteta Stanford
No, zašto bi OpenAI želeo da uradi ovo?
Najverovatnije zato što žele da prodaju više pretplata na ChatGPT Premium, ako potpuno pojednostavimo situaciju.
Kao što je objašnjeno u AI biltenu “Sintetički um”:
Što je više ChatGPT korisnika, to se više računarske snage deli. Ako OpenAI može da učini da svaki nalog koristi bar malo manje snage, može da proda više pretplata. Odnosno, odgovori nižeg kvaliteta = manje računarske snage = manje novca.
Drugi razlog koji se može navesti u odbranu OpenAI je da kompanija možda “štedi” na AI čipovima, imajući u vidu aktuelnu AI trku između SAD i Kine, kao i sveprisutnu činjenicu da je potražnja za AI čipovima ogromna.
Bilo kako bilo, kompanija još nije dala zvaničnu izjavu u vezi sa ovom temom.
Da zaključimo, vremenski raspon između marta i juna nije tako dug, ali se ponašanje između GPT-3.5 i GPT-4 u velikoj meri promenilo. Dakle, ako ste primetili smanjenje kvaliteta odgovora, nije da su vaši standardi sada viši ili da nešto nije u redu sa vašim promptovima; radi se o tome da je najnovija verzija zaista slabija u poređenju sa starijim. Barem ako je sudeći prema ovom izveštaju.
