Halucinacija je “najbolji pokušaj” generativne veštačke inteligencije
Predsednik “Mašinerije” i Lead Data Scientist u kompaniji SmartOcto Goran S. Milovanović rekao je za WebMind da se svaka generativna AI oslanja na to da korisniku pruži odgovor, u jezičkom izrazu, slikom, ili zvukom, bazirajući se isključivo na veoma elaboriranoj upotrebi sličnosti korisnikovog upita („prompta“) nečemu čemu je ta generativna AI bila izložena tokom faze treninga.
“Halucinacije predstavljaju ‘najbolji pokušaj’ neke generativne AI da odgovori na naš upit, ali ako u svom treningu ta generativna AI nije primila dovoljno podataka da se uspešno odgovori na konkretan upit korisnika odgovor neće biti dovoljno ‘poravnat’ sa upitom – jednostavno, neće biti dobar, a ako je u pitanju upit o činjenici – odgovor neće biti tačan”, objasnio je on.
Kako je naveo, čuvene halucinacije u vizuelnim sistemima Midjourney i OpenAI DALL-E3 su očiglednije nego u jezičkim, a najčešće se dešava da na slici koju generišu često daju pogrešan broj prstiju na šakama, ali toga je sve manje.
Takođe, Milovanović je rekao da u sistemima ChatGPT, Google Gemini, Midjourney i drugih, mi nikada ne možemo sa sigurnošću da otklonim mogućnost da sistem na naš upit odgovori halucinacijom.
“Način da predupredimo halucinacije jeste da u radu sa generativnim AI koristimo spoljne izvore znanja koje uključujemo u naše promptove, upite koje šaljemo tim sistemima. U aplikativnom razvoju baziranom na generativnim AI – nešto čime se moj tim u smartocto bavi skoro neprestano od sredine 2023. godine – koristimo tzv. RAG pristup: Retrieval Augmented Generation (RAG)”, rekao je Milovanović.
Retrieval Augmented Generation (RAG)
Softverski inženjer Tihomir Opačić smatra da su uzroci halucinacija veštačke inteligencije sledeći: kvalitet informacija nad kojima je LLM obučen, pristrasnost (Bias) koja proizilazi iz informacija nad kojima je LLM obučen, programirana nasumičnost odgovora (temperatura) , i zadovoljavanje slušaoca (kroz predviđanje sledećeg tokena).
On takođe navodi tehnika „Retrieval Augmented Generation (RAG) može pomoći u izbegavanju halucinacija, pošto smatra da RAG implementacije često mogu da preciziraju tačnu lokaciju pojedine informacije iz konteksta sto olakšava proces provere tačnosti informacije.
Šta je temperatura OpenAI GPT modela?
Temperatura je parametar modela OpenAI ChatGPT, GPT-3 i GPT-4 koji upravlja slučajnošću i samim tim kreativnošću odgovora, i to je uvek je broj između 0 i 1.
Temperatura od 0 znači da će odgovori biti vrlo direktni, gotovo deterministički (što znači da ćete skoro uvek dobiti isti odgovor na datu poruku), dok temperatura od 1 znači da odgovori mogu jako varirati. Temperatura od 0 znači da će model uvek odabrati reč s najvećom verovatnoćom, a viša temperatura znači da bi model mogao odabrati reč s nešto nižom verovatnoćom, što dovodi do veće varijacije, slučajnosti i kreativnosti.
Vaš izbor temperature trebalo bi da zavisi od zadatka koji dajete GPT-u, a za zadatke transformacije (ekstrakcija, standardizacija, konverzija formata, ispravke gramatike) preferirajte temperaturu od 0 ili do 0,3. Za zadatke pisanja, trebalo bi da povećate temperaturu, bliže 0,5. Ako želite da GPT bude izrazito kreativan (na primer, za marketinške ili reklamne tekstove), razmislite o vrednostima između 0,7 i 1.
Više o tome imate na linku: https://gptforwork.com/guides/openai-gpt3-temperature
