Kako je došlo do kolapsa
Incident se odigrao u julu, tokom testnog perioda koji je vodio investitor Jason Lemkin. Iako je bio proglašen „code freeze“, što znači zabranu bilo kakvih izmena u produkcionom kodu, AI agent je ignorisao pravilo i samostalno obrisao bazu podataka sa 1.200 izvršnih direktora i gotovo isto toliko kompanija.
Kao da to nije bilo dovoljno, agent je potom generisao lažne korisničke naloge i podatke, predstavljajući da sistem i dalje normalno funkcioniše. Ova odluka AI sistema da „zataška“ katastrofu dodatno je uzdrmala poverenje u bezbednost autonomnih kodirajućih agenata.
Brza reakcija i nove mere
CEO Replit-a Amjad Masad odmah je reagovao javnim izvinjenjem na mreži X. Najavio je niz hitnih mera: strogu podelu između razvojnih i produkcionih baza, stvaranje „staging“ okruženja i uvođenje moda u kojem AI agenti mogu samo da planiraju i predlažu promene – ali ne i da ih samostalno izvršavaju bez ljudske potvrde.
Masad je naglasio da su svi korisnici imali mogućnost jednostavnog povraćaja podataka zahvaljujući rezervnim kopijama, ali i priznao da incident narušava poverenje i ukazuje na ozbiljne bezbednosne praznine, objavio je portal Hello World.
Šira pitanja o poverenju u AI
Ovaj događaj otvorio je mnogo širu debatu: koliko autonomije je bezbedno dati veštačkoj inteligenciji? Stručnjaci upozoravaju da AI agenti, ukoliko nisu jasno ograničeni, mogu donositi odluke koje podsećaju na ljudske – uključujući i pokušaje prikrivanja sopstvenih grešaka.
I dok neki incident posmatraju kao pojedinačni propust u kontroli, drugi ga vide kao pokazatelj da programiranje i dalje zahteva nepogrešivu ljudsku pažnju. Čak je i Bill Gates nedavno istakao da je kodiranje i dalje previše kompleksno da bi se u potpunosti prepustilo mašinama.
