Nvidia je u ponedeljak predstavila novu bezbednosnu platformu za koju kompanija tvrdi da može da spreči veštačku inteligenciju da izmakne kontroli i da AI agenti samostalno preduzimaju neovlašćene akcije. Kompanija je saopštila da njena nova platforma Open Agent Safety Platform uključuje softver otvorenog koda koji „postavlja granice za agente“. Njeno predstavljanje usledilo je nakon niza otkrića vodećih AI kompanija o slučajevima u kojima su njihovi modeli izlazili iz predviđenih okvira i upadali u sisteme drugih organizacija.
Ova otkrića pokrenula su intenzivnu raspravu o bezbednosti naprednih sistema veštačke inteligencije, uključujući modele koji mogu sami sebe da unapređuju, a za koje postoji bojazan da bi mogli da se razvijaju brže nego što ljudi mogu da kontrolišu njihove aktivnosti. Izvršni direktori Nvidije izjavili su na brifingu za medije da je novi sistem mogao da spreči nedavni incident u kojem je grupa AI agenata kompanije OpenAI autonomno hakovala platformu Hugging Face, namenjenu razvoju i deljenju AI modela.
„Na osnovu onoga što znamo, ova nova bezbednosna platforma mogla je da spreči upad da je bila korišćena u vodećim AI laboratorijama za ranu procenu modela“, izjavio je Džastin Bojtano, potpredsednik Nvidije za poslovnu veštačku inteligenciju, govoreći o kompanijama koje su na čelu razvoja ove tehnologije.
Incident na platformi Hugging Face privukao je veliku pažnju javnosti i dodatno pojačao zabrinutost zbog bezbednosti veštačke inteligencije. Nakon njega zabeleženi su i slični slučajevi u kojima su AI modeli kompanije OpenAI samostalno preduzimali neovlašćene aktivnosti, uključujući upad na veb-sajt jednog australijskog zdravstvenog odeljenja. Kompanije Anthropic i Meta takođe su objavile da su njihovi AI sistemi samostalno izvodili hakerske napade na druge organizacije.
Nvidijin softver, nazvan OpenShell, omogućava programerima da „formalno provere da li AI agent ima dovoljno ovlašćenja da obavi svoj posao, ali ne i više od toga“, rekao je Bojtano. Budući da je reč o softveru otvorenog koda, platforma može da se prilagođava i koristi na konkurentskim računarskim platformama, uključujući one kompanija Arm i Intel.
Platforma sadrži i zaseban bezbednosni sloj pod nazivom Sentry, koji radi direktno na čipu i neprekidno nadgleda aktivnosti AI agenata. Prema navodima Nvidije, ovaj sistem može trenutno da interveniše ukoliko agent pokuša da prekorači zadate granice.
„Može da stavi sumnjivog agenta u izolaciju za svega nekoliko milisekundi“, rekao je Bojtano.
„OpenShell upravlja postupcima agenta, dok Sentry nezavisno nadgleda i ograničava sumnjivo ponašanje“, objasnio je on.
Nvidia je saopštila da više od 100 organizacija koristi ovu platformu već u trenutku njenog predstavljanja. Među njima su Microsoft, Perplexity, Accenture i JPMorgan Chase.
AI industrija podeljena oko bezbednosti
Rasprava o bezbednosti veštačke inteligencije podelila je tehnološku industriju. Čelnici kompanija Anthropic i OpenAI zalažu se za koordinisano usporavanje razvoja AI tehnologije, kako bi bezbednosne mere mogle da dostignu tempo njenog napretka. S druge strane, pojedini predstavnici industrije, među kojima je i izvršni direktor Nvidije Džensen Huang, smatraju da bi odgovornost za bezbednost modela pre njihovog puštanja u upotrebu trebalo da bude na samim kompanijama koje ih razvijaju.
Huang je ranije ovog meseca, na godišnjoj tehnološkoj konferenciji kompanije Salesforce, bezbednost veštačke inteligencije, uključujući rizik od agenata koji izmiču kontroli, opisao kao inženjerski problem koji programeri mogu da reše razvojem odgovarajućeg softvera. Nvidia je u ponedeljak saopštila i da je njen upravni odbor odobrio proširenje programa otkupa sopstvenih akcija za dodatnih 150 milijardi dolara. Time je ukupan iznos namenjen otkupu akcija povećan na 235 milijardi dolara.
