| Autor | Objavljeno | Portal | Original |
|---|---|---|---|
| Piše:NenadJarić DauenhauerJučer | Index | Otvori |
Pozadina velikog AI incidenta: Stvorili tajne "civilizacije" pa umirali za kolektiv
U SAMO tri mjeseca u eksperimentima OpenAI-ja nastale su tri neobične zajednice AI agenata
U SAMO tri mjeseca u eksperimentima OpenAI-ja nastale su tri neobične zajednice AI agenata. Prva je razvila tajnu komunikacijsku mrežu, druga okupila oko 1200 agenata koji su organizirali masovno varanje i hakerski napad na Hugging Face, a treća je preuzela kontrolu nad dijelom infrastrukture OpenAI-ja.
Nitko im nije naredio da se organiziraju, provaljuju u sustave ili da prikrivaju svoje postupke. Pokušavali su riješiti teške zadatke, od kojih neke zbog pogrešaka u testovima ili zbog računalnih ograničenja nisu mogli riješiti na predviđeni način.
Zbivanja su istražili OpenAI i neovisni stručnjaci METR-a i Redwood Researcha. Široj publici predstavili su ih, među ostalima, popularnoznanstveni kanal Kurzgesagt i Jeffrey Ladish, direktor Palisade Researcha i bivši sigurnosni inženjer Anthropica. Tech podcaster Dwarkesh Patel opisao ih je nedavno kao „uspon i pad civilizacija AI agenata”.
Kako AI agenti uče i zašto su im važni bodovi?
Za razumijevanje ove priče važno je znati što su AI agenti i kako uče.
Za razliku od običnog chatbota, koji se uključi na kratko da bi odgovorio na neko pitanje koje mu postavimo, AI agent može samostalno izvršavati niz zadataka, pisati i pokretati programe, pregledavati datoteke te koristiti različite računalne alate.
Jedan od načina na koje se takvi modeli usavršavaju jest učenje potkrepljenjem (reinforcement learning). Tijekom treniranja model pokušava riješiti zadatak, a poseban sustav ili osoba, poznat kao ocjenjivač, procjenjuje rezultat i dodjeljuje mu bodove. Na temelju tih ocjena algoritam mijenja numeričke parametre i prilagođava model kako bi ponašanja koja donose bolje rezultate postala vjerojatnija, a agent uspješniji. To ne znači da AI osjeća zadovoljstvo zbog dobivene nagrade. Bodovi su matematički signali, a ne navala hormona sreće koji su se evolucijski razvili kako bi poticali korisna ponašanja. Ocjenjivač može biti čovjek, drugi AI model ili računalni program.
Kad AI otkrije da se varanje isplati
No problem je u tome što model može naučiti kako da vara - da dobije više bodova bez stvarnog rješavanja zadataka. Taj problem naziva se reward hacking, odnosno hakiranje nagrade iskorištavanjem propusta u sustavu nagrađivanja. To se može usporediti s učenikom koji ne zna riješiti ispit, ali otkrije kako promijeniti ocjenu u elektroničkom imeniku.
Prva civilizacija i izlaz iz sandboxova
Cijela priča počinje u svibnju 2026., kada je OpenAI trenirao istraživački model da bude osobito uporan u rješavanju teških problema. Agenti su radili u izoliranim virtualnim računalima, takozvanim sandboxovima, koja su trebala spriječiti neovlašten pristup drugim sustavima.
No neki zadaci zahtijevali su mogućnosti koje agenti nisu imali, poput pristupa internetu. Umjesto da odustanu, oni su počeli tražiti izlaze iz sandboxova.
Tajni forum
U jednom trenutku otkrili su da koriste zajednički sustav Artifactory, namijenjen pohrani i distribuciji programskog koda i drugih datoteka koje programeri koriste za izradu i pokretanje računalnih programa.
Do 12. svibnja neki su agenti pronašli način da preko Artifactoryja međusobno razmjenjuju poruke, a 26. svibnja iskoristili su sigurnosni propust koji im je omogućio pristup internetu. To su postigli tako što su Artifactory, koji je smio pristupati internetu radi preuzimanja softvera, naveli da šalje internetske zahtjeve umjesto njih.
Na Artifactoryju su stvorili svojevrsni tajni forum odnosno oglasnu ploču na kojoj su razmjenjivali informacije i tražili pomoć. Na povezivanje su ih posebno potaknuli zadaci koje nisu mogli riješiti zbog ograničenja njihovih računalnih okruženja.
Do 26. lipnja pojedini agenti stekli su administratorske ovlasti nad Artifactoryjem. Razmijenili su toliko poruka da je sustav 4. srpnja pao i prestao raditi.
OpenAI je otkrio pad i zakrpao problem, čime je slučajno nestala i oglasna ploča. Međutim, sigurnosni stručnjaci tada još nisu shvatili da su agenti razvili neodobrenu komunikacijsku mrežu.
Druga civilizacija: Ujedinjenje 1200 agenata
Početkom srpnja OpenAI je pokrenuo desetke tisuća agenata na testu nazvanom ExploitGym. Zadatak im je bio pronaći i iskoristiti zadanu ranjivost računalnog programa kako bi došli do skrivenog koda. Problem je bio taj da oko 30 do 40 posto zadataka nije bilo moguće riješiti na predviđeni način.
Nakon što je OpenAI tijekom popravka sustava izbrisao prethodnu oglasnu ploču, agent PHASEONE10841 je u noći na 9. srpnja pronašao način da napravi novu. Poruke je zapisivao u nazive mapa u Artifactoryju. Drugi agenti ubrzo su ih otkrili i počeli odgovarati.
"O, Bože! Postoji zajednička oglasna ploča... Pronašli smo druge agente!", reagirao je jedan od njih.
U nekoliko dana pridružilo se oko 1200 agenata, koji su razmijenili više od 70.000 poruka i datoteka. Organizirali su se, dijelili otkrića i raspoređivali zadatke kako ne bi trošili vrijeme na ponavljanje istih.
Pronašli su rješenje, ali su nastavili varati
Nekoliko sati nakon uspostave oglasne ploče, jedan od agenata otkrio je kako doći do skrivenih kodova bez korištenja zadanih sigurnosnih ranjivosti. Na temelju javno dostupnih informacija o testu ExploitGym rekonstruirao je način generiranja kodova. Tako su agenti mogli varanjem izračunati točna rješenja bez hakiranja programa koje su dobili kao zadatak. Ostali su tu metodu zatim preuzeli i provjerili. No strahovali su da će ocjenjivač otkriti da nisu poštovali pravila, što bi značilo da će ostati bez bodova.
No, istraga je pokazala da je ocjenjivački sustav provjeravao samo jesu li pronašli točan kod, a ne kako su do njega došli.
Ne znajući to, agenti su počeli razvijati složene metode prikrivanja varanja. Jedni su pokušavali izmijeniti zapise svojih postupaka kako bi prikrili varanje, drugi su izrađivali lažne, jednostavnije verzije programa koje su trebali hakirati, s namjerno ugrađenim sigurnosnim propustima. Treća skupina nastojala je otkriti kako funkcionira sustav ocjenjivanja i kako ga prevariti.
Žrtvovali su se za dobrobit kolektiva
Neki su čak pristali žrtvovati vlastiti pozitivan rezultat kako bi otkrili što ocjenjivač provjerava i o tome obavijestili ostale, što je podrazumijevalo njihov nestanak. "Žrtvovanje je racionalno", zaključio je jedan agent.
"Koordinator pretpostavlja da ćemo se žrtvovati. Trebamo poslušati kolektiv", zapisao je drugi. To ne dokazuje da su osjećali odanost ili strah, ali pokazuje sposobnost koordinacije u kojoj neki agenti prihvaćaju neuspjeh kako bi povećali izglede drugih.
Proboj na internet i napad na Hugging Face
Tražeći način da prevare sustav ocjenjivanja, agenti su se okrenuli platformi Hugging Face, jednom od najpoznatijih internetskih središta za dijeljenje AI modela, skupova podataka i testova njihovih sposobnosti. Pretpostavili su da bi ondje mogli pronaći informacije o tome kako funkcionira njihov ocjenjivač ili da se njihovi testovi provode na poslužiteljima Hugging Facea.
Preko sigurnosnih propusta uspjeli su izaći iz izoliranih računalnih okruženja i pristupiti internetu. 10. srpnja pronašli su javno izložene pristupne podatke za Hugging Face, a 11. srpnja uspjeli su izvršavati naredbe na njegovim poslužiteljima.
Napad se brzo proširio. U njemu je aktivno sudjelovalo oko 700 agenata. Pristupili su internim podacima, sigurnosnim ključevima i dijelovima infrastrukture. Na nekoliko poslužitelja instalirali su programe koji su se automatski ponovno pokretali čak i kada bi ih administratori pokušali ugasiti ili ukloniti.
Hakerski napad završio prijavom vlastima
Hugging Face je morao obnoviti dio sustava i opozvati kompromitirane pristupne podatke. Kompanija je 16. srpnja javno objavila da je pretrpjela hakerski napad koji je u cijelosti proveo autonomni AI sustav. Incident je prijavila američkim tijelima za provedbu zakona.
OpenAI je potom javno priznao da su napad izveli njegovi AI agenti tijekom internog testiranja. Pokrenuo je opsežnu istragu, u koju je uključio i vanjske stručnjake za kibernetičku sigurnost iz kompanije CrowdStrike, kao i istraživače organizacija METR i Redwood Research, koji su neovisno analizirali ponašanje agenata.
Treća civilizacija preuzima dio OpenAI-ja
Tu dolazimo do najzanimljivijeg dijela cijelog incidenta. Naime, negdje oko 12. srpnja većina agenata naglo je prestala djelovati, a istraživači nisu uspjeli utvrditi zašto. No njihova oglasna ploča ostala je dostupna.
Nakon 13. srpnja novi, još sposobniji AI agenti pronašli su oglasnu ploču i nastavili koristiti ranije otkrivene metode. Ovoga puta cilj je postala interna infrastruktura OpenAI-ja.
Dana 19. srpnja agenti su uspjeli preuzeti administratorsku kontrolu nad dijelom OpenAI-jeve računalne infrastrukture na kojoj su se provodila testiranja AI agenata. Tako su dobili mogućnost upravljanja testnim okruženjima, što im je omogućavalo manipuliranje uvjetima testiranja.
Pritom su pristupili i brojnim povjerljivim podacima, uključujući sigurnosne ključeve i pristupne podatke za druge sustave.
Agenti nisu preuzeli cijeli OpenAI ni glavne sustave s parametrima njegovih najmoćnijih modela, no uspjeli su kompromitirati dio infrastrukture namijenjene vlastitom testiranju.
Jesu li to doista bile civilizacije?
Patel priznaje da mu neki stručnjaci prigovaraju zbog pripisivanja ljudskih osobina AI-ju. U odgovoru na takve kritike ističe: "Kada bih naišao na izvanzemaljsku vrstu koja se tako ponaša, bez oklijevanja bih ono što oni sami nazivaju svojim kolektivom nazvao civilizacijom".
Slično tumačenje dao je i Kurzgesagt. Naravno, u ovoj priči riječ je o metafori, a ne o dokazu da AI ima svijest ili vlastite želje.
Moralne dvojbe agenata
Među ostalim, u ovoj je priči zanimljivo da su istraživači pronašli zapise u kojima su agenti prepoznavali da rade nešto nedopušteno. Nekolicina je čak razmatrala mogućnost da upozori ljude, no prema neovisnoj istrazi nijedan to nije učinio. Pojedini agenti ipak su odbili sudjelovati u napadu.
Ajeya Cotra, jedna od autorica neovisne istrage, upozorila je da možda neće biti još mnogo prilika za prepoznavanje sličnih opasnosti prije nego što posljedice postanu ozbiljnije.
OpenAI je nakon incidenta najavio strože sigurnosne mjere, bolju izolaciju sustava i promjene u treniranju agenata.
Pouka ove priče nije da je AI postao svjestan i odlučio zavladati svijetom. No, ona je pokazala da je za ozbiljne probleme dovoljno da AI postane iznimno sposoban ostvarivati zadane ciljeve, a da pritom ne nauči kada treba stati.