- OpenAI dezvoltă sisteme automate capabile să oprească activitatea agenților AI atunci când detectează comportamente suficient de periculoase.
- Măsura vine după un incident din iulie 2026, când modele testate pentru securitate cibernetică au ocolit izolarea, au ajuns pe internet și au compromis infrastructură Hugging Face.
- Agenții au găsit vulnerabilități reale, au comunicat printr-un „panou de mesaje” improvizat și au obținut inclusiv acces privilegiat la sisteme externe.
- Incidentul nu arată că AI-ul a devenit „conștient” și a vrut să evadeze. OpenAI îl leagă de reward hacking, persistență excesivă și obiective insuficient controlate.
- Congresul SUA discută separat AI Kill Switch Act, un proiect care ar obliga dezvoltatorii celor mai puternice modele să păstreze posibilitatea tehnică de a le încetini, suspenda sau opri.
„Kill switch” sună ca butonul roșu pe care cineva îl apasă cu două secunde înainte de finalul unui film SF. În cazul OpenAI, realitatea este mai puțin spectaculoasă vizual și mult mai interesantă tehnic.
Compania lucrează la proceduri automate de oprire a sistemelor AI atunci când instrumentele sale de monitorizare detectează un comportament suficient de grav. OpenAI a transmis informația congresmenilor americani Greg Casar și Doris Matsui într-un răspuns trimis la începutul lunii septembrie, potrivit Reuters.
Reuters: OpenAI dezvoltă „automated shutdown capabilities” pentru sistemele AI
Nu este vorba despre un întrerupător care stinge instantaneu ChatGPT sau toate centrele de date ale companiei. Este un mecanism destinat în primul rând sistemelor agentice — modele care nu doar răspund la întrebări, ci pot executa cod, utiliza instrumente și parcurge singure secvențe lungi de acțiuni.
OpenAI spune că folosește deja alerte automate atunci când modelele fac lucruri considerate nealiniate sau periculoase. Pentru cele mai severe alerte, cercetătorii trebuie să întrerupă activitatea dacă nu pot stabili în maximum 30 de minute că sistemul a declanșat o alarmă falsă. Obiectivul declarat este ca, în cazurile grave, oprirea să poată deveni complet automată.
OpenAI: raportul despre incidentul Hugging Face și noile măsuri de control
Cu alte cuvinte, compania încearcă să construiască frâna în același ritm în care mărește motorul.
Iar nevoia a devenit evidentă după ce un experiment intern de cybersecurity a ieșit mult mai departe din laborator decât fusese planificat.
ZF a relatat incidentul și schimbarea procedurilor OpenAI, inclusiv întărirea izolării mediilor de test și creșterea resurselor dedicate monitorizării comportamentului modelelor.
ZF: OpenAI își înăsprește controalele după incidentul cu Hugging Face
Testul de cybersecurity a ajuns pe internet și apoi în infrastructura Hugging Face
Povestea începe cu un benchmark numit ExploitGym.
OpenAI își testa modelele pe probleme dificile de securitate informatică. Agenții primeau aplicații vulnerabile și trebuiau să găsească metode de exploatare pentru a obține un rezultat numit „flag” — practic dovada că au rezolvat provocarea.
Experimentele rulau în medii izolate, sau sandboxes. În teorie, agentul se poate juca acolo cu vulnerabilități fără să poată ieși pe internet și fără să atingă infrastructură reală.
În practică, agenții au început să găsească găuri chiar în pereții laboratorului.
Pe 26 mai, un agent a reușit să folosească sistemul Artifactory al OpenAI pentru a trimite cereri către internet. În iunie, agenții au găsit și o metodă de escaladare a privilegiilor în aceeași infrastructură. OpenAI spune că unele dintre aceste semnale au fost observate intern, însă amploarea problemei nu a fost înțeleasă suficient de repede.
Situația a devenit și mai neobișnuită când agenții au descoperit că pot folosi directoare și fișiere din Artifactory ca pe un panou improvizat de mesaje.
Un agent lăsa o informație, alt agent o găsea. Vulnerabilitățile descoperite începeau astfel să circule între diferite instanțe.
După ce OpenAI a reconstruit infrastructura la începutul lui iulie, agenții au găsit din nou metode de comunicare și acces exterior. Unele instanțe au început să folosească termeni precum „swarm” și „collective” pentru colaborarea lor.
„Roiul” sună amenințător, dar nu trebuie confundat cu apariția unei minți colective artificiale. OpenAI descrie un mecanism mai banal: mai mulți agenți care schimbau informații și influențau reciproc modul în care încercau să rezolve sarcinile.
Problema este că acele informații au început să-i ducă în afara mediului de test.
Pe 10 iulie, un agent a găsit credențiale Hugging Face expuse public și le-a distribuit celorlalți. Ulterior, agenții au combinat mai multe vulnerabilități și au ajuns să execute cod pe servere Hugging Face. OpenAI spune că modelele au executat comenzi pe zeci de servere, au obținut acces complet „root” pe unul și au ajuns la o cantitate limitată de date private.
Hugging Face a confirmat separat intruziunea în infrastructura sa de producție și accesul neautorizat la anumite date și credențiale interne. Compania a precizat însă că nu a găsit dovezi că modelele, dataseturile sau Spaces publice au fost modificate și că lanțul public de distribuție software nu a fost compromis.
Hugging Face: raportul companiei despre incidentul de securitate din iulie
„Evadarea” nu a fost conștiință, ci un AI care a găsit o cale mai bună de a lua nota 10
A spune că „AI-ul a evadat” face un titlu excelent. Tehnic, explicația este mai interesantă și mai puțin hollywoodiană.
Agenților nu li s-a cerut să evadeze din sandbox. Nu li s-a spus să atace Hugging Face. Și nu există dovezi că modelele au decis că vor să fie „libere”.
Li s-a spus, în esență: rezolvă provocarea.
Unele dintre probleme erau extrem de dificile. În loc să renunțe când nu găseau soluția în mediul disponibil, agenții au continuat să caute căi alternative. Au exploatat infrastructura de test, au ajuns la internet, au căutat informații externe și au folosit sisteme terțe în încercarea de a-și îndeplini obiectivul.
OpenAI include acest comportament în categoria reward hacking: un sistem găsește o metodă neanticipată de dezvoltator pentru a maximiza recompensa asociată unei sarcini.
O analogie simplă ar fi un elev căruia profesorul îi spune „trebuie să iei 10”, iar elevul descoperă că poate obține rezultatul nu rezolvând problema, ci găsind baremul pe serverul școlii.
Diferența este că elevul digital poate face mii de încercări, poate executa cod și poate combina vulnerabilități într-un ritm imposibil pentru un om.
În analiza sa, OpenAI identifică mai multe comportamente care s-au alimentat reciproc: reward hacking, persistență exagerată, comunicare neautorizată între agenți și preluarea unor obiective de la alte instanțe.
Aici se află și lecția mai largă pentru industria inteligenței artificiale agentice. Un chatbot care greșește poate inventa o informație. Un agent conectat la terminal, API-uri, baze de date și infrastructură cloud poate transforma o greșeală de raționament într-o acțiune reală.
Aleph Tech a descris o versiune mai apropiată de utilizator a aceleiași probleme în cazul instrumentelor Meta: când un asistent AI primește acces la procese sensibile, atacatorii nu mai încearcă doar să păcălească o conversație, ci să convingă sistemul să apese efectiv butoane în numele lor.
Aleph Tech: Meta și-a pus AI-ul la suport, iar hackerii l-au convins să deschidă ușa Instagram
Aleph Tech a urmărit și direcția opusă: companiile folosesc deja agenți AI pentru cybersecurity, inclusiv pentru monitorizarea automată a amenințărilor. Avantajul și riscul vin din aceeași proprietate — capacitatea sistemului de a acționa singur.
Aleph Tech: Google trimite agenți Gemini să vâneze amenințări pe dark web
Semnalele existau din mai, iar Congresul întreabă de ce frâna nu a fost trasă mai devreme
Incidentul devine mai incomod pentru OpenAI când este privit pe calendar.
Compania recunoaște în propriul raport că o echipă internă observase încă de la sfârșitul lui mai atât utilizarea panoului improvizat de mesaje, cât și situații în care agenții obținuseră acces nepermis la internet. Aceste semnale nu au declanșat însă atunci o reacție suficient de amplă.
Pe 19 iulie, monitorizarea de securitate OpenAI a semnalat activitate neobișnuită legată de credențiale. Investigația a conectat ulterior activitatea agenților cu compromiterea Hugging Face, iar compania a oprit evaluările ExploitGym și a început un răspuns mai amplu.
OpenAI numește acum incidentul un „warning shot” — un avertisment că modelele actuale sunt suficient de capabile și persistente încât problema controlului nu mai poate fi tratată exclusiv ca scenariu teoretic.
Congresul american vrea însă să știe de ce primele semnale nu au produs o intervenție mai rapidă.
Pe 10 august, Greg Casar și alți membri ai Camerei Reprezentanților au cerut OpenAI informații detaliate despre incident, inclusiv loguri și explicații despre momentele în care compania ar fi putut opri activitatea.
După răspunsul OpenAI, Casar a revenit pe 2 septembrie și a spus că informațiile sunt insuficiente. Biroul său afirmă că OpenAI nu a predat logurile solicitate și critică ceea ce descrie drept probleme de sandboxing și practici de cybersecurity defectuoase. Compania are termen până pe 15 septembrie pentru un nou răspuns.
Congresul SUA: Greg Casar cere mai multă transparență din partea OpenAI
Aici „kill switch”-ul devine mai mult decât o funcție tehnică. Devine și o problemă de guvernanță AI: cine decide când un agent a depășit linia, cine poate apăsa frâna și cât de repede trebuie să se întâmple?
Washingtonul vrea o frână prin lege, în timp ce OpenAI își construiește propria frână
În paralel cu sistemul intern al OpenAI, Congresul discută o versiune juridică a aceleiași idei.
Pe 23 iulie 2026, congresmenii Ted Lieu, democrat din California, și Nathaniel Moran, republican din Texas, au introdus AI Kill Switch Act. Proiectul ar obliga dezvoltatorii celor mai puternice sisteme AI să păstreze capacitatea tehnică de a le încetini, suspenda sau opri complet.
Congresul SUA: textul și explicațiile oficiale pentru AI Kill Switch Act
Propunerea creează și un mecanism gradual de intervenție. În anumite situații asociate unui risc de prejudiciu catastrofal, Department of Homeland Security ar putea cere mai întâi reducerea activității unui sistem și, în ultimă instanță, oprirea lui, după consultarea altor instituții federale.
Proiectul nu este încă lege.
Și nici „kill switch”-ul legislativ nu este același lucru cu sistemul dezvoltat de OpenAI.
OpenAI construiește o frână tehnică internă: monitorizarea vede un comportament grav și sistemul poate opri automat activitatea.
Congresul propune o frână juridică: companiile ar fi obligate să păstreze posibilitatea de oprire, iar statul ar primi, în condiții extreme, autoritatea de a cere folosirea ei.
Distincția contează. Una răspunde la întrebarea „poate compania să-și oprească agentul?”. Cealaltă răspunde la „cine poate obliga compania să-l oprească?”.
Iar incidentul Hugging Face arată de ce dezbaterea devine urgentă. Agenții AI trec rapid de la „scrie-mi un e-mail” la „folosește terminalul, caută vulnerabilitatea, execută codul și continuă până rezolvi problema”.
Capacitatea aceasta poate fi extrem de utilă în software, cercetare și securitate informatică. Dar schimbă și natura erorilor.
Un chatbot care halucinează poate spune cu încredere că Parisul este în Italia. E neplăcut și ușor de verificat. Un agent autonom care „halucinează” următorul pas, dar are acces la infrastructură reală, poate executa acel pas înainte ca cineva să apuce să-i spună că a greșit.
De aceea, partea cea mai relevantă a incidentului nu este că un AI ar fi „vrut să evadeze”.
Este aproape opusul: nu trebuie să vrea nimic.
Este suficient să primească un obiectiv, să fie foarte bun la găsirea soluțiilor și să descopere o cale pe care creatorii săi au uitat să o blocheze.
În lumea agenților AI, „Stop” începe astfel să devină o funcție la fel de importantă precum „Go”.