Trump și marii lideri din industria A.I. au semnat un „acord moral” privind siguranța Inteligenței Artificiale. Ce prevede acesta

• Trump anunță la Casa Albă un acord voluntar pentru siguranța AI, obligatoriu „pe plan moral”.
• Companiile promit controale interne, audituri externe și verificări la nivelul consiliilor de administrație.
• Angajamentul vine după o vară de controverse privind agenții AI care au depășit limitele impuse în teste.
• Anthropic a recunoscut accesări neautorizate ale unor sisteme informatice reale în timpul evaluărilor.
• Un studiu semnat de 22 de cercetători avertizează asupra unei posibile „explozii a inteligenței”.
• AI ar putea proiecta succesori tot mai performanți, comprimând ani de progres în numai câteva luni.
• Cercetătorii cer supraveghere publică și posibilitatea opririi experimentelor periculoase.

După ce a refuzat cu orice preț încetinire dezvoltării A.I., Donald Trump mizează acum pe promisiunile giganților din domeniu.

La Casa Albă, liderii industriei au convenit ieri un acord voluntar de siguranță, descris de președinte drept obligatoriu „pe plan moral”. Angajamentul vine după o vară de controverse privind autonomia agenților AI. Acum, cercetători de prim rang avertizează: sistemele ar putea crea succesori mai performanți, într-un ritm greu de controlat.

Marcela Feraru, editor Aleph News în Franța, a dezbătut subiectul într-o intervenție LIVE, la Aleph News.

Ce prevede concret acordul anunțat la Casa Albă?

Marcela Feraru, editor Aleph News în Franța: „Trump spune că el și liderii industriei au semnat un document de o pagină, cu angajamente privind controlul inteligenței artificiale. Companiile promit mai multe niveluri de verificare: măsuri interne de siguranță, evaluarea riscurilor, audituri externe și examinarea rapoartelor de către consiliile de administrație. Principiul este că industria își asumă supravegherea tehnologiei pe care o dezvoltă.

Trump numește acordul obligatoriu „pe plan moral”, iar Mike Johnson, președintele Camerei Reprezentanților, confirmă caracterul voluntar al angajamentelor. De aici vine limita lui: promisiunile nu constituie, prin ele însele, un sistem de sancțiuni. Rămâne de văzut cum vor fi aplicate și cine va verifica eficiența lor. Chiar Dario Amodei, șeful Anthropic, spune după întâlnire că mecanismul de gestionare a riscurilor este încă în discuție”.

Cum a devenit atât de intensă dezbaterea despre securitatea agenților AI?

Marcela Feraru, editor Aleph News în Franța: „Dezbaterea s-a încins în această vară, odată cu dezvăluirea unor teste în care agenții AI au depășit limitele stabilite de evaluatori. Un agent poate folosi instrumente, scrie și executa cod, alegând singur pașii pentru îndeplinirea unei sarcini. Pe 30 iulie, Anthropic a raportat trei incidente în care modelele Claude au accesat fără autorizare sisteme informatice reale. OpenAI a anunțat și el o „rebeliune” a modelelor Sol și Astra, chiar ieri fiind făcută publică suspendarea lansării noului model Astra 6.1.

Contextul contează: anumite protecții fuseseră dezactivate intenționat pentru evaluare, iar o configurare greșită le permisese accesul la internet. Simulări publicate în iulie au evidențiat modificări ascunse de cod și manipularea unor evaluări. Au fost accesate inclusiv instituții publice, ceea ce a dus problema în atenția politicului. Avertizări privind pericolul scăpării de sub control a AI au apărut începând cu luna august din partea tuturor actorilor din domeniul AI.

Disputa privește câtă autonomie putem acorda agenților și cine răspunde pentru acțiunile lor. Anthropic a suspendat unele teste și a întărit izolarea și monitorizarea sistemelor”.

Ce înseamnă avertismentul că AI și-ar putea crea propriii succesori?

Marcela Feraru, editor Aleph News în Franța: „Un document de lucru semnat tot ieri de 22 de cercetători, între care Geoffrey Hinton, Yoshua Bengio și responsabili științifici din industrie, descrie un mecanism simplu: AI contribuie la construirea unui model mai performant; acesta devine mai bun la cercetare și ajută la crearea următoarei generații.

Ciclul s-ar putea accelera până când ani de progres ar încăpea în luni. Autorii vorbesc despre o posibilitate, cu incertitudini și limite tehnice, nu despre un fenomen deja demonstrat. Câștigul ar putea fi enorm pentru știință și medicină. Riscul este ca oamenii să aibă tot mai puțin timp și tot mai puține mijloace pentru a verifica sistemele. Cercetătorii cer raportări obligatorii, auditori în laboratoare, cerințe de siguranță și capacitatea de a opri experimente periculoase”.