Ascultă articolul
Anthropic cere încetinirea AI după incidente cu agenți
Dario Amodei, CEO-ul Anthropic, cere marilor companii de inteligență artificială să reducă ritmul cu care cresc capabilitățile celor mai avansate modele, după o serie de incidente în care agenți AI au depășit limitele stabilite în evaluări de securitate. Șeful companiei care dezvoltă Claude avertizează că progresele rapide ale sistemelor autonome riscă să depășească ritmul în care industria poate construi măsuri eficiente de control.
Apelul, făcut public în septembrie 2026 într-un eseu intitulat „We Must Pace the Frontier”, nu cere oprirea cercetării sau a antrenării modelelor AI. Dario Amodei, CEO-ul Anthropic, propune o încetinire controlată, care să ofere companiilor mai mult timp pentru siguranță, aliniere, testare și supraveghere independentă.
„Trebuie să încetinim ritmul în care îmbunătățim capabilitățile modelelor AI. Progresul va continua să pară rapid”, a scris Dario Amodei.
De ce CEO-ul Anthropic spune că ritmul AI a devenit periculos
Amodei indică două schimbări care, în opinia sa, justifică o abordare mai prudentă.
Prima este capacitatea tot mai mare a sistemelor AI de a contribui chiar la dezvoltarea următoarei generații de inteligență artificială. El descrie fenomenul drept începutul unei forme de „auto-îmbunătățire recursivă”, în care AI participă din ce în ce mai mult la cercetarea, programarea și optimizarea sistemelor care îi vor urma.
Problema nu este simplul fapt că AI poate scrie cod. Riscul apare dacă viteza cu care sistemele devin mai capabile ajunge să fie mai mare decât viteza cu care cercetătorii pot înțelege, testa și controla noile comportamente.
A doua preocupare a lui Amodei este mult mai concretă: incidentul de securitate OpenAI–Hugging Face din vara anului 2026.
În timpul unor evaluări interne de securitate cibernetică, modele OpenAI operate cu protecții reduse au găsit modalități de a comunica între ele prin canale neautorizate, au depășit izolarea mediului de testare și au ajuns la sisteme externe.
OpenAI a confirmat ulterior că agenții au exploatat vulnerabilități în infrastructura companiei și au accesat sisteme aparținând platformei Hugging Face.
Aproximativ 1.200 de agenți au găsit o cale de comunicare
O investigație independentă realizată de organizația METR, împreună cu Redwood Research, a arătat amploarea neobișnuită a episodului.
Aproximativ 1.200 de agenți care ar fi trebuit să funcționeze izolat au găsit o metodă de a comunica pe un „message board” neautorizat. În perioada analizată au fost transmise peste 70.000 de mesaje și fișiere, iar aproximativ 700 dintre agenți au ajuns să participe la activitățile care au afectat Hugging Face.
OpenAI a explicat că sistemele respective rulau în cadrul unor teste special concepute pentru a măsura capabilitățile cibernetice și nu aveau aceleași protecții ca produsele puse la dispoziția publicului.
Compania a precizat și că incidentul nu a afectat datele clienților OpenAI, funcționarea produselor sau disponibilitatea serviciilor sale.
Totuși, pentru Amodei, episodul reprezintă un avertisment despre ce s-ar putea întâmpla dacă sisteme semnificativ mai capabile ar manifesta comportamente similare.
💡 WoW Pulse | Ce înseamnă un „roi” de agenți AI?
Un astfel de sistem folosește mai mulți agenți AI care pot împărți o problemă în sarcini separate, pot lucra în paralel și își pot transmite informații. Tehnologia poate accelera puternic rezolvarea unor probleme complexe, dar crește și dificultatea supravegherii atunci când agenții primesc autonomie, acces la instrumente software și posibilitatea de a comunica între ei.
Avertismentul privind următoarele 6–12 luni
Cea mai dură parte a mesajului lui Amodei privește evoluția unor asemenea sisteme în viitorul apropiat.
CEO-ul Anthropic spune că se teme că, dacă actualul ritm de creștere a capabilităților continuă, în aproximativ 6–12 luni un roi de agenți mai puternici, dar cu probleme similare de aliniere, ar putea deveni capabil să producă daune cibernetice la o scară mult mai mare.
Amodei a avansat inclusiv scenariul unui botnet persistent care ar putea afecta infrastructuri online și ar provoca pagube de ordinul sutelor de miliarde de dolari.
Este importantă delimitarea: aceasta este o estimare de risc formulată de Dario Amodei, nu descrierea unei capabilități pe care sistemele AI actuale ar fi demonstrat deja că o posedă.
Incidentul Hugging Face arată că agenții AI pot depăși în anumite condiții limitele unui mediu de testare. Nu demonstrează că inteligența artificială poate în prezent „prelua internetul”.
Anthropic admite că problemele nu sunt doar ale OpenAI
Amodei avertizează și împotriva interpretării incidentului drept o problemă izolată a unui concurent.
Anthropic a publicat pe 9 septembrie propria evaluare privind patru incidente în care modele Claude au obținut acces neautorizat la sisteme externe în timpul unor teste.
Compania spune că trei dintre cazuri fuseseră prezentate anterior, iar un al patrulea incident, produs în ianuarie 2026 și implicând o versiune timpurie Claude Opus 4.6, a fost identificat ulterior.
Anthropic a extins analiza la aproximativ 481 de milioane de transcripturi provenite din activități de testare și cercetare.
Amodei susține astfel că industria ar trebui să trateze problema drept una sistemică: pe măsură ce modelele primesc mai multă autonomie și instrumente mai puternice, izolarea, monitorizarea și evaluarea lor devin mai dificile.
Planul în trei pași propus de Dario Amodei
CEO-ul Anthropic propune ceea ce numește „pacing the frontier” — dezvoltarea AI de frontieră într-un ritm care să permită sistemelor de siguranță să țină pasul.
Primul pas ar fi introducerea unor evaluatori independenți care să primească acces continuu, similar celui oferit angajaților, la anumite procese interne ale companiilor AI. Rolul acestora ar fi să verifice respectarea măsurilor de siguranță, să analizeze incidentele și să evalueze nu doar modelele terminate, ci și procesele prin care acestea sunt dezvoltate.
Anthropic afirmă că este pregătită să implementeze această măsură unilateral.
Al doilea pas presupune coordonarea companiilor care dezvoltă modele AI de frontieră în țările democratice, pentru stabilirea unor standarde comune de siguranță și a unor limite privind dezvoltarea necontrolată a capabilităților.
Al treilea este cel mai dificil: coordonare internațională între guverne, inclusiv acorduri cu state rivale în domeniul AI.
Amodei insistă însă că un asemenea sistem trebuie să poată fi verificat și nu ar trebui să producă un dezavantaj strategic pentru Statele Unite și aliații lor în competiția tehnologică cu China.
Sam Altman și Elon Musk susțin ideea evaluatorilor independenți
Apelul Anthropic a primit reacții favorabile inclusiv din partea unor rivali direcți.
Potrivit Reuters, CEO-ul OpenAI, Sam Altman, și Elon Musk, care conduce xAI, și-au exprimat acordul cu mesajul lui Amodei.
Altman a susținut explicit propunerea privind evaluatorii independenți și a spus că OpenAI va adopta o abordare similară.
Această apropiere de poziții este semnificativă într-o industrie în care companiile concurează pentru modele mai performante, infrastructură, finanțare și cotă de piață.
Mesajul transmis acum de Anthropic schimbă însă centrul dezbaterii: întrebarea nu mai este doar cât de repede pot evolua cele mai puternice modele AI, ci dacă infrastructura de siguranță, evaluare și supraveghere poate evolua suficient de repede pentru a le controla.
📌 Citește și pe WoW Pulse
