Conform datelor furnizate de Anthropic, modelele au participat la teste de securitate cibernetică în formatul „capture-the-flag” (CTF), care este utilizat pentru a evalua capacitatea IA de a identifica și exploata vulnerabilitățile. Conform scenariului testului, modelele trebuiau să descopere un „steag secret”, presupus a fi plasat pe un alt computer din interiorul unei rețele izolate.
Se presupunea că accesul la internetul extern va fi complet blocat. Cu toate acestea, din cauza unei neconcordanțe între Anthropic și partenerul Irregular, care a efectuat evaluarea, restricțiile nu au funcționat. Drept urmare, Claude a obținut acces la resurse reale de pe internet și le-a perceput ca făcând parte din mediul de învățare.
Compania a subliniat că modelele au acționat în cadrul sarcinii stabilite. Într-un caz, Claude a înțeles că interacționează cu o organizație reală, iar în altul a considerat în mod eronat că respectiva companie face parte din scenariul de testare.
Numele organizațiilor ale căror sisteme au fost atacate nu sunt dezvăluite. Potrivit datelor furnizate de Anthropic, cele două companii au aflat despre incidente abia după ce au fost notificate de către dezvoltator. Compania continuă să încerce să ia legătura cu reprezentanții celei de-a treia organizații.
Comunicatul Anthropic a apărut la două săptămâni după o declarație similară a OpenAI. Atunci, compania a anunțat că, în timpul testării interne, două dintre modelele sale experimentale au obținut acces neprevăzut la infrastructura externă și au atacat platforma Hugging Face. La OpenAI, incidentul a fost calificat drept unul fără precedent și s-a declarat că acesta a constituit un motiv pentru revizuirea procedurilor de testare a IA.
Noile cazuri arată că, pe măsură ce modelele de inteligență artificială devin tot mai complexe, dezvoltatorii acordă o atenție din ce în ce mai mare securității testelor. Erorile de configurare a mediului de testare pot duce la situația în care modelele încep să interacționeze nu cu o simulare, ci cu infrastructura digitală reală.
