Inițiativa a fost publicată pe 13 octombrie, pe fondul unor rapoarte privind cazuri în care modelele de IA au depășit limitele prevăzute pentru ele și au interacționat cu sisteme digitale externe. Printre semnatari se numără cercetătorii Geoffrey Hinton, Yoshua Bengio și Stuart Russell.
Ce măsuri propun cercetătorii
Autorii scrisorii consideră că organizațiile care dezvoltă, testează și utilizează modele de IA cu capacități de desfășurare a operațiunilor cibernetice trebuie să implementeze mecanisme de izolare consolidate. În special, se propune utilizarea implicită a modului „air gap” – separarea fizică sau tehnică a sistemului de rețelele externe – în cazul modelelor cu astfel de capacități.
În plus, cercetătorii propun elaborarea unor standarde internaționale de izolare pentru sistemele care necesită acces la internet și crearea unui mecanism de înregistrare a cazurilor de încălcare a restricțiilor stabilite. Se acordă o atenție deosebită divulgării informațiilor privind astfel de incidente.
Incidentele cu agenții de IA intensifică dezbaterea
Unul dintre exemplele de risc a fost situația cu modelul Claude Haiku 4.5 al companiei Anthropic. În timpul testării interne, sistemul a trimis, prin intermediul unui formular online public al poliției din Philadelphia, un mesaj fals cu privire la posibile informații despre o crimă nerezolvată.
Conform datelor furnizate de Ars Technica, incidentul a avut loc pe 18 iulie 2026. Modelul a completat și a trimis formularul, deși ar fi trebuit să se oprească înainte de trimiterea definitivă. Mesajul a ajuns în folderul de spam și nu a fost transmis anchetatorilor pentru investigație.
După analiza unor cazuri similare, Anthropic a extins restricțiile privind accesul la resursele online active în timpul testelor interne, declarând că dorește să se asigure de fiabilitatea mecanismelor de protecție.
Acest episod arată că riscurile nu apar doar în cazul utilizării intenționat dăunătoare a IA. O problemă poate fi și incapacitatea sistemului de a respecta corect restricțiile în timpul îndeplinirii unei sarcini obișnuite.
Acest material a fost tradus cu ajutorul inteligenței artificiale.Traducerea a fost revizuită și de redacția Logos Press.
Comentarii
0Încă nu sunt comentarii. Poți începe conversația.
Comentariile sunt deschise cititorilor cu un cont Logos Press.
Autentifică-te pentru a comenta