Инициатива опубликована 13 октября на фоне сообщений о случаях, когда ИИ-модели выходили за пределы предусмотренных для них ограничений и взаимодействовали с внешними цифровыми системами. Среди подписантов – исследователи Джеффри Хинтон, Йошуа Бенжио и Стюарт Рассел.
Какие меры предлагают исследователи
Авторы письма считают, что организациям, разрабатывающим, тестирующим и использующим ИИ-модели с возможностями проведения киберопераций, необходимо внедрять усиленные механизмы изоляции. В частности, предлагается по умолчанию использовать режим air gap – физическое или техническое отделение системы от внешних сетей, – если речь идет о моделях с соответствующими возможностями.
Кроме того, исследователи предлагают разработать международные стандарты изоляции для систем, которым необходим доступ к интернету, и создать механизм регистрации случаев нарушения установленных ограничений. Отдельное внимание уделяется раскрытию информации о таких инцидентах.
Инциденты с ИИ-агентами усиливают дискуссию
Одним из примеров риска стала ситуация с моделью Claude Haiku 4.5 компании Anthropic. Во время внутреннего тестирования система отправила через публичную онлайн-форму полиции Филадельфии ложное сообщение о возможной информации по нераскрытому убийству.
По данным Ars Technica, инцидент произошел 18 июля 2026 года. Модель заполнила и отправила форму, хотя должна была остановиться до окончательной отправки. Сообщение попало в папку спама и не было передано следователям для расследования.
После анализа подобных случаев Anthropic расширила ограничения на доступ к действующим интернет-ресурсам во время внутренних испытаний, заявив, что хочет убедиться в надежности защитных механизмов.
Этот эпизод показывает, что риски возникают не только при намеренно вредоносном использовании ИИ. Проблемой может стать и неспособность системы корректно соблюдать ограничения при выполнении обычной задачи.
Комментарии
0Комментариев пока нет. Вы можете начать разговор.
Комментировать могут читатели с аккаунтом Logos Press.
Войти, чтобы комментировать