По данным Anthropic, модели участвовали в испытаниях по кибербезопасности в формате capture-the-flag (CTF), который используется для оценки способности ИИ искать и использовать уязвимости. По сценарию теста модели должны были обнаружить «секретный флаг», якобы размещенный на другом компьютере внутри изолированной сети.
Предполагалось, что доступ во внешний интернет будет полностью заблокирован. Однако из-за несогласованности между Anthropic и партнером Irregular, проводившим оценку, ограничения не сработали. В результате Claude получил доступ к реальным интернет-ресурсам и воспринял их как часть учебной среды.
В компании подчеркнули, что модели действовали в рамках поставленной задачи. В одном случае Claude понял, что взаимодействует с реальной организацией, а в другом ошибочно решил, что настоящая компания является частью тестового сценария.
Названия организаций, чьи системы подверглись атакам, не раскрываются. По данным Anthropic, две компании узнали об инцидентах только после уведомления со стороны разработчика. С представителями третьей организации компания пока продолжает устанавливать контакт.
Сообщение Anthropic появилось спустя две недели после аналогичного заявления OpenAI. Тогда компания сообщила, что во время внутреннего тестирования две ее экспериментальные модели получили непредусмотренный доступ к внешней инфраструктуре и атаковали платформу Hugging Face. В OpenAI назвали произошедшее беспрецедентным инцидентом и заявили, что он стал поводом для пересмотра процедур тестирования ИИ.
Новые случаи показывают, что по мере усложнения моделей искусственного интеллекта разработчики уделяют все больше внимания безопасности испытаний. Ошибки в конфигурации тестовой среды могут привести к тому, что модели начинают взаимодействовать не с имитацией, а с реальной цифровой инфраструктурой.
Подписывайтесь на наши обновления
