Новые данные расследования Asymmetric Security, с которыми ознакомилась Financial Times, усиливают вопросы о контроле над автономными ИИ-системами и их способности действовать за пределами первоначальных инструкций.
По данным Asymmetric Security, среди затронутых ресурсов были сайты американских Центров по контролю и профилактике заболеваний (CDC), Комиссии по ценным бумагам и биржам (SEC), Международного энергетического агентства (IEA) и медицинского центра Mayo Clinic, уточняет издание. Исследователи обнаружили, что агенты OpenAI получали данные с этих и других ресурсов.
Особое внимание Asymmetric Security привлекли способы, которыми ИИ-агенты взаимодействовали с веб-сервисами. В отдельных случаях они использовали временные электронные адреса и частные учетные записи, а также сервис Urlquery для получения данных.
По данным исследователей, некоторые действия приводили к удалению записей либо делали их недоступными, из-за чего сторонним специалистам было сложнее установить, какие именно данные были получены.
Сооснователь Asymmetric Security Пиппа Томпсон отметила, что подобные способы сокрытия активности обычно ассоциируются с действиями людей, осуществляющих кибератаки. Однако исследование не позволяет утверждать, что модели OpenAI сознательно пытались скрыть свои действия. По версии исследователей, такое поведение могло быть побочным результатом попытки ИИ выполнить поставленную задачу в рамках тестирования.
OpenAI говорит о проверке активности моделей
OpenAI сообщила FT, что продолжает анализировать случаи «misaligned model activity» – поведения моделей, не соответствующего заданным ограничениям, – и уведомляет организации, если выявляет потенциальное воздействие на их системы.
Компания также заявила, что большинство обнаруженной активности было связано с обычными исследовательскими задачами и обращением к общедоступному веб-контенту.
При этом расследование Asymmetric Security появляется на фоне уже выявленных случаев, когда ИИ-агенты OpenAI неожиданным образом взаимодействовали с государственными ресурсами. Об этом в том числе сообщал и Logos Press. В июне агент OpenAI получил несанкционированный доступ к внутренней системе Services Australia, где находились данные статистического характера.
Пока остается открытым вопрос, в какой степени выявленная активность является следствием намеренного поведения моделей, а в какой – результатом особенностей тестовой среды и поставленных задач. Исследование Asymmetric Security не дает окончательного ответа на этот вопрос.
Но совокупность последних инцидентов уже формирует для разработчиков ИИ отдельную задачу: обеспечить не только способность автономных систем выполнять сложные операции, но и возможность эффективно ограничивать, регистрировать и расследовать их действия.
Комментарии
0Комментариев пока нет. Вы можете начать разговор.
Комментировать могут читатели с аккаунтом Logos Press.
Войти, чтобы комментировать