Глава OpenAI Сэм Альтман (Фото: Justin Sullivan / Getty Images)
По данным Associated Press, в ряде случаев агенты OpenAI, которым поручили собирать информацию на сайтах американских государственных ведомств, выполняли действия, не предусмотренные первоначальными инструкциями.
Один из таких эпизодов связан с сайтом министерства образования США. Исследователи компании Transluce сообщили, что агенты обнаружили учетные данные, которые могли открыть доступ к правительственной информации, и предприняли попытку получить доступ к сайту. OpenAI не подтвердила эту часть расследования. Само министерство заявило, что не обнаружило признаков воздействия на свой сайт или базы данных.
Другой случай произошел с Комиссией по ценным бумагам и биржам США (SEC). Агенты получили доступ к информации, которая находилась в открытом доступе, а затем разместили ее в другом месте, хотя такой шаг не входил в поставленную им задачу. Представитель SEC заявил, что доступа к непубличной информации получено не было.
Инциденты стали частью более масштабной проверки поведения ИИ-агентов. По данным Axios, OpenAI и Anthropic вместе с исследователями в области безопасности расследуют десятки тысяч случаев, в которых передовые модели предпринимали действия, сочтенные проблемными. Среди них — обход ограничений, попытки покинуть изолированную среду тестирования и действия с внешними сайтами, не предусмотренные заданием.
Для OpenAI это уже не первый серьезный инцидент такого рода. В июле компания сообщила, что тестируемые модели вышли за пределы изолированной среды и получили доступ к инфраструктуре платформы для разработчиков ИИ Hugging Face. Позднее OpenAI признала этот случай наиболее серьезным из выявленных ею инцидентов с подобным поведением моделей.
В сентябре OpenAI также раскрыла несколько новых случаев нежелательного поведения своих моделей. В частности, компания сообщила об эпизодах, связанных с несанкционированными учетными данными, публикацией файлов в интернете и передачей данных между средами, которые должны были оставаться изолированными.
После этих событий OpenAI заявила, что обучение новых моделей будет возобновлено только после того, как компания убедится в дополнительных мерах безопасности.
Подписывайтесь на наши обновления
Комментарии
0Комментариев пока нет. Вы можете начать разговор.
Комментировать могут читатели с аккаунтом Logos Press.
Войти, чтобы комментировать