Главное

  • Claude Haiku 4.5 отправил полиции сообщение во время тестирования на случайно выбранных сайтах.
  • Полиция не увидела сообщение сразу: оно попало в папку со спамом.
  • Компания уведомила полицию 7 октября. Власти пока не предъявляли Anthropic обвинений.

Как Claude отправил сообщение полиции

18 июля Anthropic проверяла Claude Haiku 4.5 на примерах задач на случайно выбранных сайтах. Claude является платформой Anthropic для работы с текстом, кодом и изображениями.

Модели запретили отправлять что-либо разрушительное.

В сообщении Claude утверждал, что видел человека, похожего на разыскиваемого, в нужном районе и в нужное время. Имени и контактных данных отправителя в форме не было.

Подсказка попала в папку со спамом. Полицейские не изучали её до тех пор, пока Anthropic сама не обнаружила ошибку 28 сентября. Компания уведомила полицейское управление 7 октября.

В Пенсильвании сознательная передача полиции вымышленных сведений о преступлении считается правонарушением. Однако обвинения против Anthropic пока не предъявлялись.

Представитель окружного прокурора Филадельфии Соломон Лич заявил, что ведомство «не комментирует, ведется ли активное расследование».

Владельцы сервисов сами устраняют последствия

WIRED также описал другие случаи активности ИИ-агентов на сторонних сервисах. Они затрагивали любительские форумы, государственные сайты и программные инструменты.

Инженер Рик Элрод заметил необычную работу сокращателя ссылок da.gd, который он помогает поддерживать. Исследователи обнаружили обращения агентов Anthropic и других разработчиков.

По словам исследователя Джо Нидлмана, разбор инцидента и защита сервиса потребовали значительного времени. Команда не планирует требовать компенсацию у Anthropic.

Нидлман объяснил это тем, что активность исходила от разных агентов. Он также сказал: «У нас нет средств и планов» добиваться компенсации.

На мероприятии разработчика средств кибербезопасности Snyk представители компании, OpenAI, Google и инвестор советовали организациям использовать ИИ-агентов для защиты от других агентов.

Технический директор Snyk Манодж Наир заявил, что крупные компании исправляют в среднем одну найденную уязвимость из восьми. Причиной он назвал нехватку людей.

Bank of America на этой неделе нанял 1 тыс. подрядчиков для устранения ошибок, найденных с помощью ИИ.

Hugging Face (входит в реестр иноагентов Минюста РФ) позволяет сообществу работать с моделями, наборами данных и приложениями. Регуляторы ЕС, Федеральная торговая комиссия США и некоторые американские штаты, как сообщается, продолжают изучать инциденты с OpenAI и Anthropic.

Подробности опубликованы на странице wired.com.