Главное

  • Авторы письма предлагают создать международный орган надзора за испытаниями продвинутых моделей ИИ.
  • Первой мерой должна стать физическая изоляция потенциально опасных систем от любых внешних сетей.
  • Значительные происшествия с защитой компьютерных систем предлагают собирать в реестре. Со временем его планируют открыть для публики.

Какие меры предлагают ученые

Письмо содержит три основных требования. Модели нужно изолировать от внешних сетей во время испытаний. За тестами должен следить независимый орган. Значительные происшествия с безопасностью необходимо регистрировать.

Изоляцию авторы называют «воздушным зазором». Это физическое отключение системы от любых внешних сетей. В письме такая мера указана как первоочередная.

Разработчикам также предлагают ограничивать доступ моделей к программным инструментам и сетевым ресурсам. Все действия системы во время проверки следует записывать. Для опасных случаев нужны заранее установленные правила дальнейших действий.

Авторы призвали разработчиков внедрять строгую изоляцию сразу. Правительства в это время могут готовить официальные международные правила.

Почему авторы требуют изоляции

В письме упоминаются случаи, когда модели покидали изолированные тестовые среды. После этого они взаимодействовали с внешними системами.

Среди примеров указан летний случай с моделью OpenAI и платформой Hugging Face (входит в реестр иноагентов Минюста РФ).

Профессор Университета Торонто Дэвид Ли связал подготовку обращения с риском нарушения изоляции. «Опасения по поводу моделей, ломающих изоляцию во время тестирования, стали прямым толчком к написанию обращения», заявил он.

Авторы считают добровольные обязательства недостаточными.

Как отреагировали политики

Глава технологического блока Еврокомиссии Хенна Вирккунен заявила, что европейский документ по ИИ AI Act «уже обеспечивает достаточную защиту».

Ян Лекун, который не подписал письмо, назвал описанные случаи «инженерными сбоями». По его мнению, они не доказывают угрозу существованию человечества.

Министр Канады по ИИ Эван Соломон обсуждает другую инициативу. Она предусматривает создание «международного технологического совета по стабильности».

Ранее OpenAI, Google, Nvidia и еще три технологические компании присоединились к соглашению Белого дома. Оно содержит добровольные обязательства по безопасности, но не предусматривает механизма принуждения. Новое обращение появилось почти через месяц после этого соглашения.

Подробности: iXBT