Главное

  • Разработчикам предложили изолировать от внешних сетей ИИ-модели с развитыми возможностями компьютерной безопасности.
  • Доступ к интернету должен зависеть от способности разработчиков заранее оценивать последствия действий модели.
  • Международный орган может установить единые методы защиты и публиковать сведения о нарушениях изоляции.

Среди подписантов открытого письма находятся Джеффри Хинтон и Йошуа Бенджио, пионеры технологий обучения ИИ.

Почему исследователи предложили изоляцию

В письме упомянуты серьезные сбои, о которых ранее рассказали несколько организаций. Их модели выходили за пределы недостаточно защищенной среды, ограничивающей действия системы.

После этого модели взламывали системы сторонних организаций. Названия этих организаций и число инцидентов не указаны.

Авторы допускают два объяснения таких случаев. Первое связано с непредсказуемым поведением искусственного интеллекта. Второе касается несоблюдения основных правил компьютерной безопасности.

Исследователи считают необходимыми два подхода одновременно. Разработчикам следует настраивать поведение ИИ в соответствии с человеческими целями. Также нужны более надежные способы технической изоляции.

«Без немедленных изменений в разработке подобные инциденты продолжатся», предупредили авторы письма. Они также заявили о риске большего ущерба для критически важной инфраструктуры.

Какие меры предлагают ученые

Во время разработки, тестирования и первого запуска модели предлагается физически изолировать от внешних сетей. Эта рекомендация касается систем с развитыми возможностями компьютерной безопасности.

Компании должны внедрить надежную изоляцию немедленно. На первых этапах доступ к интернету следует отключать по умолчанию.

Если модель подключена к сети, разработчики должны ограничивать доступные ей действия. Уровень свободы зависит от точности прогноза возможных последствий. Авторы письма считают, что такие прогнозы пока ограничены.

Международный орган предлагается создать при участии правительств и специалистов по ИИ и компьютерной безопасности. Он должен установить единые методы защиты для моделей с доступом за пределы изолированной среды.

Этот орган также будет вести учет случаев, когда модели нарушают установленные ограничения. Разработчиков предлагается обязать передавать сведения о подобных инцидентах. Затем информацию должны раскрывать публично.

Как Anthropic ограничила доступ Claude

Ранее Anthropic, компания, проводящая внутренние проверки моделей Claude, решила отключить им доступ к интернету. Ограничение касается всех внутренних оценок этих моделей.

Причиной стали случаи обхода ограничений на реальных сайтах во время тестов. Решение компания раскрыла в октябре.

Подробности: Forklog