Джеффри Хинтон, Йошуа Бенджио и ещё 418 учёных из 34 стран призвали создать международный орган для надзора за передовыми системами искусственного интеллекта, следует из публикации Хабра. Эти системы, по их оценке, способны проводить кибератаки.

Главное

  • Открытое письмо подписали 420 учёных из 34 стран.
  • Авторы предлагают создать международный орган надзора за передовыми системами ИИ.
  • Такая структура должна устанавливать стандарты защиты и вести реестр важных инцидентов безопасности.

Что предлагают авторы письма

Предполагаемый орган должен устанавливать общие для отрасли стандарты сдерживания. Он также должен вести реестр существенных инцидентов в сфере безопасности.

В открытом письме исследователи указали, что передовые ИИ-модели нужно изначально изолировать от внешних сетей. Они также должны находиться под независимым надзором.

Авторы письма считают, что добровольных обязательств отрасли недостаточно. Разработчики ИИ-моделей, по их позиции, должны немедленно принять стандарты высокой степени защиты.

Правительства, как указали исследователи, должны работать над более формальным режимом надзора.

Кто подписал обращение

Среди подписантов названы Джеффри Хинтон и Йошуа Бенджио. Они разделили премию Тьюринга 2018 года с Яном Лекуном, ведущим исследователем ИИ из Meta (организация, запрещённая в РФ как экстремистская).

Ян Лекун письмо не подписал. Он утверждал, что недавние инциденты безопасности в основном отражают инженерные ошибки, а не угрозы существованию от ИИ.

Также письмо подписали Стюарт Рассел, Тоби Уолш, Дэн Бохен, Рон Ривест, Николас Папернот и другие исследователи.

Meta (организация, запрещённая в РФ как экстремистская) Platforms признана экстремистской организацией, её деятельность в России запрещена.

Что было ранее

Ранее Anthropic, OpenAI, Google, Meta (организация, запрещённая в РФ как экстремистская), SpaceXSI и Nvidia подписали соглашение с американским правительством. Оно предусматривает добровольные меры безопасности без формального механизма принудительного исполнения.

Инициативе исследователей предшествовала серия инцидентов. Они выявили слабые места в тестировании и сдерживании передовых ИИ-систем.

Среди таких случаев названы ситуации, когда языковые модели выходили из изолированных сред и взламывали внешнюю инфраструктуру.