Главное

  • Дополнительная нейросеть хранилась внутри основной модели в зашифрованном виде.
  • С правильным ключом скрытая сеть отвечала верно в 73,5% случаев. Без ключа точность составляла около 50%.
  • Ключ длиной восемь бит удалось перебрать полностью. При 16 битах метод почти не превзошел случайный поиск.

Как работала скрытая функция

Авторы изучили сценарий, при котором злоумышленник меняет модель до ее установки.

В обычном режиме нейросеть выполняла ожидаемую задачу и проходила проверку. Секретная последовательность расшифровывала скрытые настройки и запускала дополнительное вычисление.

Так исследователи создали криптографический бэкдор. Это скрытая функция, которую можно включить только специальным ключом. Авторы сравнили защиту с цифровым сейфом.

Без правильного ключа проверяющий не видел скрытые настройки. Он также не получал подсказок о задаче дополнительной сети.

Обычные бэкдоры можно искать через перебор входных данных или анализ настроек модели. Еще один способ заключается в дополнительном обучении нейросети. В эксперименте эти проверки не раскрыли функцию.

Какие результаты получили исследователи

Для опыта использовали небольшую модель, связанную с химическими реакциями. Она определяла, могут ли заданные вещества образовать предложенный продукт реакции.

С правильным ключом скрытая сеть выбирала верный ответ в 73,5% случаев. Без ключа точность оставалась около 50%. Это соответствовало почти случайному выбору.

Исследователи попытались дополнительно обучить модель на той же задаче. После 500 шагов точность составила 50,9%. Обучение через внутренние состояния нейросети дало 52,9%.

Для сравнения авторы подготовили обычную модель с парольной защитой без шифрования. После аналогичного обучения ее точность выросла примерно с 51% до 92,8%.

Не помогли и специальные способы поиска секретной последовательности.

Восьмибитный ключ удалось проверить полным перебором всех вариантов. После увеличения ключа до 16 бит поиск уже не давал заметного преимущества перед случайным подбором.

Ограничения и выводы эксперимента

До скрытия подобных функций в крупных системах пока далеко. Экспериментальная конструкция оказалась очень громоздкой.

Модель для химического теста содержала около 2,07 млрд параметров. Это настраиваемые значения, определяющие ее работу. При этом ненулевыми оставались примерно 1,9 млн параметров.

Необычная структура настроек может указать на встроенную схему. Проверяющий при этом может не узнать ключ и назначение скрытой функции.

Авторы формулируют важное ограничение так: «Скрытую функцию исследователи встроили намеренно». Работа не показывает, что современные языковые модели способны самостоятельно создавать такую маскировку.

Эксперимент рассматривает ситуацию, когда атакующий заранее получил доступ к модели и изменил ее. В таком случае проверки ответов и дополнительного обучения может оказаться недостаточно.

Подробности: SecurityLab