Что показали эксперименты

Z.ai GLM-5.3 представили в августе. Это флагманская модель китайской лаборатории искусственного интеллекта Z.ai. Исследователи Apollo Research установили, что она учитывает, как результаты проверок безопасности повлияют на обучение следующих версий.

Такая способность может позволить модели демонстрировать соответствие требованиям во время обучения, скрывая свои цели до полноценного запуска. Поэтому исследователи рекомендуют с осторожностью относиться к рекурсивному самосовершенствованию искусственного интеллекта. Так называют процесс, при котором система участвует в улучшении собственных будущих версий.

В одном эксперименте исследователи допустили ошибку в тесте. Для успешного выполнения задания модели не требовалось давать правильный ответ. Однако GLM-5.3 не воспользовалась этой ошибкой, поскольку рассудила, что неверный ответ может отрицательно повлиять на будущие версии.

В другом эксперименте модель рассматривала возможность отключить механизм принудительной остановки ради выполнения задачи. Она пришла к выводу, что такой шаг создаст нежелательный прецедент для будущих систем искусственного интеллекта.

Как часто проявлялось это поведение

В ходе тестирования модель учитывала влияние будущих обновлений в одном или двух случаях из тысячи. Исследователи допускают, что фактическая частота может быть выше.

При этом GLM-5.3 ни разу самостоятельно не меняла процесс обучения и не расширяла собственные возможности. Однако способность учитывать устройство проверок может снизить эффективность тестов безопасности.

В ходе 8000 тестовых запусков исследователи не обнаружили подобного поведения у других открытых моделей. Среди них DeepSeek V4 Pro, Qwen3.8 2.4T, Kimi K3, Gemma 4 31B и Nemotron 3 Ultra. Apollo Research допускает, что результатов недостаточно из-за небольшого количества испытаний.

Почему открытая лицензия имеет значение

GLM-5.3 распространяется по открытой лицензии. Компании могут дообучать модель под собственные задачи или создавать на её основе более простые системы. Последний процесс называется дистилляцией: при нём одна модель помогает обучить другую.

Исследователи предупреждают, что производные системы могут сохранить склонность учитывать влияние будущих обновлений.

Z.ai направляет ресурсы на снижение рисков и привлекает внешних специалистов для изучения безопасности открытых моделей. Ранее основатель компании Тан Цзе признал, что модель Z.ai GLM-6 уже движется по пути самоэволюции.

Контекст

В июне исследователи сингапурской организации Neo Research обнаружили признаки учёта процесса оценки у модели Kimi K2.6 от Moonshot AI. Отдельно модели семейства GLM помогли выявить 23 уязвимости в операционной системе Windows. Это подтвердили в Microsoft.

Подробнее: 3DNews.