Главное

  • Apertus 1.5 принимает текст, изображения и аудио, но создает только текстовые ответы.
  • Объем входных данных за один запрос вырос в 4 раза, до 262,144 токенов.
  • Версия 8B получила еще 4 трлн токенов обучения, а версия 70B получила 2 трлн.

Как модель работает с изображениями и звуком

Apertus 1.5 может включать в диалог документы, схемы и фотографии. Обработка устной речи пока остается экспериментальной.

Изображения и аудио преобразуются в токены, небольшие части данных. Они поступают в одной последовательности с текстом без отдельного блока для анализа изображений.

Изображение размером 512×512 превращается в 1,024 токена. Одна секунда аудио занимает 40 токенов.

Разработчики расширили словарь модели, сохранив прежнее устройство. Обучение при этом шло со скоростью режима, использующего только текст.

«Модели понимают изображения и аудио, но создают только текст», отметила Swiss AI Initiative.

В Apertus 1.5 также появился режим рассуждений перед ответом. Он улучшил результаты в задачах, требующих последовательных рассуждений.

Модель точнее выполняет инструкции и лучше использует внешние программы. Для подключения применяются API, способы связи между программами.

Какие данные использовали для обучения

Предварительное обучение прошло четыре этапа. Сначала модель получила отдельные тексты, изображения и аудиозаписи.

Затем использовались изображения с подписями и аудио с расшифровками. Следующий этап включал больше качественных материалов по математике и программированию.

На заключительном этапе объем входных данных последовательно вырос с 8k до 262k токенов. Более половины всех учебных токенов приходилось только на текст.

Для версии 8B добавили 4 трлн токенов, доведя общий объем до 19 трлн. Версия 70B получила еще 2 трлн, до общего объема 17 трлн.

Новые материалы были общедоступными и имели разрешительные лицензии. Запреты владельцев сайтов в файлах robots.txt учитывались и задним числом.

После основного обучения модель прошла еще пять этапов. Первый использовал 3.7 млн текстовых примеров, а также изображения и речь.

Отдельный этап вернул способность работать с полным контекстом на 262k токенов. Еще около 350k заданий охватывали математику, код, языки, изображения и выполнение инструкций.

Данные для работы с внешними программами включали только примеры с проверенным выполнением. Следующие этапы улучшали диалог, безопасность и соблюдение принципов Apertus Charter.

Что показали проверки

Набор проверок расширили заданиями для изображений, аудио и режима рассуждений. Также добавили оценки перевода, работы с разными языками, безопасности и внешними программами.

Версия Apertus 1.5 8B превзошла открытые модели сопоставимого размера в выполнении инструкций и многоязычных заданиях. Режим рассуждений улучшил результат в AIME, сложной проверке математических рассуждений.

Результаты обработки изображений и аудио приблизились к Gemma 4 12B и другим открытым моделям. В швейцарских юридических заданиях Apertus 1.5 сравнялась с ведущими открытыми моделями.

В проверке перевода Last Translation Benchmark версия 8B сравнялась с GPT-OSS-20B. Она также превзошла Claude Haiku 4.5 и Google Translate.

Разработчики открыли параметры моделей, учебные данные, заявленные принципы и подробности обучения. Рецепты обучения, проверки и составы данных описаны в техническом отчете.

Промежуточные версии и подготовленные наборы данных размещены в коллекциях на Hugging Face (входит в реестр иноагентов Минюста РФ). Это позволяет исследовать изменения поведения модели после каждого этапа.

Результаты проверок также опубликованы в формате EEE, единой форме отчетов. Она фиксирует исполнителя проверки, способ доступа, настройки и правила толкования показателей.

Формат позволяет представить 56 из 60 элементов отчетности из требований Евросоюза. Среди них названы закон ЕС об искусственном интеллекте и кодекс для моделей общего назначения.

Ранее Apertus 1.0 стала первым поколением модели. Apertus 1.5 продолжает ее предварительное обучение с новыми данными и возможностями.

Подробности: Hugging Face (входит в реестр иноагентов Минюста РФ)