Главное

  • Модели получили адаптеры для общих решений, проверки безопасности и распознавания речи.
  • Granite-Switch-4.1-8B умеет расшифровывать аудио, составлять краткие пересказы и проверять вредный контент в реальном времени.
  • В тесте с игрой Doom версия Granite с 3 млрд параметров принимала от 60 до 100 решений в секунду против 10 у Jev.

Один доступ для разных задач

В состав Granite-Switch-4.1-8B и -30B входит Decision aLoRA. Это адаптер для принятия решений общего назначения.

Модели также получили Guardian aLoRA для задач, связанных с безопасностью. По данным IBM Granite, в среднем он превзошёл Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions и Clef-Flash.

Третий компонент, Granite-Speech-5.0-Turbo-CTC, распознаёт речь и переводит аудио в текст. На момент публикации его называли самой быстрой моделью распознавания речи в рейтинге OpenASR Leaderboard.

Все три технологии объединили с базовой моделью в одной системе. Для работы ей требуется примерно столько же видеопамяти на графическом процессоре, сколько занимает одна базовая модель.

Модели могут переключаться между запросами на чат, принятие решений и работу с голосом.

Что умеет версия на 8 млрд параметров

Granite-Switch-4.1-8B может в реальном времени расшифровывать аудио, создавать пересказы и проверять вредный контент. Она также тестирует более 15 общих флагов, то есть заранее заданных признаков для проверки.

Для ускорения работы IBM Granite использовала недавние изменения в vLLM. Это программный инструмент для запуска моделей. В систему также встроен отдельный компонент для обработки речи.

В моделях применяются кэшируемые адаптеры Activated LoRA. Благодаря этому промежуточные результаты базовой модели можно повторно использовать для последующих решений через другие адаптеры.

Настройка собственных моделей

Модели выпустили с заранее выбранным набором адаптеров. Пользователи могут собирать собственные версии Granite Switch из компонентов Granite Libraries.

Granite Libraries, это репозиторий специализированных адаптеров для решений и других задач. IBM Granite заявила, что некоторые из них показывают более высокий результат, чем универсальные модели, в отдельных задачах классификации.

В отдельном сравнении Granite-Switch-4.1-30B с четырьмя специализированными адаптерами быстрее завершила пятиэтапный рабочий процесс с поиском данных и генерацией ответа. Соперником была Jev-27B с одной универсальной адаптацией для решений.

Компания планирует выпустить набор инструментов для обучения адаптеров в Mellea. Также должны появиться дополнительные руководства и поддержка Granite Switch.

В качестве примера IBM Granite собрала собственную модель Granite Switch на 3 млрд параметров для управления игрой Doom. Она принимала от 60 до 100 решений в секунду. В источнике для Jev указана скорость 10 решений в секунду.

В отличие от Jev, эта версия Granite могла одновременно описывать происходящее в игре и отвечать на вопросы. IBM Granite намерена опубликовать дополнительные сведения и данные о Granite Switch в ближайшие недели.

Подробности: Hugging Face (входит в реестр иноагентов Минюста РФ)