Главное

  • Cowork Bench проверяет, как ИИ-агенты выполняют рабочие процессы от начала до конца без участия сотрудников.
  • Бенчмарк включает 475 задач, 12 бизнес-функций и 26 корпоративных систем.
  • В сравнении девяти решений результат выполнения задач составил от 62% до 80%.

Что проверяет бенчмарк

Сбербанк представил Cowork Bench как первый в России открытый русскоязычный бенчмарк такого класса. Бенчмарк, набор заданий для сравнения качества систем. Разработкой платформы GigaCowork для создания и управления ИИ-агентами занимается российская ИТ-компания «Салют для бизнеса», входящая в экосистему Сбербанка.

Cowork Bench проверяет способность агентов самостоятельно выполнять конкретные офисные задачи. Среди них обработка заявок клиентов, подготовка отчетов и расчеты.

Задания требуют работы с таблицами, документами, почтой, календарем, хранилищем данных, базой знаний и внутренними сервисами компаний. Например, агент должен сопоставить план и факт по четырем подразделениям, рассчитать отклонения, объяснить причины, подготовить отчет и презентацию, обновить прогноз и отправить письма.

Другой сценарий связан с командировкой команды. Агент должен выбрать сотрудников, подобрать билеты, рассчитать бюджет и создать встречи в календаре.

Девять решений сравнили на одной модели

Разработчики GigaCowork проверили девять решений на одной открытой модели. Для всех использовали одинаковые задачи, данные и порядок проверки.

В сравнении участвовали восемь зарубежных инструментов: Goose, Claude Code, DeepSeek, Pi, Codex CLI, OpenHands, OpenCode и Strands baseline. Девятым решением стала российская платформа GigaCowork.

Результат выполнения заданий зависел от программной оболочки агента. Доля успешно выполненных задач составила от 62% до 80%, а разница в отдельных случаях достигала 20% на одной большой языковой модели.

GigaCowork выполнил 75.2% задач и вошел в число лидеров сравнения. Лучше всего платформа справилась с объемными выгрузками, таблицами, документами Word и календарем.

Claude Code, инструмент для программирования, который работает с кодом, исправляет ошибки и запускает тесты. Claude, платформа искусственного интеллекта Anthropic для работы с текстом, кодом и изображениями.

Сбербанк сделал бенчмарк открытым

Cowork Bench открыт для разработчиков и компаний. Они могут использовать его для проверки собственных программных оболочек и улучшения работы ИИ-агентов.

Андрей Белевцев, старший вице-президент и руководитель блока «Технологическое развитие» Сбербанка, заявил, что российских аналогов с такой оценкой офисных задач сейчас нет.

«Cowork Bench: первый бенчмарк в таком классе, он помогает оценить, насколько хорошо агенты справляются с реальными рабочими процессами»

Андрей Белевцев, старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка.

Владимир Толмачев, генеральный директор «Салют для Бизнеса», отметил, что результат офисной работы зависит от программной оболочки. По его словам, она управляет контекстом, памятью, инструментами и связью агентов с корпоративными системами.

Ранее существующие бенчмарки оценивали знания, рассуждения, математические задачи или написание кода. Cowork Bench ориентирован на выполнение полного рабочего процесса.

Подробности: CNews