Бенчмарк Сбера для оценки ИИ-агентов на офисных задачах
Сбер представил на конференции ГигаКонф для инженеров первый в России открытый русскоязычный бенчмарк – Cowork Bench, предназначенный для оценки качества выполнения офисных задач ИИ-агентами. Бенчмарк позволяет определить, какие рабочие процессы ИИ способен выполнять самостоятельно и насколько стабильно он с ними справляется. Разработку платформы для создания и управления ИИ-агентами GigaCowork ведет компания «Салют для бизнеса» (входит в экосистему Сбера).
Бенчмарк Сowork Bench, в отличие от других, ориентирован не на оценку ответов ИИ-моделей, а на способность агентов самостоятельно выполнять конкретные задачи от начала до конца: обрабатывать заявки клиентов, готовить отчеты, проводить расчеты без участия сотрудников.
Cowork Bench включает 475 сквозных офисных задач, охватывает 12 бизнес-функций и 26 корпоративных систем. В основу бенчмарка легли проверенные международные практики оценки ИИ-агентов, адаптированные под российский бизнес: сценарии учитывают реальные запросы отечественных компаний и их сотрудников и включают в себя работу с таблицами, документами, почтой, календарем, хранилищем данных, базой знаний и внутренними сервисами организаций. Например, одна из бизнес-задач агента – анализ бюджета: ему нужно сопоставить план-факт по четырем подразделениям, рассчитать отклонения, объяснить их причины, подготовить отчет и презентацию, пересмотреть прогноз, отправить письма. Другая задача – организация командировки команды: отобрать сотрудников, подобрать билеты, посчитать бюджет, завести встречи в календарь.
Чтобы оценить, насколько окружение влияет на способность ИИ-агентов выполнять офисные задачи, разработчики GigaCowork сравнили девять решений на одной открытой модели, с одинаковыми задачами, данными и процедурой проверки. В сравнении участвовали восемь зарубежных инструментов – Goose, Claude Code, DeepSeek, Pi, Codex CLI, OpenHands, OpenCode, Strands baseline и российская платформа GigaCowork. Результаты показали, что выбор харнесса напрямую влияет на результат работы ИИ-агентов: доля успешно выполненных заданий варьируется от 62 до 80% в зависимости от обвязки, и в некоторых случаях разница доходит до 20% на одной большой языковой модели. GigaCowork справился с 75,2% задач, войдя в число лидеров сравнения. Лучше всего платформа показала себя при работе с объемными выгрузками, таблицами, документами Word и календарем.
Как подчеркивают в Сбере, на данный момент нет российских бенчмарков, которые оценивали бы способность ИИ-агентов выполнять офисные задачи от начала до конца, учитывая специфику российских компаний – их корпоративные системы, сценарии и запросы. Cowork Bench – первый бенчмарк в таком классе, он помогает оценить, насколько хорошо агенты справляются с реальными рабочими процессами и какую их часть могут взять на себя. Он открыт для рынка, любой разработчик или компания может использовать его, чтобы улучшить качество работы своих ИИ-агентов.