20 августа стартует первый российский открытый бенчмарк для оценки RAG-решений — RRNCB
20 августа стартует первый российский открытый бенчмарк для оценки RAG-решений — RRNCB
20 августа 2025 года стартует RRNCB – Russian RAG Normative – Corporate Benchmark — первый в России открытый бенчмарк для оценки RAG-решений при работе с нормативной, правовой и технической документацией компаний.
Генеральный директор ЦТИИ Нейролаб Вячеслав Береснёв войдёт в состав экспертного совета бенчмарка.
Зачем нужен RRNCB?
Сегодня на рынке десятки RAG-решений, но у бизнеса нет единой методики для их объективного сравнения. RRNCB решает эту проблему, предлагая:
- комплексную оценку Retrieval Augmented Generation-продуктов для работы с корпоративной и технической документацией;
- акцент на системы, работающие с русскоязычными нормативами, кодексами, ГОСТами и корпоративными документами;
- открытые методики оценки и доступ к данным;
- сравнение по ключевым метрикам: ROUGE, LLM-судья, скорость, качество уточняющих вопросов.
Участие
К участию приглашаются компании, разрабатывающие RAG-решения. Необходимо заполнить заявку
Участникам доступны:
- независимый лидерборд;
- управление сабмитами;
- тестирование перед отправкой в лидерборд;
- категории решений: cloud и on-prem.
Даты проведения
- Запуск: 20 августа
- Регистрация решений: до 3 сентября
- Публикация результатов: 20 сентября
Почему стоит участвовать?
- Объективные метрики вместо маркетинговых заявлений.
- Попадание в топ лидерборда — готовый PR-повод.
- Стресс-тест в условиях, близких к реальным.
- Ценные данные для R&D-команды.
- Экономия ресурсов на собственном тестировании — инфраструктура и датасеты уже подготовлены.
Инициатор проведения: ООО «Аватар Машина».
