В России запущен первый открытый продуктовый бенчмарк для оценки корпоративных RAG-решений — RRNCB
В России запущен первый открытый продуктовый бенчмарк для оценки корпоративных RAG-решений — RRNCB
В России представлен первый открытый продуктовый бенчмарк для комплексной оценки решений с применением искусственного интеллекта в реальных бизнес-сценариях — RRNCB (Russian RAG Normative-Corporate Benchmark). Инициатива призвана сформировать прозрачный и объективный стандарт сравнения RAG-продуктов, работающих с корпоративными данными, и создать рейтинг лучших ИИ-решений на российском рынке.
Бенчмарк разработан компанией «Аватар Машина» при поддержке Ассоциации лабораторий искусственного интеллекта (АЛРИИ). В отличие от тестов, направленных только на оценку языковых моделей, RRNCB проверяет полный продукт, включая архитектуру RAG-пайплайна, качество работы на корпоративных документах, устойчивость, масштабируемость и точность выполнения реальных бизнес-задач. Такой подход даёт заказчикам инструмент для взвешенного выбора поставщиков и повышает прозрачность рынка.
Приём заявок от разработчиков RAG-продуктов открыт, а первые результаты будут опубликованы в декабре.
Среди ожидаемых участников — ведущие российские технологические компании:
GigaChat (Сбер), «Нейроэксперт» (Яндекс), Cotype (МТС), Prefentum (Softline), решения от Авито, Точка Банк, Just AI и других ключевых игроков ИИ-индустрии.
«Бенчмарк решает важную задачу для индустрии — создает единый стандарт оценки RAG-продуктов. Сейчас компании сталкиваются с проблемой: как объективно сравнить решения, если существующие инструменты тестируют только языковые модели? RRNCB оценивает готовые продукты целиком, что дает рынку прозрачный механизм сравнения и помогает заказчикам принимать обоснованные решения при выборе поставщика», — отметил Вячеслав Береснёв, Исполнительный директор АЛРИИ, Директор ЦТИ «Нейролаб», федеральный эксперт Минобрнауки России.
Запуск RRNCB становится важным шагом для формирования качественного, конкурентного и технологически зрелого рынка ИИ-решений в стране.
ЦТИ «Нейролаб» продолжит поддерживать инициативы, направленные на развитие стандартизации, повышение прозрачности и ускорение внедрения искусственного интеллекта в бизнес и государственный сектор.
