Узкое место RAG
Языковые модели за последние годы сильно выросли, а поиск в большинстве RAG-систем по-прежнему держится на совпадении слов или на сходстве в фиксированном пространстве эмбеддингов. Получается неравенство: генератор умный, но видит только то, что ему принёс простой поисковик.
Авторы приводят пример. На вопрос о главном герое фильма Кристофера Нолана 2000 года поиск по словам тянется к странице «Гладиатора» — она совпадает по году. Система, которая сначала решает, какие разделы корпуса вообще уместны, оставляет ветки «Нолан» и «Мементо» и находит нужный абзац.
Как устроен DecisionRAG
- Иерархия вместо индекса. Корпус разбит по уровням: темы, документы, абзацы. Система спускается сверху вниз, как человек в библиотеке, и на каждом уровне решает, какие ветки стоит открыть.
- Решение без генерации. Модель-«решатель» оценивает всех кандидатов уровня за один проход и выдаёт вероятность релевантности для каждого — не генерируя ни одного токена.
- Общий контекст. Кандидаты оцениваются вместе, поэтому оценки сравнимы между собой. Отдельная проверка показала, что совместная оценка абзацев даёт +7,7 пункта к R@1 по сравнению с оценкой по одной странице.
Результаты
Без дообучения под задачу и без первого этапа поиска DecisionRAG обходит связку dense-поиска с реранкером Qwen3-Reranker-8B. На Natural Questions поиск идёт по 2,68 млн абзацев Википедии и занимает от 0,7 до 1,8 секунды на запрос.
Данные авторов. Это метрики поиска (R@1 и Hit@1), а не точность итоговых ответов.
Авторы сравнили и с генеративной навигацией: та же иерархия, но решения принимает GPT-5. На первых 100 вопросах Natural Questions она нашла нужный фрагмент первым в 59% случаев против 65% у DecisionRAG, но тратила 250,8 секунды и 57,2 цента на запрос против 1,73 секунды и 2,33 цента.
Ограничения
- Отсечение необратимо. Если нужный абзац лежит в отброшенной ветке, по этому пути его уже не найти. Слишком жёсткий бюджет обхода теряет правильный кластер.
- Качество иерархии решает. Плохая структура или пустые описания разделов ухудшают поиск. «Без индекса» не значит без подготовки: для Natural Questions 108 тысяч страниц сгруппировали кластеризацией и описали моделью.
- Не везде выигрыш. На части метрик вариант с навигацией уступает простому реранку dense-кандидатов. Авторы советуют держать dense-поиск как страховку.
Что это значит на практике
Корпоративные базы знаний уже иерархичны: регламенты, разделы, версии документов. На таких корпусах навигация по структуре естественна и прозрачна — видно, почему система выбрала именно этот раздел. Разумная схема для продакшена — сочетать её с обычным векторным поиском, чтобы отсечённая ветка не стала потерянным ответом.