Налог на память: почему память агента может работать хуже простого поиска

Исследователи UIUC и Tsinghua сравнили системы памяти агентов с обычным RAG по сырой истории. Во многих случаях память проигрывает. Разбираем, где теряются факты и как их вернуть.

Два способа помнить

У агента, который месяцами общается с пользователем, есть два способа найти давний факт. Можно заранее строить память: сводки, извлечённые факты, структурированные записи — и искать по ним. А можно хранить историю почти как есть и в момент вопроса доставать нужные фрагменты обычным поиском — RAG.

Память обещает удобство: факты собраны и упорядочены. Но при переработке что-то может потеряться или исказиться. Авторы впервые измерили это напрямую на нескольких бенчмарках и моделях.

Выгода и налог

За точку отсчёта взят простой RAG по сырой истории. Если система памяти отвечает верно там, где RAG ошибся, — это выгода памяти. Если ошибается там, где RAG справился, — это налог на память. Чистая ценность памяти — разница между ними, и во многих настройках она отрицательная.

LongMemEval-s, модель Qwen3.6-27B: доля верных ответов

SimpleMem — система памяти73,6%

RAG по сырой истории, два раунда81,4%

SimpleMem + поиск по исходной истории82,8%

Данные авторов. Картина не везде одинакова: на MINT-Eval система PlugMem набирает 33,3% против 33,1% у RAG.

Откуда берётся налог

Авторы разделили потери на два вида. Первый — верность: дошёл ли нужный факт до памяти при её построении. Второй — доступность: факт сохранился, но его не удаётся найти в момент вопроса.

Потеря при построении. При сжатии и выделении фактов часть деталей пропадает. Разметка 500 случайных реплик подтвердила: у многих систем такие потери есть.
Фрагментация. Один факт разбит на несколько записей, и ни одна не похожа на вопрос целиком.
Размытие и перефразирование. Факт смешан с посторонним содержимым или пересказан другими словами, и поиск по сходству его пропускает.

Как вернуть потерянное

Простое решение: искать одновременно в памяти и в исходной истории, а кандидатов ранжировать вместе. У SimpleMem это подняло точность с 73,6 до 82,8%, а долю налога снизило с 12,0 до 5,2%. Это проверка в одной настройке, а не гарантия для всех систем.

Что это значит на практике

Корпоративным агентам стоит держать исходные документы и переписку доступными для поиска, даже если поверх строится память. А любую новую схему памяти — проверять на своих данных против RAG-базы. Ограничение работы: бенчмарки офлайновые и англоязычные, живые многоязычные сценарии ещё не изучены.