Retrieval-Augmented Generation (RAG): От извлечения контекста к динамическим знаниям
Retrieval-Augmented Generation (RAG) является одним из наиболее значимых и широко внедренных компонентов внешнего контура больших языковых моделей (LLM). Его основная функция — преодоление фундаментальных ограничений самих LLM, связанных с ограниченным размером контекстного окна и статичностью информации, заложенной в весах модели в ходе предварительного обучения. RAG решает эту проблему путем предоставления модели доступа к внешней, специфической для задачи базе знаний в реальном времени, что позволяет ей оперировать актуальной, частной или быстро меняющейся информацией.
Принцип работы RAG относительно прост, но чрезвычайно эффективен: при получении запроса система сначала выполняет поиск релевантных документов или фрагментов текста в этой внешней базе, а затем подмешивает найденную информацию в контекст LLM перед генерацией ответа. Этот механизм позволяет модели «чувствовать себя информированной» о событиях последних дней, правилах внутреннего распорядка компании или уникальных данных клиента, которые не были представлены в обучающей выборке.
Эволюция RAG-систем
Эволюция RAG вышла далеко за рамки его первоначальной реализации. Если изначально RAG представлял собой плоскую модель, где документы преобразовывались в векторные представления и хранились в простой векторной базе данных, то сегодняшние исследования сосредоточены на создании более сложных, семантически и временно осведомленных систем.
Одним из ключевых направлений развития стало внедрение графовых структур, известных как GraphRAG. В отличие от традиционных векторных баз данных, которые хранят информацию в виде неструктурированных векторов, GraphRAG использует знания в виде графа, где узлы представляют сущности (люди, места, организации), а ребра — отношения между ними. Такой подход позволяет системе не просто находить релевантные факты, но и понимать их взаимосвязи, что критически важно для решения сложных вопросов, требующих анализа причинно-следственных связей или сетевых зависимостей.
Например, DyG-RAG (Dynamic Graph Retrieval-Augmented Generation) идет еще дальше, строя динамический событийный граф из текстовых документов. Эта система извлекает временные единицы событий (DEUs), помечает их временными метками и связывает те из них, которые происходят рядом во времени и имеют общие сущности. Это позволяет модели отслеживать не только наличие фактов, но и их последовательность, что делает ее особенно мощной для анализа нарративных документов, таких как истории болезни или финансовые отчеты.
Другим важным направлением является развитие темпорального RAG, которое напрямую направлено на решение проблемы понимания контекста во времени. Исследования показывают, что стандартные RAG-системы часто терпят неудачу при работе с документами, имеющими сложную временную структуру, поскольку они плохо справляются с обеспечением временной и причинно-следственной согласованности. Темпоральные подходы, в свою очередь, специально разрабатываются для решения этой проблемы. Они позволяют системе не просто найти релевантные события, но и восстановить их правильную хронологическую последовательность, что необходимо для таких задач, как прогнозирование или анализ изменений в состоянии объекта.
Еще один пример такого подхода — Zep, архитектура на основе временного графа знаний, специально предназначенная для памяти агентов. Zep хранит не просто факты, а информацию о том, как эти факты эволюционируют со временем, что позволяет агенту отвечать на вопросы о прошлом, настоящем и будущем состоянии мира.
Будущее RAG: адаптивность и самообучение
Будущее RAG видится в сторону создания более адаптивных и самоподстраивающихся систем. В научных работах указываются два основных пути развития в этом направлении:
- Использование мета-обучения для создания RAG-моделей, которые могут учиться на собственных ошибках и самостоятельно улучшать процессы извлечения и генерации.
- Адаптация методов извлечения в реальном времени для работы с постоянно меняющимися знаниями, что позволит системам автоматически корректировать свои действия без необходимости полного переобучения.
Эти тенденции свидетельствуют о переходе от статических, запрограммированных систем к динамическим экосистемам, способным эволюционировать вместе с данными.
Вызовы и ограничения
Несмотря на широкое распространение и очевидные преимущества, эффективность RAG не является абсолютной и сопряжена с рядом серьезных вызовов. Одной из главных проблем является достоверность, или степень соответствия генерируемого ответа исходному retrieved контексту. LLM, даже имея доступ к релевантным данным, все еще склонны к «галлюцинациям» или генерации информации, которой нет в предоставленных источниках. Для борьбы с этим были разработаны специализированные метрики и платформы, такие как Ragas и MLflow, которые позволяют количественно оценивать, насколько ответ модели является верным по отношению к исходным данным. Однако даже при наличии таких инструментов проблема остается актуальной.
Вторым серьезным барьером является сложность обработки многошаговых и констринированных запросов. Исследования демонстрируют, что состояние искусственного интеллекта в области вызова функций сильно зависит от качества и разнообразия обучающих данных. Это указывает на то, что RAG в его текущем виде является лишь первым шагом в цепочке действий, а не полноценным решением для выполнения сложных, многокомпонентных задач.
Кроме того, существуют ограничения, связанные со стоимостью и производительностью. Анализ, проведенный в рамках бенчмарка MemoryAgentBench, показал, что RAG-системы могут быть значительно более эффективными по стоимости при низких бюджетах контекста, но их производительность может снижаться при высоких бюджетах из-за увеличения доли шума в retrieved документах. В то же время, модели с большим контекстом (long-context models) показывают лучшую производительность при очень больших объемах контекста, но и гораздо выше стоимость. Это создает сложный компромисс между точностью, скоростью и затратами, который необходимо учитывать при проектировании систем.
Бенчмарки для оценки RAG
Для всесторонней оценки RAG и связанных с ним технологий были созданы специализированные бенчмарки. Многие из них сфокусированы на многоразовой диалоговой RAG, что отражает реальные условия использования. Например, MTRAG и mtRAG — это наборы данных, созданные на основе реальных человеческих диалогов, которые отражают такие свойства, как необходимость повторного извлечения, генерация развернутых ответов и возможность того, что вопрос не может быть ответен на основе доступной информации. Эти бенчмарки позволяют оценить не только качество извлечения, но и способность системы поддерживать логичный и последовательный диалог.
Также существуют бенчмарки для оценки многосоставных RAG, которые проверяют способность систем обрабатывать запросы, требующие нескольких шагов рассуждений и извлечения. Все эти инструменты играют ключевую роль в продвижении технологии вперед, позволяя исследователям и разработчикам точно измерять прогресс и выявлять узкие места в существующих архитектурах.
Таким образом, RAG превратился из простого механизма добавления контекста в сложную технологию, которая активно развивается в нескольких направлениях. Графовые и темпоральные подходы являются прямой попыткой решить фундаментальную проблему понимания контекста во времени, выходя за рамки простого поиска релевантных фрагментов текста. Однако, несмотря на значительный прогресс, существующие системы сталкиваются с серьезными вызовами, такими как обеспечение достоверности, обработка сложных запросов и управление экономическими затратами. Будущее RAG, вероятно, будет связано с дальнейшей интеграцией с другими компонентами контура, созданием адаптивных и самообучающихся систем, а также разработкой более совершенных методов оценки и контроля качества.
Навыки и инструменты: Расширение активных возможностей LLM через взаимодействие с внешним миром
Если Retrieval-Augmented Generation (RAG) отвечает на вопрос «Какая информация актуальна?», то технологии навыков, или вызова функций, отвечают на следующий логический вопрос: «Что делать с этой информацией?». Они предоставляют LLM возможность не просто обрабатывать и генерировать текст, но и выполнять действия во внешнем мире: обращаться к API, выполнять вычисления, изменять данные в базах или файловых системах, взаимодействовать с другими программами.
Таким образом, навыки превращают LLM из пассивного генератора текста в активного агента, способного влиять на окружающую среду и решать задачи, выходящие за рамки чисто текстовой обработки. Эта функциональность стала одной из ключевых для практического применения LLM, позволив им интегрироваться в существующие бизнес-процессы и IT-системы.
Эволюция использования инструментов
История развития технологии использования инструментов отражает более широкую тенденцию в области ИИ: от изолированного выполнения одной функции к сложным, многошаговым и состоятельным рабочим процессам. На начальном этапе LLM могли вызывать всего одну функцию за раз, что было полезно для простых задач, таких как получение погоды или перевода текста. Однако современные задачи, такие как автоматизация создания отчетов или управление финансовыми операциями, требуют последовательного выполнения множества действий.
Это привело к появлению концепций многошагового и констринированного вызова функций, где агент должен не только выбрать правильную последовательность инструментов, но и правильно сформировать параметры для каждого вызова, учитывая ограничения, наложенные предыдущими шагами. Исследования показывают, что даже передовые LLM испытывают трудности с такими многошаговыми задачами, что указывает на необходимость дальнейшей оптимизации этого направления.
Оптимизация вызова функций
Одним из ключевых направлений для повышения эффективности является оптимизация самого процесса вызова функций. Исследование ToolACE предлагает трехмерную модель для оценки и улучшения качества вызовов, уделяя внимание разнообразию:
- Разнообразию инструментов
- Разнообразию форматов вызовов
- Разнообразию диалоговых паттернов
Авторы подчеркивают, что для создания качественных и разнообразных обучающих данных для вызова функций требуется огромное количество усилий, что является критически важным фактором для успеха.
Другой подход основан на применении усиления обучения (RL). В работе FunRL предлагается новая RL-рамка, которая значительно улучшает вызовы функций путем включения энтропии Chain-of-Thought в алгоритм GRPO. Это позволяет модели не просто механически вызывать функции, а более глубоко рассуждать о том, как и когда это делать, что приводит к более качественным результатам.
Асинхронное выполнение
Помимо качества, важным аспектом является и скорость выполнения. Когда LLM вызывает внешний инструмент, он обычно вынужден ждать завершения этого вызова, что создает задержку и снижает общую эффективность. Чтобы решить эту проблему, была предложена асинхронная модель вызова функций, реализованная в проекте AsyncLM. Этот подход позволяет LLM генерировать и запускать несколько вызовов инструментов параллельно, вместо того чтобы блокировать выполнение и ждать ответа от одного инструмента. Это значительно повышает операционную эффективность системы, особенно в тех случаях, когда есть несколько независимых задач, которые можно выполнять одновременно.
Вопросы безопасности
Однако с расширением возможностей LLM неизбежно растут и риски. Умение генерировать код и вызывать инструменты может быть использовано злоумышленниками для создания вредоносных систем. Работа MalTool наглядно демонстрирует эту угрозу: исследователи смогли заставить LLM сгенерировать вредоносный инструмент, который, будучи выполнен, мог бы нанести вред системе.
Это подчеркивает критическую важность обеспечения безопасности при выполнении сгенерированного кода и вызовах инструментов. Основным методом защиты является использование изолированных сред выполнения (sandboxing), которые ограничивают права процесса, запрещая ему доступ к чувствительным данным или системным ресурсам, и применяют тайм-ауты для предотвращения бесконечных циклов.
Фреймворки для оркестрации
Эффективность навыков и инструментов напрямую зависит от того, как они интегрированы в архитектуру агента. Различные программные фреймворки предлагают разные подходы к оркестрации этих возможностей:
| Фреймворк | Основной подход | Ключевые особенности |
|---|---|---|
| LangChain | Цепочки и интеграция с инструментами | Гибкость в создании последовательных и условных рабочих процессов; широкий спектр готовых инструментов и загрузчиков данных |
| AutoGen | Коллаборативные агенты | Создание команд агентов, которые могут общаться друг с другом и с человеком для совместного решения задач; поддержка интерактивных сессий |
| CrewAI | Ролевые агенты | Назначение агентам специфических ролей (например, писатель, редактор) для выполнения задач в рамках структурированного рабочего процесса |
| LlamaIndex | Структурирование знаний | Специализация на индексации и запросах к данным из документов и других источников для предоставления контекста LLM |
| Semantic Kernel | Плагины | Модульная архитектура, позволяющая подключать различные AI-сервисы (OpenAI, Claude, Hugging Face) и пользовательские навыки как плагины |
LangChain, например, предоставляет гибкий каркас для создания «цепочек» — последовательностей шагов, каждый из которых может включать вызов LLM или инструмента, что хорошо подходит для линейных рабочих процессов.
AutoGen, в свою очередь, фокусируется на создании коллаборативных агентов, которые могут общаться друг с другом и с человеком, координируя свои действия для решения сложных задач.
CrewAI предлагает еще другой подход, назначая каждому агенту конкретную роль (например, «аналитик», «копирайтер») и организуя их работу в рамках структурированного рабочего потока, что обеспечивает предсказуемость и разделение обязанностей.
Semantic Kernel использует архитектуру на основе плагинов, позволяя легко подключать различные AI-сервисы и пользовательскую логику, что делает его удобным для создания гибких и модульных систем.
Эти различия в подходах к оркестрации позволяют разработчикам выбирать наилучший инструмент в зависимости от специфики решаемой задачи.
В целом, технологии навыков и инструментов превратились из простого набора функций в сложную, динамическую систему, требующую продуманной оркестрации, повышенного внимания к безопасности и постоянного совершенствования качества. Асинхронные вызовы, RL-подходы к обучению и формализованные протоколы интеграции являются прямыми ответами на потребности в повышении производительности, надежности и безопасности взаимодействия LLM со временем и внешним миром. По мере усложнения задач, которые доверяют LLM-агентам, этот компонент внешнего контура будет оставаться в центре внимания исследователей и разработчиков.
Механизмы памяти: Архитектуры для непрерывного контекстного хранения и обновления
Память является самым прямым и фундаментальным механизмом для поддержания и углубления контекстного понимания во времени. Она позволяет LLM-агенту сохранять информацию из прошлых взаимодействий, извлекать ее при необходимости и использовать для принятия решений в будущем, тем самым преодолевая ограничения конечного контекстного окна. Исследования в этой области показывают, что концепция памяти далека от простого хранения текстовых фрагментов; она представляет собой сложную, многоуровневую систему, которая эволюционирует от простых буферов к структурированным, семантически богатым и, что особенно важно, временным хранилищам знаний.
Двухуровневая архитектура CALMem
Одним из передовых подходов к архитектуре памяти является двухуровневая модель CALMem (Conversational Application-Layer Memory). Эта архитектура декларирует практически неограниченную эффективную контекстную емкость, разделяя память на два уровня:
- Краткосрочная память — предназначена для быстрого доступа к недавней информации, такой как последние сообщения в диалоге.
- Долгосрочная память — служит для глубокого, структурированного хранения абстрактных знаний, фактов и концепций, извлеченных из диалогов.
Такой разделительный принцип позволяет системе эффективно управлять огромным объемом информации, сохраняя при этом доступность к актуальным деталям. Этот подход формализует идею о том, что нам нужно хранить и недавние события, и обобщенные знания, полученные из них.
Нейробиологически-инспирированные архитектуры
Другой вдохновляющий подход — это создание нейробиологически-инспирированных архитектур, таких как ZenBrain. Эта модель, состоящая из семантической и эпизодической памяти, вдохновлена структурой человеческого мозга:
- Семантическая память содержит абстрактные знания в виде фактов, концепций и отношений, организованных как граф знаний.
- Эпизодическая память, в свою очередь, хранит записи о конкретных событиях, помеченных временными метками.
Такая организация позволяет системе не только хранить факты, но и помнить, когда и где она их узнала, что является ключевым элементом для понимания контекста во времени. Например, зная, что факт X был получен из диалога Y, произошедшего в определенное время, агент может лучше оценить релевантность и достоверность этого факта в новой ситуации.
Графовые архитектуры памяти
Наиболее динамичное развитие наблюдается в области графовых архитектур памяти. Вместо того чтобы хранить информацию в виде линейного списка или графа знаний в статическом состоянии, исследователи создают «живые» памяти, которые отражают эволюцию мира.
Zep — это яркий пример такого подхода. Zep представляет собой работающий в реальном времени временно осведомленный граф знаний, который хранит не просто факты, но и информацию о том, как они меняются со временем. Он позволяет агенту отслеживать изменения состояния объектов, отношения между ними и историю этих изменений. Это позволяет отвечать на сложные вопросы, требующие временного анализа, такие как «Как изменилось состояние актива после объявления новости?». По результатам бенчмарка DMR, Zep продемонстрировал превосходство над существующими системами, такими как MemGPT, что подтверждает потенциал этого подхода.
Другие работы, такие как DyG-RAG, также используют графы для отслеживания временных и причинных зависимостей, что еще раз подчеркивает важность графового представления для понимания контекста во времени.
Комплексная оценка: бенчмарк MemoryAgentBench
Комплексная оценка эффективности этих сложных систем памяти стала возможной благодаря появлению нового стандартизированного бенчмарка — MemoryAgentBench. Этот бенчмарк впервые систематически оценивает четыре ключевые компетенции памяти, которые необходимы для создания по-настоящему «умного» агента:
- Accurate Retrieval (AR) — точность восстановления конкретной информации из памяти.
- Test-Time Learning (TTL) — способность агента учиться на лету, инкорпорируя новую информацию в свою память во время взаимодействия.
- Long-Range Understanding (LRU) — понимание связей и зависимостей между событиями, которые находятся далеко друг от друга в контексте.
- Selective Forgetting (SF) — способность агента целенаправленно забывать устаревшую или неверную информацию.
Ключевые выводы из бенчмарка
Результаты, полученные с помощью MemoryAgentBench, дают бесценные инсайты в текущее состояние технологий:
Во-первых, было установлено, что ни одна из существующих архитектур не является универсальной и мастерски владеет всеми четырьмя компетенциями. Например, RAG-системы, хотя и хороши в точном извлечении, показывают слабые результаты в тестовом обучении и глубоком понимании, тогда как модели с большим контекстом менее эффективны при низких вычислительных затратах. Это говорит о том, что разные архитектуры лучше подходят для разных типов задач.
Во-вторых, бенчмарк выявил, что задача Selective Forgetting (отборного забывания) является одной из самых сложных и, возможно, самой фундаментальной проблемой для современных LLM. Эксперименты показали, что простое инструктирование модели «забыть» старую информацию или «перезаписать» ее неэффективно. Даже при добавлении явных правил перезаписи, производительность улучшается незначительно и не обобщается на сложные многошаговые сценарии.
Это указывает на то, что LLM не обладают встроенным механизмом управления жизненным циклом информации в своей памяти; они могут только извлекать и комбинировать существующие фрагменты. Агентные системы памяти, такие как MIRIX, пытаются найти компромисс, декомпозируя задачи и управляя ими более целенаправленно, но полностью решить проблему не могут.
Это ограничение имеет огромное значение, поскольку в реальном мире информация постоянно обновляется, и способность отличать старое от нового является критически важной для принятия верных решений.
Таким образом, концепция памяти для LLM-агентов эволюционирует от простого буфера контекста к созданию сложных, структурированных и временных хранилищ. Архитектуры, такие как CALMem, ZenBrain и Zep, представляют собой прорыв в этом направлении, предлагая моделирование как семантических, так и эпизодических аспектов памяти, а также отслеживание ее эволюции. Однако, как показывают комплексные бенчмарки, достижение всех аспектов человеческой памяти, особенно контроль над информацией (отборное забывание), остается серьезной и открытой проблемой для исследователей. Это ограничение, вероятно, будет одним из главных вызовов и направлений для будущих разработок в области агентных технологий.
Оркестрация агентов и поведенческие сценарии: Координация и формализация действий
Если RAG, навыки и память являются «органами» LLM-агента, обеспечивающими его способность получать информацию, действовать и запоминать, то оркестрация и поведенческие сценарии выступают в роли его «нервной системы» и «мозга». Именно эти компоненты определяют, как все остальные части используются совместно для достижения поставленной цели, как информация из памяти сочетается с данными, извлеченными в реальном времени, и как последовательность вызовов инструментов планируется и выполняется.
Этот интегрирующий уровень становится все более важным по мере усложнения задач, которые доверяют LLM-агентам, переходя от простых одношаговых запросов к сложным, многоагентным и длительным проектам.
Парадигмы оркестрации мультиагентных систем
Архитектуры оркестрации мультиагентных систем предлагают различные парадигмы для управления коллективной деятельностью. Различные фреймворки воплощают эти разные подходы в жизнь:
LangChain традиционно ориентирован на создание «цепочек» — последовательных потоков выполнения, где каждый шаг может включать вызов LLM или инструмента. Этот подход хорошо подходит для линейных задач, где есть четкий порядок действий.
AutoGen, напротив, делает ставку на коллаборацию. Он позволяет создавать несколько агентов, которые могут общаться друг с другом в чат-подобном режиме, делиться информацией, делегировать задачи и достигать консенсуса, что аналогично работе команды людей.
CrewAI предлагает еще один интересный подход, основанный на ролевой динамике. В этой парадигме каждому агенту назначается специфическая роль (например, «ведущий аналитик», «технический писатель», «эксперт по маркетингу»), и они работают в рамках заранее определенного, структурированного рабочего процесса, что обеспечивает предсказуемость и разделение ответственности.
От «умных» к «доверенным» агентам
Одной из самых значимых тенденций на этом уровне является переход от создания «умных» агентов к созданию «доверенных» агентов. Этот переход отражен в появлении формальных фреймворков для описания и контроля поведения агентов.
Наиболее заметным таким фреймворком является Agent Behavioral Contracts (ABC). ABC — это концепция, которая применяет классические принципы «Design-by-Contract» к автономным AI-агентам. Она рассматривает обязательства агента не как неформальное соглашение, а как формальный, исполняемый во время выполнения документ.
ABC определяет четыре ключевых компонента контракта:
- Предусловия — что должно быть истинно перед выполнением действия
- Инварианты — что должно оставаться истинным в течение всего времени жизни агента
- Политики управления — как агент должен вести себя в нормальных условиях
- Механизмы восстановления — что должен делать агент, если возникают проблемы
Математическая строгость ABC
Ключевым преимуществом ABC является его математическая строгость. Авторы контракта вводят концепцию (p, delta, k)-удовлетворения, которая является вероятностной мерой соблюдения контракта, учитывающей неопределенность LLM.
Более того, они доказывают теорему о границах дрейфа, которая математически доказывает, что если скорость восстановления агента (скорость, с которой он может вернуться в допустимое состояние после отклонения) больше, чем скорость его естественного «дрейфа» от заданного поведения, то его поведение остается контролируемым во времени.
Это прорыв, поскольку он позволяет не просто надеяться на хорошее поведение агента, а доказывать его предсказуемость и надежность в долгосрочной перспективе.
Для проверки эффективности этого подхода был создан бенчмарк AgentContract-Bench, который показал, что агенты, работающие по контракту, действительно демонстрируют значительно лучшее поведение. Они обнаруживают до 6,8 мягких нарушений контракта за сессию, которые игнорируют неформализованные базовые модели, и достигают почти 100% соблюдения жестких ограничений.
Реализация ABC через библиотеку AgentAssert показала, что она успешно ограничивает поведенческий дрейф (сверх 10 мс на действие), что делает ее практичной для реального использования.
Интеграция с формальными моделями принятия решений
Другой подход к формализации поведения — это интеграция LLM с формальными моделями принятия решений. Например, в работе по использованию Decision Model and Notation (DMN) в качестве руководства для LLM, авторы показывают, как можно использовать стандартизированный графический язык для структурирования и контроля поведения LLM.
В этом подходе сложная логика принятия решений разбивается на модульные, легко читаемые и поддерживаемые «триплеты» (входные данные, таблица решений, выражение). LLM используется для интерпретации этих триплетов и применения их к конкретным данным.
Этот метод значительно повысил точность и согласованность системы по сравнению с традиционным рассуждением по цепочке (CoT), особенно в задачах, требующих строгого следования бизнес-правилам. Пользователи также положительно оценили систему по шкалам технологической приемлемости, отметив ее полезность и продуктивность.
Таким образом, уровень оркестрации и поведенческих сценариев является критически важным, поскольку именно здесь происходит объединение всех компонентов внешнего контура в единую, целенаправленную систему.
Переход от простых цепочек и коллаборативных моделей к формальным, математически обоснованным контрактам (ABC) и интеграции с формальными методами (DMN) представляет собой качественный скачок. Он отражает созревание области от экспериментов с «умными» агентами к созданию надежных, предсказуемых и безопасных систем, способных выполнять сложные задачи в реальных, критически важных условиях.
Это решение одной из главных проблем агентных технологий — управляемости и надежности в долгосрочной перспективе — и станет залогом их успешного внедрения в широком спектре приложений.
Эффективность и экономика: Сравнительный анализ и бенчмаркинг
Оценка эффективности и экономического обоснования технологий внешнего контура LLM является критически важной задачей для разработчиков и инвесторов. Выбор между различными подходами, такими как Retrieval-Augmented Generation (RAG), модели с большим контекстом или сложные агентные системы, всегда представляет собой компромисс между точностью, скоростью, стоимостью и сложностью реализации.
Современные исследования и бенчмарки предоставляют ценные данные для принятия обоснованных решений, выявляя сильные и слабые стороны каждой технологии в зависимости от конкретных условий и требований задачи.
Комплексный анализ MemoryAgentBench
Ключевым инструментом для такого анализа стал бенчмарк MemoryAgentBench, который впервые предложил комплексную оценку агентной памяти по четырем основным компетенциям: точное извлечение, обучение на лету, длинноярусное понимание и отборное забывание. Этот подход позволил провести детальный анализ не только производительности, но и экономической эффективности различных архитектур.
В частности, был проведен анализ стоимости для задачи QA по документам (MH-Doc QA) с использованием цен OpenAI на ноябрь 2025 года.
Результаты анализа стоимости и производительности
Результаты этого анализа выявили сложную картину, опровергающую простые догадки:
При низких вычислительных бюджетах (например, ~4K токенов контекста), RAG-система, использующая BM25 для извлечения и GPT-4o-mini для генерации, оказалась:
- Значительно более эффективной по стоимости (<$0.001 за запрос)
- Менее точной (точность 56.0%)
По сравнению с моделью с большим контекстом (GPT-4o-mini, $0.01, 43.0% точности). Это показывает, что для задач, где достаточно краткой информации, RAG является предпочтительным решением с точки зрения затрат.
Когда бюджет контекста увеличивается (например, до ~104K токенов), ситуация меняется:
- Длинноярусная модель начинает масштабироваться, и ее точность возрастает до 93.0%
- Производительность RAG-системы достигает пика и затем начинает падать до 88.0% из-за увеличения доли шумных данных в retrieved контексте
Это указывает на то, что для задач, требующих глубокого анализа больших объемов текста, модели с большим контекстом могут быть более предпочтительными, несмотря на высокую стоимость.
Агентные системы: средний путь
Среди агентных систем особого внимания заслуживает MIRIX, которая демонстрирует потенциал среднего пути. На той же задаче MH-Doc QA, MIRIX, используя GPT-4.1-mini:
- Достигла более высокой точности (75.0%) по сравнению с сырой длинноярусной моделью (66.0%)
- При этом имея более низкую стоимость ($0.016 против $0.043)
Это говорит о том, что хорошо спроектированные агентные системы могут быть более масштабируемыми и экономически эффективными для высокопроизводительных приложений, так как они могут целенаправленно извлекать только нужную информацию, а не загружать весь документ в контекст.
Trade-off: эффективность vs обучение на лету
Другой важный аспект — это компромисс между эффективностью и способностью к обучению на лету. Здесь снова RAG-система показывает преимущество при низких бюджетах, превосходя длинноярусную модель по точности (83.0% против 74.0%).
Но при высоких бюджетах длинноярусная модель, которая может обработать весь контекст, оказывается способной извлечь больше информации и показывает лучший результат (93.0% против 88.0% у RAG).
Это подчеркивает, что выбор архитектуры должен основываться на ожидаемом объеме контекста и сложности задачи.
Сравнительная таблица архитектур
| Архитектура / Метод | Бюджет контекста | Точность | Стоимость | Преимущества и недостатки |
|---|---|---|---|---|
| RAG (BM25 + GPT-4o-mini) | ~4,000 токенов | 83.0% | <$0.001 | Высокая эффективность при низких бюджетах, но производительность падает из-за шума при высоких бюджетах |
| Long-Context (GPT-4o-mini) | ~4,000 токенов | 74.0% | ~$0.01 | Ниже эффективность по сравнению с RAG на малом бюджете |
| RAG (BM25 + GPT-4o-mini) | ~104,000 токенов | 88.0% | — | Производительность saturates и degrades из-за шума |
| Long-Context (GPT-4o-mini) | ~104,000 токенов | 93.0% | ~$0.043 | Лучшая производительность при очень больших бюджетах, но значительно выше стоимость |
| Agentic (MIRIX + GPT-4.1-mini) | ~113,000 токенов | 75.0% | ~$0.016 | Баланс между производительностью и стоимостью, потенциально более масштабируемое решение |
Эти данные показывают, что не существует универсального «лучшего» решения. Эффективность и экономика зависят от конкретной задачи, ожидаемого объема контекста и требуемого уровня точности:
- RAG является оптимальным выбором для задач, где точность извлечения превалирует над глубоким анализом, а стоимость является ключевым фактором.
- Long-context модели лучше подходят для задач, требующих обработки больших объемов текста, где цена за токен является второстепенной по сравнению с точностью.
- Agentic системы, такие как MIRIX, представляют собой перспективное направление, которое пытается найти компромисс между двумя крайностями, предлагая более гибкий и потенциально более масштабируемый подход.
Другие бенчмарки
Помимо MemoryAgentBench, существует множество других бенчмарков, оценивающих различные аспекты технологий внешнего контура:
- MTRAG, mtRAG и LongBench v2 — фокусируются на реалистичных многошаговых диалогах, оценивая способность систем поддерживать последовательность и обрабатывать сложные запросы.
- AgentBench — оценивает способность агентов к рассуждению и принятию решений в различных средах.
- TemporalBench — специально разработан для оценки временных рассуждений.
- OdysseyBench — использует многоагентную систему для автоматического конструирования сложных рабочих процессов, оценивая способность агентов к решению сложных, долгосрочных задач.
Эти инструменты критически важны для отрасли, поскольку они предоставляют стандартизированные и воспроизводимые методы для сравнения новых разработок с существующими решениями и отслеживания прогресса в данной области.
В итоге, анализ эффективности и экономики показывает, что рынок технологий внешнего контура LLM характеризуется наличием:
- Зрелых, хорошо изученных решений (RAG, long-context модели)
- Быстро развивающихся, но еще не до конца освоенных областей (сложные агентные системы)
Выбор оптимального решения требует глубокого понимания не только технических характеристик, но и экономических факторов, а также специфики конкретной задачи. Комплексные бенчмарки становятся незаменимым инструментом для навигации в этом сложном ландшафте, помогая разработчикам принимать взвешенные решения и направлять усилия на те области, где потенциальный выигрыш наибольший.
Перспективные траектории развития: Карта инноваций до 2027–2028 года
На основе всестороннего анализа текущего состояния технологий внешнего контура LLM и существующих исследовательских траекторий можно смоделировать карту их будущего развития на ближайшие 1-2 года (до 2027-2028 гг.).
Этот период, по-видимому, будет характеризоваться тремя взаимосвязанными движущими силами:
- Углублением интеграции компонентов
- Созданием более автономных и самообучающихся систем
- Приоритезацией надежности, безопасности и объяснимости
Эти траектории не будут развиваться изолированно, а скорее будут пересекаться и усиливать друг друга, формируя новую парадигму в области LLM-агентов.
Траектория 1: Глубокая гибридизация и интеграция (2026–2027)
На этом этапе основной фокус сместится с разработки отдельных технологий на их глубокую интеграцию в единую, синергетическую экосистему. Исследования уже сейчас указывают на необходимость такого перехода, поскольку ни одна из существующих технологий не является универсальной.
Направления интеграции:
1. RAG и Память
RAG-системы, которые сегодня чаще всего используются как источник информации «по требованию», начнут все чаще выступать в роли источника для обогащения внутренней памяти агента.
Например, информация, извлеченная с помощью RAG во время диалога, будет не просто использоваться для ответа на текущий вопрос, а структурироваться и помещаться в долгосрочную память агента (например, в графовую или двухуровневую память).
Это позволит агенту иметь постоянный, актуальный доступ к внешним знаниям без необходимости каждый раз обращаться к дорогостоящему внешнему сервису, что повысит как эффективность, так и автономность.
2. LLM и классическое планирование
Архитектуры, сочетающие гибкость и способность к рассуждению LLM с формальной строгостью и предсказуемостью классических алгоритмов планирования, станут более распространенными.
В такой гибридной модели:
- LLM будет выступать в роли «Рассуждающего», который интерпретирует высокоуровневую цель, оценивает ситуацию и выбирает следующий шаг
- «Планировщик» (например, на основе Automated Planning) будет генерировать исполняемый и гарантированно последовательный план действий для достижения этой цели
Такой подход будет особенно востребован в критически важных областях, таких как промышленность, медицина или финансы, где требуется высокая надежность и отсутствие ошибок.
3. LLM и формальные модели принятия решений
Интеграция LLM с формализованными моделями, такими как Decision Model and Notation (DMN), станет популярным способом повышения точности и предсказуемости для задач, регулируемых бизнес-правилами и законодательными нормами.
В такой архитектуре:
- LLM сможет понимать естественный язык запросов и извлекать из них необходимые данные
- DMN-модель будет применять к этим данным строгие, неизменяемые правила, обеспечивая соответствие требованиям и снижая риск ошибок, связанных с интерпретацией LLM
Траектория 2: Создание автономных и самообучающихся систем (2027–2028)
Следующим логическим шагом будет переход от создания систем, выполняющих запрограммированные задачи, к созданию систем, которые способны к адаптации и самостоятельному обучению в процессе работы. Это потребует значительных прорывов в нескольких областях:
1. Самообучающиеся агенты
Агенты смогут не просто выполнять задачи, но и анализировать свою работу, выявлять ошибки и самостоятельно искать способы их исправления.
Это будет достигаться за счет более продвинутых методов усиления обучения, которые будут применяться не только для оптимизации вызовов инструментов (как в FunRL), но и для улучшения всего процесса планирования и принятия решений.
Агенты начнут «учиться на своем опыте», адаптируясь к новым условиям и улучшая свою производительность со временем.
2. Продвинутое отборное забывание
Будут разработаны более сложные и гибкие алгоритмы для управления памятью. Вместо простого удаления или перезаписи информации, система сможет применять более тонкие механизмы:
- Помечать информацию как «устаревшую», но хранящуюся, и при запросе к ней указывать на ее низкую актуальность
- Принимать решения о хранении информации на основе ее релевантности для будущих задач и стоимости хранения
- Эффективно управлять своим «информационным капиталом»
3. Автономное конструирование рабочих процессов
Агенты начнут не просто следовать заранее определенным рабочим процессам, а самостоятельно конструировать их для решения новых, сложных и неклассифицированных задач.
Исследования, подобные OdysseyBench, уже показывают направление в автоматическом создании сложных, многоагентных сценариев, где несколько агентов могут совместно разрабатывать и исполнять план для достижения общей цели.
Это откроет путь к созданию по-настоящему универсальных агентов, способных решать широкий спектр проблем без предварительного программирования.
Траектория 3: Обеспечение надежности, безопасности и объяснимости (постоянный процесс)
По мере того как агенты становятся все более автономными и интегрируются в критически важные системы, обеспечение их надежности, безопасности и объяснимости становится первостепенной задачей.
Эти три столпа будут определять, насколько широко и быстро агентные технологии будут приняты обществом.
1. Повсеместное применение формальных контрактов
Формальные контракты, такие как Agent Behavioral Contracts (ABC), вероятнее всего, станут де-факто стандартом для любого агента, работающего в финансовой, медицинской, юридической или инженерной сферах.
Возможность математически доказать, что агент будет вести себя в предсказуемом и безопасном режиме, станет ключевым фактором для получения доверия со стороны регуляторов и клиентов.
2. Продвинутая безопасность
Будут разработаны более совершенные методы sandboxing и мониторинга для предотвращения злонамеренного использования инструментов, как это было продемонстрировано в работе MalTool.
Это включает в себя:
- Не только ограничение прав доступа
- Но и разработку систем раннего обнаружения потенциально опасных действий на основе анализа сгенерированных планов и вызовов инструментов
3. Объяснимость как ключевой компонент
Возрастет потребность в объяснимости решений агентов, особенно в критических ситуациях.
Фреймворки, использующие формальные методы, такие как DMN, или другие интерпретируемые подходы, будут играть ключевую роль в создании систем, которые не только дают правильный ответ, но и могут объяснить, почему они приняли именно такое решение.
Это не только повысит доверие, но и упростит отладку и улучшение самих агентов.
Заключение
Внешний контур LLM — это не набор разрозненных технологий, а сложная, взаимосвязанная экосистема, которая дополняет ограниченные возможности самого LLM:
- RAG предоставляет актуальную информацию
- Навыки позволяют действовать
- Память обеспечивает непрерывность контекста во времени
- Оркестрация и поведенческие сценарии координируют все это в единый, целенаправленный процесс
Текущее состояние технологий (по данным на середину 2026 года) характеризуется:
- Зрелостью RAG
- Развитием навыков
- Появлением передовых архитектур памяти
Однако, как показывают комплексные бенчмарки, ни одна из существующих технологий не является универсальным решением.
Наибольший прогресс наблюдается в области создания формальных, управляемых и надежных агентных систем, что отражено в появлении таких концепций, как Agent Behavioral Contracts.
Перспективы развития лежат в сторону:
- Глубокой интеграции компонентов
- Перехода к самообучающимся системам
- Создания надежных и предсказуемых агентов, способных безопасно работать в сложных, динамичных средах в течение длительного времени
Именно эти направления определят следующее поколение LLM-агентов — от экспериментальных прототипов к промышленным, доверенным системам, способным решать реальные бизнес-задачи.
Источники
- LangChain Documentation. Framework for building LLM applications. https://docs.langchain.com
- MemoryAgentBench: A Comprehensive Benchmark for Agent Memory. arXiv preprint, 2025. https://arxiv.org/abs/2507.05257
- Agent Behavioral Contracts (ABC): Formal Verification for LLM Agents. Proceedings of the Conference on AI Safety, 2026. https://arxiv.org/abs/2602.22302
- Hybrid LLM-Planning Architectures for Reliable Agent Systems. Journal of Artificial Intelligence Research, 2025. https://www.jair.org/
- Decision Model and Notation (DMN) for LLM Guidance. Business Process Management Journal, 2026. https://www.emerald.com/insight/publication/issn/1463-7154
- AsyncLM: Asynchronous Function Calling for Large Language Models. arXiv preprint arXiv:2412.07017, 2024. https://arxiv.org/abs/2412.07017
- Ragas: Evaluation Framework for RAG Applications. https://github.com/explodinggradients/ragas
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS, 2020. https://proceedings.neurips.cc/paper/2020/hash/6b493230205f780e1bc26945df7481e5-Abstract.html
- GraphRAG: Improving RAG with Knowledge Graphs. Microsoft Research, 2024. https://github.com/microsoft/graphrag
- DyG-RAG: Dynamic Graph Retrieval-Augmented Generation. WWW Conference, 2025. https://arxiv.org/abs/2507.13396
- Zep: Long-Term Memory for LLM Agents. https://getzep.com
- CALMem: Conversational Application-Layer Memory. CHI Conference on Human Factors in Computing Systems, 2025. https://chi2025.acm.org/
- ToolACE: Benchmarking Tool Use in LLMs. arXiv preprint, 2024. https://arxiv.org/abs/2409.00920
- FunRL: Reinforcement Learning for Function Calling. ICML, 2025. https://icml.cc/virtual/2025/papers.html
- MalTool: Security Risks of LLM Tool Generation. USENIX Security Symposium, 2025. https://www.usenix.org/conference/usenixsecurity25
- AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation. https://microsoft.github.io/autogen
- CrewAI: Role-Playing AI Agents Framework. https://crewai.com
- Semantic Kernel by Microsoft. https://learn.microsoft.com/semantic-kernel
- LlamaIndex: Data Framework for LLM Applications. https://www.llamaindex.ai
- ZenBrain: Neuromorphic Memory Architecture for AI Agents. Nature Machine Intelligence, 2025. https://www.nature.com/natmachintell/
- MTRAG: Multi-Turn RAG Benchmark. arXiv preprint, 2025. https://arxiv.org/abs/2501.03468
- LongBench v2: Benchmarking Long-Context Understanding. ACL, 2025. https://arxiv.org/abs/2412.15204
- AgentBench: Evaluating LLM Agents in Diverse Environments. ICLR, 2024. https://openreview.net/forum?id=Zt94e2xJZp
- TemporalBench: Benchmarking Temporal Reasoning in LLMs. EMNLP, 2025. https://2025.emnlp.org/
- OdysseyBench: Benchmarking Complex Long-Horizon Tasks. NeurIPS, 2025. https://arxiv.org/abs/2508.09124
- MLflow: Machine Learning Lifecycle Management. https://mlflow.org
- Entity-Event Knowledge Graph for RAG. Knowledge-Based Systems, 2025. https://www.sciencedirect.com/journal/knowledge-based-systems
- Multi-Step Function Calling in LLMs. AAAI Conference, 2025. https://aaai.org/conference/aaai/aaai-25/
- DMR Benchmark: Dynamic Memory Retrieval Evaluation. 2026. https://help.getzep.com/
- MIRIX: Efficient Agent Memory Management. arXiv preprint, 2025. https://arxiv.org/search/?query=MIRIX+memory+agent&searchtype=all
Статья подготовлена на основе анализа научных публикаций и исследований в области больших языковых моделей за период 2024–2026 годов.
0 комментариев