Модель плюс харнесс
Представьте поручение: в исходную таблицу пришли новые данные, и нужно обновить зависящие от неё отчёт, графики и слайды. Работа не сделана, когда агент выдал текст или вызвал инструмент. Она сделана, когда связанные документы соответствуют заданию, а часть обязательств ещё может ждать чьего-то согласования.
Авторы предлагают смотреть на рабочего агента как на систему: модель понимает задачу и предлагает действия, а харнесс — среда исполнения — управляет контекстом, инструментами, памятью, выполнением и восстановлением после сбоев. Вместе они работают в рабочем пространстве с состоянием, и результат проверяется по наблюдаемым признакам.
Две оси условий
Задачи различаются по двум независимым осям. Длительность ответственности: закрывается ли задача в момент сдачи или остаётся открытой до следующих этапов и событий. Открытость: известно ли всё заранее или объекты, связи и правила приходится обнаруживать по ходу.
Схема по рамке авторов. Оси — не шкала сложности, а разные вопросы к задаче.
Пять форм работы
- Разговор. Результат — информация.
- Атомарное действие. Одно локальное изменение.
- Многошаговая задача. Зависимые действия ради одной цели.
- Процесс. Этапы и передачи между участниками.
- Рабочее пространство. Нужно самому найти и связать нужные объекты.
Цикл из пяти способностей
Восприятие находит нужные объекты и связи, рассуждение взвешивает цели и ограничения, планирование выстраивает зависимости, исполнение действует через инструменты, проверка сверяет результат с заданием и запускает исправление или перепланирование. Это функции, а не обязательно отдельные модули: их может выполнять модель, харнесс или их связка.
Как оценивать
Улучшать агента можно тремя путями: дообучать модель, улучшать харнесс — интерфейсы, процессы, контроль исполнения, память и навыки — или развивать их вместе. А оценивать предлагают по трём отдельным измерениям: принята ли работа по согласованным требованиям, приносит ли она пользу в реальном использовании и сколько усилий людей и вычислений на неё ушло.
Что это значит на практике
При внедрении корпоративного агента критерии приёмки и способ проверки результата нужно задавать до разработки, а не после. Улучшать стоит не только модель, но и харнесс: часто именно он решает, будет ли работа доведена до конца. Оговорка: это обзор и рамка, а не новый агент с экспериментами — эффект от неё авторы оставляют будущим исследованиям.