Meta ARE и Gaia2: новая планка оценки агентов в асинхронных, событийных условиях

Зачем переходить к асинхронной, событийной оценке

Большинство существующих бенчмарков упрощают взаимодействие, приостанавливая мир, пока модель «подумывает». Такой синхронный подход не отражает реальных требований: агентам нужно действовать в условиях, когда окружение продолжает меняться. ARE разъединяет время агента и окружения, позволяя окружению эволюционировать в процессе рассуждений агента и вводить запланированные или стохастические события — ответы, напоминания, обновления. Это выявляет навыки проактивности, умения справляться с прерываниями, соблюдать дедлайны и восстанавливаться после неожиданных изменений.

Архитектура ARE: все как события

Agents Research Environments (ARE) — модульный симулятор, управляемый временем, который рассматривает «всё как событие». ARE структурирует симуляции пятью ключевыми концепциями:

• Apps: состоят из состояния интерфейсы инструментов или сервисов, которыми может пользоваться агент. Инструменты имеют типы read или write, что позволяет точно проверять действия, изменяющие состояние.
• Environments: наборы приложений, правил и данных, определяющие симулируемый мир.
• Events: записываемые события, которые управляют временем и поведением в симуляции.
• Notifications: настраиваемые примитивы наблюдаемости, определяющие, что агент видит и когда.
• Scenarios: начальное состояние плюс запланированные события и верификатор для оценки поведения агента.

Окружение Mobile в экспериментах имитирует смартфон с почтой, сообщениями и календарём, создавая реалистичные условия многозадачности.

Что измеряет Gaia2

Gaia2, построенная поверх ARE, смещает фокус оценки от одношаговой корректности к навыкам, важным при изменениях. Основные направления оценки:

• Адаптивность к ответам окружения и неожиданным событиям
• Работа с неоднозначностью и шумными вводами
• Учет временных ограничений, выполнение действий в допустимых временных толерансах
• Взаимодействие агентов, где субагенты представляют приложения и должны координироваться

Сценарии Gaia2 верифицируемы и воспроизводимы: используются детерминированные seed-ы и эталонные (oracle) трассы для повторяемой оценки.

Масштаб и доступные наборы данных

Есть нюанс в количестве сценариев: публичный релиз на Hugging Face содержит 800 сценариев в 10 вселенных, тогда как в статье упоминаются 1 120 верифицируемых аннотированных сценариев в окружении Mobile, использованных в экспериментах (отражающих расширенные конфигурации). Практики чаще всего столкнутся с релизом на 800 сценариев, а статья показывает, как набор может масштабироваться.

Как оценивают агентов в меняющемся мире

Gaia2 сравнивает последовательности write-действий агента с эталонными действиями посредством проверки аргументов на уровне аргументов. Валидация аргументов может быть строгой (точное совпадение) или мягкой (судья на базе LLM) в зависимости от типа аргумента. Оценка сохраняет причинность и учитывает относительные временные ограничения, чтобы не начислять баллы только за итоговое состояние, если промежуточные траектории были небезопасны или нарушали политику.

Зачем это важно для production-агентов

ARE и Gaia2 повышают требования с «статической корректности» до «корректности в условиях изменений». Если агент позиционируется как готовый к продакшену, он должен демонстрировать работу с асинхронностью, прерываниями, неоднозначностью, шумом, временными ограничениями и координацией нескольких агентов, при этом предоставляя верифицируемые трассы write-действий. Meta предоставляет контролируемый симулятор, вызовный бенчмарк и прозрачный цикл оценки, которые помогают протестировать эти реальные сценарии.

Ресурсы

Читать статью и изучать код, учебные материалы и ноутбуки можно на странице исследования Meta AI и в репозитории проекта:

https://ai.meta.com/research/publications/are-scaling-up-agent-environments-and-evaluations/