JarvisArt: Революция в фоторедактировании с помощью ИИ и человеческого участия

Соединяя художественное видение и технические навыки

Фоторетушь играет ключевую роль в цифровой фотографии, позволяя улучшать тон, экспозицию и контраст для создания визуально привлекательных изображений. Профессионалы используют сложные инструменты, например Adobe Lightroom, но для обычных пользователей они зачастую сложны. В то же время ИИ-инструменты упрощают процесс, теряя тонкий контроль, необходимый для качественного редактирования.

Проблемы существующих ИИ-решений для фоторетуши

Современные ИИ-модели и традиционные методы ретуши не всегда способны обеспечить точечное редактирование регионов или сохранить высокое разрешение. Многие используют оптимизацию нулевого и первого порядка, обучение с подкреплением или диффузионные модели, но часто теряют качество исходного изображения или контроль пользователя. Даже продвинутые модели, такие как GPT-4o и Gemini-2-Flash, жертвуют деталями при текстовом редактировании.

Представляем JarvisArt: мультимодальный ИИ-агент для ретуши фото

JarvisArt — инновационная система, созданная в сотрудничестве ведущих университетов и компаний. Она объединяет мультимодальную большую языковую модель, которая понимает визуальные и текстовые инструкции для гибкого редактирования. Используя более 200 инструментов Adobe Lightroom через специальный протокол Agent-to-Lightroom (A2L), JarvisArt имитирует процесс принятия решений профессиональных художников.

Как работает JarvisArt

Система основана на трех ключевых компонентах:

• Набор данных MMArt: включает 5 000 стандартных и 50 000 образцов с аннотациями Chain-of-Thought, охватывающих различные стили и сложности редактирования.
• Двухэтапное обучение: сначала супервизируемая донастройка развивает способности к рассуждению и выбору инструментов, затем Group Relative Policy Optimization for Retouching (GRPO-R) улучшает точность ретуши и восприятие качества с помощью специализированных наград.
• Протокол A2L: обеспечивает прозрачное и бесшовное выполнение инструментов Lightroom и позволяет пользователям динамически настраивать правки.

Производительность и применение на практике

На бенчмарке MMArt-Bench JarvisArt показал улучшение точности сохранения содержания на 60% по сравнению с GPT-4o, сохраняя при этом высокое следование инструкциям. Он успешно работает как с глобальными, так и с региональными правками, обеспечивая изменения текстуры кожи, яркости глаз, определения волос в изображениях любого разрешения. Такое сочетание точности и контроля делает JarvisArt мощным инструментом для творческой ретуши.

Сочетание творчества и точности

JarvisArt решает важную задачу — объединить автоматизацию и контроль пользователя в фоторетуши. Комбинация синтеза данных, обучения с рассуждениями и интеграции с коммерческим ПО позволяет получить профессиональное качество без необходимости экспертных знаний.