Unbabel представляет TOWER+: революционная многоязычная модель для точного перевода и выполнения инструкций

Прогресс в машинном переводе с помощью больших языковых моделей

Большие языковые модели значительно продвинули машинный перевод, используя обширные обучающие данные для перевода множества языков и диалектов, учитывая тонкие лингвистические нюансы. Однако дообучение моделей для повышения точности перевода часто ухудшает их способность следовать инструкциям и вести диалог. Универсальные модели испытывают сложности с достижением профессиональных стандартов точности перевода, особенно при необходимости учитывать культурные особенности, генерацию кода, решение задач и форматирование под пользователя. Сохранение терминологической согласованности и форматирования для разных аудиторий представляет дополнительные вызовы. Для бизнеса важны адаптивные системы, способные подстраиваться под требования домена и предпочтения пользователей без потери плавности языка.

Проблемы настройки языковых моделей для перевода

Различные подходы применяются для улучшения точности перевода языковых моделей. Дообучение на параллельных корпусах повышает адекватность и плавность перевода, а продолжение предобучения на монолингвальных и параллельных данных улучшает многоязычную беглость. Обучение с подкреплением с использованием обратной связи от человека помогает согласовать результаты с предпочтениями качества. Проприетарные модели, такие как GPT-4o и Claude 3.7, демонстрируют высокий уровень качества перевода, а открытые модели TOWER V2 и GEMMA 2 в некоторых языковых сценариях сравнимы или превосходят закрытые решения. Эти усилия отражают постоянную задачу балансировки точного перевода и широких языковых возможностей.

Представление TOWER+: единая модель для перевода и общих задач

Unbabel совместно с Instituto de Telecomunicações, Instituto Superior Técnico, Universidade de Lisboa и MICS, CentraleSupélec, Université Paris-Saclay представили TOWER+ — семейство моделей с параметрами 2B, 9B и 72B. Цель — найти оптимальный баланс между специализированным переводом и универсальностью. Используя единую схему обучения, модели TOWER+ достигают высокого качества перевода при сохранении способности следовать инструкциям и вести диалог, поддерживая разнообразные применения.

Процесс обучения TOWER+

Обучение включает:

• Продолжение предобучения на тщательно отобранных данных, включающих монолингвальные тексты, отфильтрованные параллельные предложения, оформленные как инструкции для перевода, и небольшой процент примеров, похожих на инструкции.
• Супервизированное дообучение, совмещающее задачи перевода с различными сценариями выполнения инструкций, такими как генерация кода, решение математических задач и ответы на вопросы.
• Оптимизацию предпочтений с использованием взвешенной оптимизации и групповых обновлений политики на основе офф-полисных сигналов и вариантов перевода, отредактированных человеком.
• Обучение с подкреплением с проверяемыми наградами на основе регулярных выражений и аннотаций предпочтений для точного следования инструкциям в процессе перевода. Эта комбинация обеспечивает баланс между точностью перевода и универсальностью языка.

Результаты тестирования

Модель TOWER+ 9B показала 33.47% побед на многоязычных чат-промптах и 84.38 балла XCOMET-XXL по 24 языковым парам, превзойдя аналогичные открытые модели. Флагманская модель с 72 млрд параметров набрала 54.52% на M-ArenaHard, 89.02 на IFEval для следования инструкциям и 83.29 XCOMET-XXL на WMT24++, установив новые стандарты для открытых моделей. По комбинированному бенчмарку IF-MT модель показала 5.55 балла за соблюдение инструкций и 88.95 за точность перевода, подтвердив статус передового решения для бизнеса и исследований.

Технические особенности

• Модели с параметрами 2B, 9B и 72B исследуют баланс между специализацией на переводе и универсальностью.
• Пайплайн обучения включает предобучение (66% монолингвальных, 33% параллельных, 1% инструкций), супервизированное дообучение (22.3% перевод), оптимизацию предпочтений и обучение с подкреплением.
• Обучение охватывает 27 языков и диалектов, 47 языковых пар и более 32 миллиардов токенов.
• Результаты сравнивались с GPT-4O-1120, Claude-Sonnet-3.7, ALMA-R, GEMMA-2 и LLAMA-3.3, демонстрируя конкурентоспособность или превосходство.
• Подход снижает количество моделей и эксплуатационные затраты, объединяя перевод и диалоговые функции.

TOWER+ предлагает масштабируемую и оптимальную по Парето основу для будущих больших языковых моделей, сфокусированных на переводе.

Подробности доступны в оригинальной научной работе и моделях команды.