Оптимизация производительности рассуждений: подробный анализ методов масштабирования во время инференса в языковых моделях
Новое исследование демонстрирует, что специализированные модели рассуждений с эффективными методами масштабирования во время инференса, такими как голосование большинства, превосходят общие модели в сложных задачах, открывая пути к оптимизации ресурсов.
Повышение возможностей рассуждения в языковых моделях
Языковые модели демонстрируют впечатляющие способности в различных задачах, однако сложные рассуждения по-прежнему остаются серьезной проблемой. Это связано с необходимостью дополнительных вычислительных ресурсов и специальных техник для улучшения рассуждений во время инференса. Для решения этой задачи были разработаны методы масштабирования вычислений во время инференса (ITC), которые выделяют дополнительные ресурсы для улучшения результатов моделей при генерации ответов.
Два основных направления развития моделей рассуждений
Эволюция рассуждений в языковых моделях развивается в двух ключевых направлениях: во-первых, повышение производительности рассуждений с помощью методов масштабирования во время инференса, а во-вторых, создание специализированных "моделей рассуждений". Однако эти подходы часто требуют значительных вычислительных затрат, что ставит вопрос об оптимальном балансе между эффективностью и производительностью.
Перспективные методы масштабирования во время инференса
Масштабирование во время инференса является привлекательной альтернативой дорогостоящему переобучению моделей. Техники, такие как ансамблирование генераций, сэмплирование, ранжирование и слияние, объединены в архитектурах вроде Mixture-of-Agents, LLM Blender и DSPy, которые превосходят отдельные модели. Методы цепочки рассуждений (chain-of-thought) и branch-solve-merge дополнительно улучшают рассуждения в одиночных моделях. Для снижения вычислительных затрат Confidence-Informed Self-Consistency (CISC) использует голосование с учетом уверенности, значительно сокращая необходимое число примеров, а DivSampling вводит вариации в подсказки для повышения разнообразия ответов и улучшения результатов.
Комплексное исследование ведущих университетов
Исследователи из Университета Дьюка, Together AI, Университета Чикаго и Стэнфордского университета провели обширный анализ методов масштабирования во время инференса для моделей рассуждений и без них на сложных задачах. Построив парето-фронт качества и эффективности, они обнаружили, что даже при очень больших бюджетах инференса модели без рассуждений значительно уступают специализированным моделям рассуждений.
Голосование большинства превосходит сложные методы для моделей рассуждений
Для моделей рассуждений голосование большинства оказалось простым и эффективным методом инференса, часто превосходящим более сложные техники ITC, такие как best-of-N и последовательные доработки. Подробный анализ выявил, что версии R1-Distilled Llama-3.3-70B значительно превосходят оригинальные Instruct версии.
Ограничения моделей без рассуждений несмотря на продвинутые методы
Несмотря на использование сложных методов масштабирования во время инференса, модели без рассуждений не достигают уровня специально созданных моделей рассуждений. Это говорит о том, что инвестиции в обучение специализированных моделей рассуждений обеспечивают лучшую долгосрочную эффективность, чем многократное масштабирование общих моделей во время инференса. Методы без обучения и без верификации при масштабировании во время инференса приносят минимальные улучшения для моделей рассуждений, причем большинство из них уступают голосованию большинства.
Длина ответа и точность: противоположные тенденции
Модели без рассуждений показывают слабую корреляцию между длиной ответа и его правильностью, за исключением некоторых случаев, например, Llama-3.1-8B-Instruct на задаче AIME. В то же время модели рассуждений склонны давать более короткие и точные ответы, которые оказываются более правильными, что указывает на обратную зависимость между длиной и точностью. Этот тренд подтверждается на наборе данных MATH, где модели рассуждений дают более точные короткие ответы на сложные задачи.
Перспективы улучшения методов инференса
Исследование подчеркивает эффективность простых стратегий инференса для моделей рассуждений и выделяет лингвистические и длиновые характеристики ответов как потенциальные индикаторы качества. Использование этих особенностей может стать направлением для улучшения методов инференса.
Подробности доступны в оригинальной статье. Следите за сообществом в Twitter, Telegram и LinkedIn. Не пропустите предстоящую виртуальную конференцию miniCON по AGENTIC AI с бесплатной регистрацией и практическими мастер-классами.
Switch Language
Read this article in English