VaultGemma 1B: приватная LLM на 1 миллиард параметров от Google с дифференциальной приватностью

Веха для приватных моделей

Google AI Research и DeepMind представили VaultGemma 1B — крупнейшую открытую модель с обучаемыми весами, обученную с нуля с использованием дифференциальной приватности (DP). Релиз показывает, что строгие гарантии приватности можно применять уже на этапе предобучения, а не только при дообучении.

Зачем LLM нужны методы дифференциальной приватности

Модели, обученные на данных масштаба веба, могут запоминать и воспроизводить чувствительную или персональную информацию. Дифференциальная приватность ограничивает вклад отдельного примера в поведение модели, уменьшая риск извлечения приватных данных. Применение DP на уровне предобучения защищает модель с основания, снижая утечки на всех последующих этапах использования.

Архитектура и обучающие данные

VaultGemma наследует архитектуру семейства Gemma с оптимизациями для приватного обучения:

• Размер: 1 миллиард параметров, 26 слоев
• Трансформер: только декодер
• Активации: GeGLU, размер скрытого слоя 13 824
• Внимание: Multi-Query Attention (MQA), глобальная длина контекста 1 024 токена
• Нормализация: RMSNorm в pre-norm
• Токенизатор: SentencePiece, словарь 256K

Для уменьшения вычислительных затрат при DP длина последовательности была сокращена до 1 024 токенов, что позволило использовать большие эффективные батчи.

Модель обучалась на том же датасете в 13 триллионов токенов, что и Gemma 2: тексты с веба, код и научные статьи. Данные прошли фильтрацию для удаления небезопасного содержимого, снижения экспозиции персональных данных и предотвращения пересечения с тестовыми наборами.

Как была применена дифференциальная приватность

Использовался DP-SGD с обрезкой градиентов по отдельным примерам и добавлением гауссовского шума. Реализация опирается на JAX Privacy и включает оптимизации для масштабируемости:

• Векторизованная обрезка по примеру для параллельной эффективности
• Накопление градиентов для имитации больших батчей
• Усеченная пуассоновская сэмплинг-стратегия для эффективной выборки на лету

Модель достигла формальной гарантии DP примерно (ε ≤ 2.0, δ ≤ 1.1e−10) на уровне последовательности (1 024 токена).

Новые законы масштабирования для приватного обучения

DP изменяет соотношения между размером модели, шумом и вычислительными ресурсами. Команда VaultGemma разработала специфические законы масштабирования для DP:

• Квадратичные аппроксимации для моделирования оптимальной скорости обучения
• Параметрическая экстраполяция потерь для уменьшения зависимости от промежуточных контрольных точек
• Полупараметрические аппроксимации для обобщения по размеру модели, числу шагов и соотношению шума к батчу

Это позволило точно прогнозировать достижимую функцию потерь и эффективно расходовать ресурсы на TPUv6e.

Конфигурации обучения и результаты

VaultGemma обучалась на 2 048 TPUv6e с GSPMD-партиционированием и MegaScale XLA. Ключевые параметры:

• Батч: ~518K токенов
• Итераций обучения: 100 000
• Множитель шума: 0.614

Достигнутая потеря оказалась в пределах 1% от предсказаний DP scaling law, что подтверждает точность методики.

Производительность и компромиссы

По академическим бенчмаркам VaultGemma уступает неприваванным аналогам, но показывает практическую полезность:

• ARC-C: 26.45 против 38.31 (Gemma-3 1B)
• PIQA: 68.0 против 70.51 (GPT-2 1.5B)
• TriviaQA (5-shot): 11.24 против 39.75 (Gemma-3 1B)

Это означает, что современные DP-модели сопоставимы с неприваванными моделями нескольких лет назад. Важно, что тесты на запоминание не выявили утечек из обучающих данных в VaultGemma, в отличие от неприваванных релизов Gemma.

Значение для сообщества

VaultGemma 1B показывает, что предобучение с дифференциальной приватностью в масштабе возможно и практично. Несмотря на разрыв в полезности по сравнению с неприваванными моделями, открытый релиз модели и технической документации дает исследователям и разработчикам платформу для дальнейшего улучшения приватных моделей.

Подробный технический отчет доступен по ссылке: https://services.google.com/fh/files/blogs/vaultgemma_tech_report.pdf

Репозитории с кодом, ноутбуками и учебными материалами опубликованы на GitHub и Hugging Face.