VaultGemma 1B: приватная LLM на 1 миллиард параметров от Google с дифференциальной приватностью
Веха для приватных моделей
Google AI Research и DeepMind представили VaultGemma 1B — крупнейшую открытую модель с обучаемыми весами, обученную с нуля с использованием дифференциальной приватности (DP). Релиз показывает, что строгие гарантии приватности можно применять уже на этапе предобучения, а не только при дообучении.
Зачем LLM нужны методы дифференциальной приватности
Модели, обученные на данных масштаба веба, могут запоминать и воспроизводить чувствительную или персональную информацию. Дифференциальная приватность ограничивает вклад отдельного примера в поведение модели, уменьшая риск извлечения приватных данных. Применение DP на уровне предобучения защищает модель с основания, снижая утечки на всех последующих этапах использования.
Архитектура и обучающие данные
VaultGemma наследует архитектуру семейства Gemma с оптимизациями для приватного обучения:
- Размер: 1 миллиард параметров, 26 слоев
- Трансформер: только декодер
- Активации: GeGLU, размер скрытого слоя 13 824
- Внимание: Multi-Query Attention (MQA), глобальная длина контекста 1 024 токена
- Нормализация: RMSNorm в pre-norm
- Токенизатор: SentencePiece, словарь 256K
Для уменьшения вычислительных затрат при DP длина последовательности была сокращена до 1 024 токенов, что позволило использовать большие эффективные батчи.
Модель обучалась на том же датасете в 13 триллионов токенов, что и Gemma 2: тексты с веба, код и научные статьи. Данные прошли фильтрацию для удаления небезопасного содержимого, снижения экспозиции персональных данных и предотвращения пересечения с тестовыми наборами.
Как была применена дифференциальная приватность
Использовался DP-SGD с обрезкой градиентов по отдельным примерам и добавлением гауссовского шума. Реализация опирается на JAX Privacy и включает оптимизации для масштабируемости:
- Векторизованная обрезка по примеру для параллельной эффективности
- Накопление градиентов для имитации больших батчей
- Усеченная пуассоновская сэмплинг-стратегия для эффективной выборки на лету
Модель достигла формальной гарантии DP примерно (ε ≤ 2.0, δ ≤ 1.1e−10) на уровне последовательности (1 024 токена).
Новые законы масштабирования для приватного обучения
DP изменяет соотношения между размером модели, шумом и вычислительными ресурсами. Команда VaultGemma разработала специфические законы масштабирования для DP:
- Квадратичные аппроксимации для моделирования оптимальной скорости обучения
- Параметрическая экстраполяция потерь для уменьшения зависимости от промежуточных контрольных точек
- Полупараметрические аппроксимации для обобщения по размеру модели, числу шагов и соотношению шума к батчу
Это позволило точно прогнозировать достижимую функцию потерь и эффективно расходовать ресурсы на TPUv6e.
Конфигурации обучения и результаты
VaultGemma обучалась на 2 048 TPUv6e с GSPMD-партиционированием и MegaScale XLA. Ключевые параметры:
- Батч: ~518K токенов
- Итераций обучения: 100 000
- Множитель шума: 0.614
Достигнутая потеря оказалась в пределах 1% от предсказаний DP scaling law, что подтверждает точность методики.
Производительность и компромиссы
По академическим бенчмаркам VaultGemma уступает неприваванным аналогам, но показывает практическую полезность:
- ARC-C: 26.45 против 38.31 (Gemma-3 1B)
- PIQA: 68.0 против 70.51 (GPT-2 1.5B)
- TriviaQA (5-shot): 11.24 против 39.75 (Gemma-3 1B)
Это означает, что современные DP-модели сопоставимы с неприваванными моделями нескольких лет назад. Важно, что тесты на запоминание не выявили утечек из обучающих данных в VaultGemma, в отличие от неприваванных релизов Gemma.
Значение для сообщества
VaultGemma 1B показывает, что предобучение с дифференциальной приватностью в масштабе возможно и практично. Несмотря на разрыв в полезности по сравнению с неприваванными моделями, открытый релиз модели и технической документации дает исследователям и разработчикам платформу для дальнейшего улучшения приватных моделей.
Подробный технический отчет доступен по ссылке: https://services.google.com/fh/files/blogs/vaultgemma_tech_report.pdf
Репозитории с кодом, ноутбуками и учебными материалами опубликованы на GitHub и Hugging Face.