Yandex представляет ARGUS: трансформер для рекомендаций на миллиард параметров
Yandex представил ARGUS (AutoRegressive Generative User Sequential modeling) — фреймворк для рекомендательных систем на базе трансформеров, способный масштабироваться до одного миллиарда параметров. Это значимый шаг в моделировании долгосрочного поведения пользователей и выводит Yandex в число компаний, внедряющих крупномасштабные рекомендательные трансформеры в продакшн.
Преодоление ограничений классических рекомендаций
Традиционные рекомендательные архитектуры часто ограничены короткой памятью, плохой масштабируемостью и слабой адаптивностью к меняющемуся поведению пользователей. Истории взаимодействий зачастую усекаются до небольшого окна недавних событий, что делает невозможным учет месяцев или лет данных. В результате теряются долгосрочные привычки, тонкие сдвиги вкусов и сезонные циклы. ARGUS решает эти проблемы, моделируя целые временные линии поведения и обеспечивая перспективу, которая фиксирует эволюцию намерений и повторяющиеся паттерны без опоры только на недавние сигналы.
Ключевые технические новации
Предобучение с двумя целями: ARGUS разбивает авторегрессионную задачу на два подзадачи — предсказание следующего элемента и предсказание отклика (feedback). Такое сочетание улучшает подражание историческому поведению системы и моделирование реальных пользовательских предпочтений.
Масштабируемые трансформер-энкодеры: семейство моделей ARGUS охватывает диапазон от 3.2M до 1B параметров. По мере увеличения масштаба наблюдается стабильный рост качества, и на уровне миллиарда параметров отмечен рост попарной точности на 2.66%, что указывает на эффект масштабирования для рекомендательных трансформеров.
Расширенное моделирование контекста: ARGUS обрабатывает до 8,192 взаимодействий пользователя за один проход, что позволяет учитывать месяцы поведения, а не только последние клики.
Эффективная донастройка и деплоймент: двухбашенная архитектура (two-tower) отделяет офлайн-вычисление эмбеддингов от онлайн-сервинга, снижая стоимость вывода по сравнению с целе-ориентированными или импрессионными онлайн-моделями и сохраняя масштабируемость.
Реальные внедрения и результаты
ARGUS уже развернут в масштабах музыкальной платформы Yandex и обслуживает миллионы пользователей. В продакшн A/B-тестах система показала заметные улучшения: +2.26% к общему времени прослушивания (TLT) и +6.37% к вероятности лайка. Это крупнейшие зафиксированные приросты качества для любых глубоких рекомендательных моделей на платформе.
Дальнейшие направления
Исследователи Yandex планируют расширить применение ARGUS на задачи рекомендаций в реальном времени, изучить инженерные решения для попарного ранжирования и адаптировать фреймворк к доменам с высокой кардинальностью, таким как крупная электронная коммерция и видеоплатформы. Показанная способность масштабировать моделирование последовательностей пользователей с помощью трансформеров указывает, что рекомендательные системы могут последовать траектории масштабирования, аналогичной NLP, и открыть новые уровни персонализации.
Документация по ARGUS опубликована в исследовательской статье команды Yandex, и этот результат является значительным вкладом в развитие исследований и практики масштабных рекомендаций.