От логов к числам: RLM от Google предсказывает производительность систем по сырому тексту

Почему прогнозирование промышленных систем сложно

Прогнозирование производительности больших промышленных систем — например, вычислительных кластеров Borg — долгое время требовало обширного доменного feature engineering и представления данных в табличной форме. Логи, конфигурации, смешанные аппаратные конфигурации и вложенные описания задач трудно привести к плоскому виду, что делает модели хрупкими и медленно адаптирующимися при изменениях в нагрузках или железе.

Реформулировка регрессии как языковой задачи

Regression Language Model (RLM) от Google переводит задачу регрессии в задачу генерации текста. Вместо ручного выделения числовых признаков весь стейт системы — конфигурации, логи, профили нагрузок, описание аппаратуры — сериализуется в структурированный текст (YAML, JSON и т. п.) и подаётся в encoder-decoder LLM как prompt. Модель затем генерирует числовую цель в виде текста (например, метрику эффективности вроде MIPS на GCU).

Такой подход устраняет необходимость в заранее определённых наборах признаков, правилах нормализации и жёстких схемах кодирования. Любое состояние, которое можно описать текстом, становится валидным входом: вложенные поля, гетерогенные списки и меняющиеся атрибуты обрабатываются естественным образом.

Архитектура модели и обучение

RLM использует сравнительно компактную encoder-decoder модель (~60M параметров), обучаемую с нуля на парах строк «состояние системы → числовой результат». Обучение оптимизирует next-token cross-entropy по последовательностям, которые включают и сериализованный вход, и текстовое представление выходного числа.

Числовые выходы кодируются специальной схемой токенизации для чисел с плавающей точкой (например, P10 mantissa-sign-exponent), что позволяет точно представлять вещественные значения в словаре модели. Модель можно тренировать с случайной инициализацией, концентрируя обучение на соотношениях между стейтом и числовыми исходами, а не на общих языковых представлениях.

Адаптация, длина последовательностей и неопределённость

RLM хорошо подходит для few-shot адаптации: pretrained версии быстро дообучаются на нескольких сотнях примеров и за считанные часы подстраиваются под новые конфигурации или временные окна. Модели обрабатывают длинные входы (тысячи токенов), что позволяет учитывать сложные состояния без агрессивного усечения.

Формулировка как генерация текста естественным образом даёт средства для оценки неопределённости: многократная выборка предсказаний для одного входа формирует распределение над числовыми исходами. Это фиксирует и аллеторическую неопределённость (внутреннюю случайность), и эпистемическую неопределённость (из-за ограниченной наблюдаемости), что полезно для вероятностного моделирования и байесовской оптимизации.

Результаты на Borg

На данных кластера Borg RLM показала очень высокую корреляцию с истинными метриками — Spearman до 0.99 и около 0.9 в среднем — и примерно в 100 раз меньшее среднеквадратичное отклонение по сравнению с табличными базовыми моделями. Способность модели моделировать плотности делает её пригодной для создания универсальных симуляторов или цифровых двойников, обеспечивая быстрые и учитывающие неопределённость предсказания для оптимизации инфраструктуры.

Применения и значение

Сценарии применения включают оптимизацию облачных и вычислительных кластеров, симуляцию производственных и IoT-процессов, а также моделирование научных экспериментов с комплексными текстовыми описаниями входов. Устранение необходимости feature engineering и быстрая адаптация позволяют ускорить симуляции, сделать оптимизационные пайплайны более устойчивыми и внедрить механизмы обратной связи в реальном времени для промышленного AI.

Полные технические детали и код доступны в статье на arXiv: https://arxiv.org/abs/2506.21718