K
KiaDev.net
EN/RU
<НА ГЛАВНУЮ

Moirai 2.0: быстрее, компактнее и лидирует в прогнозировании временных рядов от Salesforce

'Salesforce представила Moirai 2.0 — компактную и быструю модель для прогнозирования временных рядов, занявшую первое место в GIFT-Eval. Модель сочетает производительность, устойчивость к пропускам в данных и удобство интеграции в бизнес-процессы.'

Что нового в Moirai 2.0

Salesforce AI Research представила Moirai 2.0 — модель для временных рядов нового поколения на базе decoder-only трансформера. Эта версия ориентирована на практическую эффективность и масштабируемость: она заняла первое место в бенчмарке GIFT-Eval и при этом стала значительно меньше и быстрее предыдущей версии.

Архитектура и прирост производительности

Decoder-only трансформер

Moirai 2.0 заменяет подход с masked encoder на decoder-only трансформер. Такая архитектура лучше подходит для авторегрессионной генерации прогнозов и эффективнее масштабируется на больших и сложных наборах данных.

Мульти-токен предсказание

Модель предсказывает сразу несколько токенов на шаг, а не по одному, что повышает пропускную способность инференса и стабильность прогнозов.

Методы повышения устойчивости

В процессе обучения применяется продвинутая фильтрация данных: низкокачественные и непредсказуемые временные ряды автоматически исключаются. Техники вроде patch token embedding и random masking помогают кодировать информацию о пропущенных значениях и повышают устойчивость к неполным данным.

Расширенный набор данных для предобучения

Moirai 2.0 предобучается на разнообразной смеси источников, что улучшает обобщающую способность:

  • Реальные наборы данных, включая GIFT-Eval Pretrain и Train
  • Синтетическая аугментация с помощью Chronos mixup
  • KernelSynth процедуры из исследований Chronos
  • Внутренние операционные данные Salesforce

Такой широкий датасет помогает модели работать в различных задачах и доменах.

Ключевые результаты

Moirai 2.0 демонстрирует значительное улучшение по сравнению с предыдущими версиями и конкурентами:

  • Лучший показатель MASE на GIFT-Eval среди моделей без утечки данных
  • CRPS на уровне предыдущего передового достижения
  • По сравнению с Moirai_large: +16% MASE, +13% CRPS, 44% быстрее инференс, на 96% меньше параметров

Эти улучшения делают высокопроизводительное прогнозирование более доступным для исследований и промышленного применения.

Практические сценарии применения

Усовершенствования модели полезны для бизнеса и операций, например:

  • IT-операции: планирование ёмкости и обнаружение аномалий
  • Прогнозирование продаж: масштабируемые прогнозы выручки
  • Прогнозирование спроса: оптимизация запасов
  • Планирование цепочки поставок: лучшее расписание и сокращение потерь

Меньший размер модели и более быстрый инференс позволяют внедрять точные прогнозы в масштабе на разных инфраструктурах.

Начало работы с Moirai 2.0

Интеграция проста для дата-сайентистов и разработчиков. Salesforce предоставляет примеры и модули на Hugging Face и GitHub. Типичный Python-воркфлоу загружает модель, подготавливает датасет и генерирует прогнозы.

Пример Python-воркфлоу

Импорт библиотек

import matplotlib.pyplot as plt
from gluonts.dataset.repository import dataset_recipes
from uni2ts.eval_util.data import get_gluonts_test_dataset
from uni2ts.model.moirai2 import Moirai2Forecast, Moirai2Module

Загрузка Moirai 2.0

model = Moirai2Forecast(
    module=Moirai2Module.from_pretrained("Salesforce/moirai-2.0-R-small"),
    prediction_length=100,
    context_length=1680,
    target_dim=1,
    feat_dynamic_real_dim=0,
    past_feat_dynamic_real_dim=0
)

Загрузка датасета и генерация прогнозов

test_data, metadata = get_gluonts_test_dataset("electricity", prediction_length=None, regenerate=False)
predictor = model.create_predictor(batch_size=32)
forecasts = predictor.predict(test_data.input)

Визуализация результатов

# Example visualization
fig, axes = plt.subplots(nrows=2, ncols=3, figsize=(25, 10))
# Use Moirai plotting utility to display forecasts

Полные примеры, ноутбуки и руководства доступны в репозиториях Salesforce на Hugging Face и GitHub.

Значение для разработчиков и бизнеса

Сочетая decoder-only трансформер, мульти-токен предсказание, улучшенную фильтрацию данных и широкий набор предобучающих данных, Moirai 2.0 становится практичной основой для прогнозирования. Благодаря ускорению и компактности модель снижает барьер внедрения точных прогнозов в различных отраслях и операционных средах.

🇬🇧

Switch Language

Read this article in English

Switch to English