#FlashAttention25.04.2025
Забывающий Трансформер (FoX): Революция в Длинных Контекстах Языкового Моделирования с Эффективным Управлением Памятью
Исследователи из Mila и Университета Монреаля представили FoX — новую версию трансформера с обучаемыми forget gate, которая улучшает качество и эффективность моделирования длинных контекстов без потерь в скорости.