#Transformer

IBM выпустила Granite 4.0 — семейство гибридных Mamba-2/Transformer моделей, сокращающее требования к памяти более чем на 70% для длинного контекста без потери качества.

Серия Falcon-H1 от TII представляет гибридные модели Transformer-SSM, сочетающие эффективность и производительность с поддержкой длинных контекстов, многоязычностью и масштабируемостью от 0,5 до 34 млрд параметров.