#квантование

'Короткое техническое сравнение vLLM, TensorRT-LLM, HF TGI v3 и LMDeploy: когда выбирать каждый стек для продакшн-инференса по throughput, латентности и KV-поведению.'

'BitNet Distillation преобразует FP16 LLM в 1.58‑битовую модель с близкой к FP16 точностью, достигая до 10× экономии памяти и около 2.65× ускорения на CPU.'

'Liquid AI выпустила LFM2-VL: две открытые мультимодальные модели 450M и 1.6B, оптимизированные для быстрого локального инференса на устройствах.'

'Разбор инференса в 2025: ключевые проблемы задержки и способы оптимизации, а также обзор ведущих провайдеров инференса.'

Gemma 3 270M — компактная модель на 270M параметров, оптимизированная для энергоэффективной задачевой донастройки и локального запуска на устройстве