Найдено записей: 10
'OpenAI использует обучение с жесткой весовой разреженностью, чтобы извлекать небольшие и проверяемые цепи, объясняющие поведение модели на простых Python задачах.'
'Руководство по созданию агента PaperQA2 с Gemini для поиска, сравнения и цитирования научных работ, с примерами кода и советами по настройке.'
Энергоориентированные трансформеры позволяют машинам выполнять сложное несупервизированное мышление системы 2, улучшая рассуждения и обобщение в различных задачах без специализированного надзора.
Руководство по созданию компактного AI-агента с несколькими NLP-инструментами на базе моделей Hugging Face для задач чата, анализа тональности и вычислений в одном пакете.
MemAgent представляет собой RL-агента памяти, позволяющего LLM эффективно работать с очень длинными документами, сохраняя высокую точность и линейные вычислительные затраты.
Meta и партнёры разработали новую методику для точного измерения запоминания языковых моделей, показав, что GPT хранит около 3,6 бит на параметр, и предоставили важные инсайты о различии между запоминанием и обобщением.
PARSCALE предлагает новый подход к масштабированию языковых моделей через параллельные вычисления, снижая использование памяти и задержки при улучшении производительности.
Исследователи из Эдинбурга, Cohere и Meta показали, что большие разреженные модели превосходят меньшие плотные при работе с длинным контекстом, предложив новые законы масштабирования и стандартизированные методы.
Meta AI разработала Token-Shuffle — метод, уменьшающий количество токенов изображений в трансформерах для эффективной генерации высококачественных изображений высокого разрешения с меньшими ресурсами.
Исследователи Microsoft показали, что оптимизатор Muon существенно ускоряет гроккинг в моделях трансформеров, обеспечивая более быстрый переход от запоминания к обобщению по сравнению с AdamW.