#RLHF

'Tinker предоставляет низкоуровневый API для написания пользовательских тренировочных циклов локально с выполнением на управляемых кластерах; акцент на LoRA и переносимых весах.'

'MoonshotAI выпустил checkpoint-engine — решение для обновления весов на тысячах GPU примерно за 20 секунд, полезное для RL и масштабного сервинга с минимальным простоем.'

'Исследование объясняет галлюцинации LLM как следствие статистики предобучения и показывает, что бинарные бенчмарки поощряют угадывание; изменение схем оценивания может снизить уверенные ошибки.'

Anthropic AI разработала метод векторных персон для выявления и контроля изменений личности в больших языковых моделях, что улучшает их надежность и безопасность.

'Rubrics as Rewards (RaR) представляет метод обучения с подкреплением, использующий структурированные рубрики для повышения качества обучения языковых моделей в медицине и науке.'

SynPref-40M представляет огромный набор данных предпочтений, который позволил создать серию моделей Skywork-Reward-V2 с передовыми результатами в согласовании человека и ИИ по нескольким бенчмаркам.

Internal Coherence Maximization (ICM) представляет собой новый метод обучения больших языковых моделей без использования разметки, достигающий результатов, сопоставимых с обучением на данных с человеческой разметкой.

Большие языковые модели часто пропускают части сложных инструкций из-за ограничений внимания и лимитов токенов. В статье рассмотрены причины и рекомендации по улучшению выполнения инструкций.

Мэтью Фитцпатрик, CEO Invisible Technologies, рассказывает о сочетании человеческого опыта и ИИ для масштабирования автоматизации, значении RLHF и тенденциях достижения ROI в корпоративном ИИ.

ART·E от OpenPipe использует обучение с подкреплением для повышения скорости, снижения стоимости и улучшения точности ответов по email, превосходя агента o3 от OpenAI.