#RL

'Andrej Karpathy опубликовал nanochat — минимальный end-to-end стек для обучения и развёртывания ChatGPT-подобных моделей, который можно прогнать за ~4 часа на одном 8×H100 за ~100 долларов.'

ProRLv2 увеличивает горизонт RL до 3000 шагов и демонстрирует значительные улучшения рассуждения в компактных языковых моделях, подтверждённые приростами по математике, кодированию и логике.