G-ACT: Революционная система управления языковыми предпочтениями в больших языковых моделях

Проблемы генерации научного кода с помощью LLM

Большие языковые модели (LLM) стали мощными инструментами для обработки естественного языка и разработки агентных систем, управляющих сложными процессами. Однако их использование для генерации научного кода пока ограничено. Научное программное обеспечение часто создается на низкоуровневых языках, таких как C++ и CUDA, которые недостаточно представлены в данных для обучения LLM. В результате генерируемый код содержит синтаксические и семантические ошибки, приводящие к ошибкам компиляции и нестабильности при выполнении. Современные агенты на базе LLM сильно зависят от управляющих примитивов и тщательно составленных подсказок, что часто приводит к неправильному пониманию и непредсказуемым результатам.

Ограничения существующих методов управления

Для управления выводами LLM применяются различные методы, включая выявление причинно-следственных связей в активациях модели и вмешательство на уровне нейронов. Техники, такие как контролируемое дообучение (SFT), модуляция весов и обучение с подкреплением с участием человека (RLHF), обеспечивают прямое управление, но требуют больших вычислительных ресурсов и могут ухудшать устойчивость и общую производительность модели. Метод активационного патчинга (Activation Patching) использует искажённые входные данные как базу для тонкой настройки, но требует миллионов оценок модели и применяется в основном в тестах с выбором ответа, а не в реальных задачах.

Представление фреймворка G-ACT

Исследователи из Университета Мичигана разработали G-ACT (градиентно-адаптивное управление активациями), масштабируемую систему для управления генерацией научного кода в конкретных языках программирования. G-ACT анализирует различия в активациях по каждому запросу, группирует их в направления управления и использует лёгкие персептроны на уровнях модели, обучающиеся и уточняющиеся онлайн для выбора подходящих управляющих векторов. Это позволяет контролировать концептуальные уровни с сохранением масштабируемости и интерпретируемости, обеспечивая стабильный выбор языка программирования для научных вычислительных задач.

Оценка моделей и базовые языковые предпочтения

В исследовании протестировали пять моделей с инструктивным обучением: Llama-3.2-3B-Instruct, Llama-3.3-70B-Instruct, Qwen2.5-Coder-32B-Instruct, Qwen2.5-14B-Instruct-1M и QwQ-32B. Каждая модель прошла 84 тестовых задания с 25 повторениями при температуре сэмплинга 1.0. Результаты выявили устойчивые языковые предпочтения: Llama-3.2-3B склонялась к Java (76.2%), Llama-3.3-70B — к Python (73.8%), Qwen2.5-Coder предпочитал Python (59.5%), а Qwen2.5-14B — Julia (66.7%). Эти предубеждения связаны с размером модели, архитектурой и данными для дообучения.

Статический анализ активаций нейронов и языковое управление

Выборочная активация отдельных MLP-нейронов в Llama-3.2-3B-Instruct позволила получить сильный причинный контроль над выбором языка программирования. При целевой генерации на C++ код почти на 100% был на этом языке, эффективно исключая Python, Java и Julia. Тестирование кода выявило два режима поведения: задачи, ориентированные на Python, показывали 40-80% Python для высокоуровневых операций, а задачи, ориентированные на C++, демонстрировали 60-90% C++ для критичных по производительности функций. Модель чаще генерировала около 73% кода на C++, хотя значительная часть запросов всё же возвращала Python.

Результаты градиентно-адаптивного управления активациями

Фреймворк G-ACT значительно повысил точность классификации проб в ранних слоях LLaMA-3.2 3B с 0% до 61.5%. При этом время генерации увеличилось лишь в 1.3-1.4 раза, что остаётся приемлемым благодаря выборочному управлению слоями и оптимизации кеширования. G-ACT поддерживает концептуальный контроль не только по языкам программирования, но и с помощью постоянных матриц преобразования, обеспечивая стабильное поведение модели для разных пользователей. Этот подход устанавливает новый стандарт надежного и интерпретируемого управления LLM в научных вычислениях.

Для дополнительной информации ознакомьтесь с оригинальной статьёй и следите за обсуждениями в профильных сообществах.