EPFL представляет MEMOIR: революционную систему для непрерывного редактирования моделей больших языковых моделей

Проблемы обновления больших языковых моделей

Большие языковые модели (LLM) демонстрируют выдающиеся результаты благодаря масштабному обучению на огромных датасетах. Однако они часто выдают устаревшую или неточную информацию и могут содержать предвзятости при использовании. Для поддержания точности и надежности необходимо регулярно обновлять знания моделей. Традиционное дообучение требует больших затрат и подвержено эффекту катастрофического забывания, когда модель теряет ранее усвоенную информацию. Это стимулировало развитие подхода непрерывного редактирования моделей, позволяющего эффективно и локально обновлять знания. Для успешного редактирования важны надежность, способность к обобщению и локальность изменений. Непараметрические методы обеспечивают точечное редактирование, но плохо обобщаются, тогда как параметрические лучше обобщают, но подвержены забыванию.

Ограничения существующих методов редактирования моделей

Ранее исследователи изучали разреженные активации нейросетей в задачах непрерывного обучения. Методы типа PackNet и Supermasks-in-Superposition выделяют отдельные подмножества параметров для каждой задачи. Градиентные подходы, такие как GPM и SPARCL, повышают эффективность за счет ортогональных обновлений, но применимы преимущественно в контексте непрерывного обучения. Параметрические методы ROME, MEMIT и WISE модифицируют веса через стратегии поиска и редактирования или вспомогательные модули, но страдают от забывания при длительных последовательностях правок. Непараметрические методы GRACE и LOKA хранят знания внешне, сохраняя исходные веса и позволяя точечные правки, однако их обобщающие возможности ограничены, так как они требуют точного совпадения входных данных.

MEMOIR: баланс надежности, обобщения и локальности

Исследователи из EPFL предложили MEMOIR (Model Editing with Minimal Overwrite and Informed Retention) — систему, которая оптимально сочетает надежность, обобщаемость и локальность при масштабных правках моделей. MEMOIR добавляет модуль памяти в виде полностью связанного слоя внутри одного трансформерного блока, где происходят все изменения. Метод решает проблему катастрофического забывания, выделяя отдельные подмножества параметров для каждой правки и извлекая их при выводе, активируя только релевантные знания для конкретных запросов. При редактировании используется структурированная разреженность с масками, зависящими от образца, что активирует лишь специфические подмножества параметров. Такая стратегия распределяет новые знания по пространству параметров, уменьшая перезапись и минимизируя забывание.

Оценка и результаты экспериментов

MEMOIR работает в рамках резидуальной памяти, комбинируя оригинальные выходы слоя с выходами памяти. Его сравнили с базовыми методами: GRACE (внешнее хранение знаний), DEFER (маршрутизация во время вывода), методами причинно-следственного анализа (ROME, MEMIT, ALPHAEDIT), методами на основе памяти (WISE) и прямым дообучением. Испытания проводились на четырех авторегрессионных языковых моделях: LLaMA-3-8B-Instruct, Mistral-7B, LLaMA-2-7B и GPT-J-6B.

На датасете вопросов и ответов ZsRE MEMOIR достиг средней метрики 0.95 на LLaMA-3 при 1000 правках, превзойдя предыдущие методы на 0.16. Аналогичные результаты наблюдались для Mistral, что подтверждает устойчивость метода. MEMOIR сохранял сбалансированную производительность при увеличении числа правок для коррекции галлюцинаций на SelfCheckGPT, удерживая высокий уровень локальности даже при 600 правках и достигая значения перплексии на 57% и 77% ниже, чем у второго лучшего метода WISE на LLaMA-3 и Mistral соответственно.

Перспективы развития

MEMOIR представляет масштабируемый подход, успешно балансирующий ключевые критерии редактирования с помощью инновационных методов разреженности и выборочной активации. Тем не менее, в текущей версии он изменяет только один линейный слой, что может ограничивать работу с долгосрочными правками или знаниями, требующими более широких изменений. В будущем планируется расширение метода на несколько слоев, разработка иерархических стратегий редактирования и применение к мультимодальным и энкодер-декодерным моделям, выходящим за рамки текущих трансформеров только с декодером.