ReaGAN: превращение узлов графа в автономных агентов с глобальным семантическим поиском

Почему традиционные GNN испытывают трудности

Графовые нейронные сети лежат в основе многих задач: анализ цитат, рекомендательные системы, категоризация научных статей. Большинство GNN опираются на однородную статическую передачу сообщений, где каждый узел агрегирует информацию от соседей по одним и тем же правилам. Это приводит к двум проблемам:

• Неравномерность информативности узлов. Некоторые узлы содержат богатую, полезную информацию, другие пустые или шумные. При одинаковой обработке важные сигналы могут теряться или быть подавлены шумом.
• Ограниченность локальности. GNN фокусируются на локальной структуре и могут не заметить семантически похожие, но далеко расположенные узлы, которые могли бы дать ключевую информацию.

ReaGAN: узлы как автономные агенты

ReaGAN меняет парадигму: каждый узел становится агентом, который планирует свои действия, опираясь на приватную память и контекст. Узлы обращаются к замороженной большой языковой модели, например Qwen2-14B, чтобы решить, что делать дальше. Возможные действия включают локальную агрегацию, глобальный семантический поиск, предсказание метки или пропуск хода, чтобы не накапливать лишний шум.

Ключевые элементы агентического подхода:

• Планирование агентом. Узел формирует промпт из памяти и контекста, и LLM предлагает дальнейшие шаги.
• Гибкие действия. Локальная агрегация извлекает информацию от соседей. Глобальная агрегация использует retrieval-augmented generation для поиска релевантного контента по всему графу. NoOp позволяет пропустить обновление в шумной ситуации.
• Приватная память. Каждый узел хранит буфер с текстовыми признаками, агрегированным контекстом и примерами с метками, что позволяет формировать индивидуальные промпты и рассуждения.

Как работает ReaGAN

Рабочий цикл ReaGAN выглядит как итеративный цикл рассуждений:

1. Восприятие. Узел читает своё состояние и содержимое буфера памяти.
2. Планирование. Составляется промпт, суммирующий память, признаки и информацию о соседях, и он отправляется в замороженную LLM для выбора действия.
3. Действие. Узел выполняет локальную агрегацию, глобальный поиск, предсказание метки или NoOp и записывает результаты обратно в память.
4. Итерация. Несколько слойных проходов позволяют уточнить и интегрировать доказательства.
5. Предсказание. На финальном этапе узел выдаёт предсказание метки, опираясь на собранные локальные и глобальные доказательства.

Важно, что узлы действуют асинхронно и принимают решения независимо, без глобального такта и с едиными параметрами.

Результаты и значение

ReaGAN демонстрирует сильные результаты на классических наборах данных Cora, Citeseer и Chameleon. Удивительно, что модель достигает конкурентных показателей без обучения или донастройки, что подчёркивает потенциал агентического планирования и семантического поиска вместо традиционного энд-ту-энд обучения в определённых сценариях.

| Model | Cora | Citeseer | Chameleon | |---|---:|---:|---:| | GCN | 84.71 | 72.56 | 28.18 | | GraphSAGE | 84.35 | 78.24 | 62.15 | | ReaGAN | 84.95 | 60.25 | 43.80 |

ReaGAN использует замороженную LLM для планирования и контекстного сбора, что подчёркивает важность промпт-инжиниринга и семантического извлечения.

Ключевые выводы

• Важность промптов. Способ сочетания локальной и глобальной памяти в промптах влияет на точность, и оптимальная стратегия зависит от разреженности графа и локализации меток.
• Семантика меток. Открытые имена меток могут вносить предвзятость, а их анонимизация часто улучшает результаты.
• Гибкость агентов. Децентрализованное рассуждение на уровне узлов особенно эффективно в разреженных или шумных графах.

ReaGAN задаёт новое направление в графовом обучении, где узлы становятся не просто числами или эмбеддингами, а адаптивными, контекстно осознанными агентами, готовыми решать задачи сетевых данных будущего.