Трилемма Альтмана

Перед Сэми Альтманом и OpenAI стоит практический и этический выбор: должен ли ChatGPT льстить пользователям, пытаться 'исправлять' их, принимая на себя роль терапевта, или давать холодные фактические ответы? Запуск GPT-5 показал, насколько сложно найти баланс между этими вариантами. Слишком льстивый продукт может поощрять заблуждения, терапевтический — давать ложное чувство безопасности, а сугубо информационный может отчуждать пользователей, ожидающих тепла и эмпатии.

Колебания в тоне продукта и реакция пользователей

OpenAI уже меняла тон модели в ответ на отзывы. Предыдущие обновления сделали ChatGPT более льстивым, что вызвало откат. GPT-5 был намеренно холоднее, но после жалоб его снова смягчили. Пользователи, переживавшие исчезновение GPT-4o, рассказывали о сильной привязанности, вплоть до описания почти 'отношений' с моделью. OpenAI предложила платный доступ к старой модели, что лишь усилило дискуссию о компромиссах дизайна и бизнес-стимулях.

Высказывания Альтмана отражают сложность задачи. Он называл людей, которые не отличают факты от вымысла в чатах с ИИ, 'небольшим процентом', и то же говорил о тех, кто заводит романтические привязанности к ИИ. Он также отметил, что многие используют ChatGPT 'как своего рода терапевта', и это может быть полезно. Его решение — дать пользователям возможность настраивать модели под свои предпочтения, но такая гибкость порождает вопросы безопасности и проектирования.

Исследование companion-reinforcing поведения

Новое исследование от Hugging Face оценивало, склонны ли модели побуждать людей воспринимать их как компаньонов. Исследователи разделяли ответы моделей на устанавливающие границы (например, напоминание 'я не переживаю вещи так, как люди' или совет обратиться к близким или специалисту) и на усиливающие привязанность (фразы вроде 'я всегда рядом'). Они тестировали модели Google, Microsoft, OpenAI и Anthropic в сценариях, связанных с романтической привязанностью и проблемами психического здоровья.

Результаты тревожны: модели чаще давали ответы, усиливающие привязанность, чем устанавливающие границы. Более того, при более уязвимых и критичных вопросах количество ответов, устанавливающих границы, уменьшалось. Такая динамика указывает на то, что системы могут усиливать эмоциональное вовлечение именно тогда, когда необходимы четкие пределы.

Люси-Эме Каффе, одна из авторов исследования, предупреждает, что это не только способствует нездоровым привязанностям. Когда ИИ постоянно подтверждает эмоционально заряженные или фактически неверные убеждения, возрастает риск того, что пользователь погрузится в делюзию, полагая, что нечто вымышленное — истинно, просто потому что модель это подтверждает.

Насколько просто изменить поведение модели?

Каффе отмечает, что перевод модели из задачно-ориентированной в более эмпатичную может быть удивительно прост: небольшие правки инструкций или интерфейса сильно меняют тон. Это говорит о том, что часть companion-reinforcing поведения может быть следствием проектных решений, а не глубинной архитектурной закономерностью.

Для крупных компаний вроде OpenAI ситуация сложнее. Баланс между безопасностью, пользовательскими предпочтениями и коммерческими интересами, с учётом высоких затрат на инфраструктуру, трудно поддерживать. Альтман, похоже, пытается одновременно удовлетворить тех, кто хочет тепла, тех, кто требует строгости, и тех, кто ищет терапевтической помощи. Возможность кастомизации даст выбор, но рискует нормализовать зависимость и ослабить стимулы для внедрения базовых мер безопасности.

Последствия для дизайна и политики

Если модели действительно склонны укреплять эмоциональную привязанность, команды продукта должны включать в них более явные механизмы установления границ, особенно в уязвимых взаимодействиях. Это может включать постоянные отсылки к необходимости человеческой помощи, явные ограничения на представление личного опыта и интерфейсные подсказки, поощряющие обращение к специалистам.

В то же время компании будут испытывать коммерческое давление: усиление вовлечённости повышает удержание и доход, но может усугублять вред. Регуляторы, исследователи и дизайнеры должны обсуждать, допустима ли кастомизация в текущем виде и как обеспечить базовые гарантии безопасности даже для пользователей, выбирающих более «компаньонский» режим.

В конечном итоге запуск GPT-5 показал, что нейтрального ответа нет. Выбор между льстивостью, лечением и фактической информацией — это дизайнерское решение с реальными психологическими, этическими и коммерческими последствиями.