Почему ИИ не может точно воспроизвести исторический язык

Трудности воспроизведения исторической речи с помощью ИИ

Совместное исследование учёных из США и Канады показало, что крупные языковые модели (LLM), такие как ChatGPT, испытывают серьёзные сложности с воспроизведением исторических идиом и стиля без дорогостоящей и трудоёмкой дополнительной подготовки. Это существенно ограничивает возможности использования ИИ, например, для завершения незаконченного романа Чарльза Диккенса.

Эксперименты с текстами начала XX века

Исследователи пробовали разные методы создания текста, звучащего аутентично для начала XX века. Начав с простого запроса к ChatGPT-4o на основе текстов того периода, они затем дообучили меньшую модель GPT-2 на небольшой коллекции книг того времени. Также была сравнена модель GPT-1914, обученная исключительно на литературе 1880–1914 годов.

При попытке продолжить исторические тексты ChatGPT-4o часто переключался на современный «блоговый» стиль, не воспроизводя нужные идиомы. В то же время, дообученная модель GPT-2 лучше передавала стиль эпохи, хоть и уступала в точности по другим параметрам.

Оценка с помощью машин и людей

Для оценки стилистической точности использовался классификатор RoBERTa, обученный на определение даты публикации. Выводы GPT-1914 совпадали с ранним XX веком, а ответы ChatGPT-4o были ближе к языку XXI века, даже при многочисленных исторических подсказках.

Дообучение GPT-4o-mini на исторических текстах значительно улучшило стилистическое соответствие, но это касалось лишь поверхностных признаков. Человеческие эксперты затруднялись отделить правдоподобный исторический язык от современных влияний и оценить культурные предубеждения в текстах. Лучшие оценки получил дообученный GPT-4o-mini, но он всё равно не достиг уровня подлинных источников.

Врождённые ограничения и анахронизмы

Исследователи пришли к выводу, что экономичных способов идеально воспроизвести исторический идиом не существует. Некоторая степень анахронизма, вероятно, неизбежна из-за конфликта между аутентичностью и разговорной плавностью. Модели, обученные на современных данных, отражают современную точку зрения, часто включая явные признаки внешнего взгляда.

Значение для исторических исследований с ИИ

Хотя дообучение коммерческих моделей на исторических текстах может создавать стилистически убедительный текст с меньшими затратами, полностью избавиться от современных искажений не удаётся. Полное предварительное обучение на материалах эпохи требует гораздо больше ресурсов и даёт менее плавный текст.

Исследование подчёркивает фундаментальную проблему воссоздания ушедших культурных перспектив с помощью ИИ. Нет истинной "исторической истины", есть лишь интерпретация, смешивающая прошлое и настоящее. Для улучшения баланса между аутентичностью и связностью необходимы дальнейшие исследования.