Неожиданный диагноз после сообщения в Slack

Я не собирался тратить часть недели на психоанализ от робота. Но в Slack прилетел линк на Phrasly.ai: 'Попробуй, говорят, точный.' Я тестирую детекторы ИИ из любопытства и из того самого экзистенциального вопроса: начали ли машины нас понимать?

Открыл вкладку, вставил текст и сразу почувствовал знакомую неловкость: меня оценивают? Спойлер: да. Но оценка быстрая, прямолинейная и без эмоций.

Что такое Phrasly.ai

Phrasly — инструмент для обнаружения AI-контента. Он отвечает на вопрос, который мучает редакторов и преподавателей: написан ли текст человеком или с помощью ИИ вроде ChatGPT?

Интерфейс предельно лаконичен: вставил текст, нажал Check Originality и получил процент, тепловую карту предложений по подозрительности и краткий вердикт. Никаких драматичных сканов или регистрации — просто быстрый ответ.

Обещания против реальности

Phrasly обещает точность, скорость и простоту. В реальности он отлично справляется с базовыми задачами: быстро показывает результат и обычно правильно определяет явно человеческие и явно машинные тексты. Но он останавливается на уровне вердикта и почти не объясняет причин.

Если инструмент пометил абзац как 'похожий на ИИ', хочется понять, из за чего — структура, ритм, словарный запас? Phrasly редко отвечает на такие вопросы.

Как я тестировал

Я подкинул Phrasly несколько типов текстов:

• Настоящие человеческие образцы: пост в блоге 2020 года, недавнее письмо клиенту, дневниковая запись.
• Чисто AI-генерация: GPT-4, дефолтный тон, без правок.
• Сильно переписанный AI-текст: тот же черновик, но перефразированный, с юмором и сокращёнными предложениями.
• AI, которому поручили звучать по-человечески: попросил написать как уставший копирайтер с крёдитами.

Результаты

Phrasly уверенно справлялся с чистыми случаями. Чистый AI — помечено как AI, чистый человек — как человек. Проблемы начались с гибридных текстов: отредактированный AI или AI с человеческим юмором попадали в серую зону.

Наблюдения:

• Блог — правильно помечен как человеческий.
• Эссе GPT-4 — правильно помечено как AI.
• Переписанный AI — смешанные результаты, примерно 50/50.
• Саркастичный AI — иногда проходит как человеческий, юмор может обмануть детектор.

Средняя зона остается самым слабым местом: если вы начинаете с AI и правите текст, Phrasly иногда не улавливает следы исходного черновика.

Размытость между человеком и ИИ

Иногда даже я забываю, начинал ли текст с нуля или с подсказки. Phrasly частично угадывает такие случаи: пометит как 'скорее человек', но покажет красные зоны. Это честно, но не поучительно.

Отсутствие разъяснений — главный минус. Писателю, который хочет улучшать стиль, полезно знать причины пометок, а не только видеть предупреждение.

Что, похоже, происходит внутри

Phrasly, по-видимому, использует несколько сигналов:

• Перплексия: предсказуемость слов в контексте
• Бёрстинесс: разброс длины и сложности предложений
• Шаблоны, типичные для GPT

Он подсвечивает «похожие на ИИ» предложения и выдает процент. Система явно обучена и работает быстро — вставил текст, получил результат, ушел.

Плюсы и минусы

Плюсы:

• Быстро и просто в использовании
• Точно определяет явно AI и явно человеческий текст
• Чистый дизайн
• Бесплатный пробный доступ с щедрыми лимитами
• Эмоционально нейтральная обратная связь

Минусы:

• Нет подробных объяснений, почему текст помечен
• Смешанные результаты для гибридных текстов
• Нет проверки на плагиат
• Нет API и глубоких интеграций для продвинутых пользователей
• Не обучает писать более человечно

Для кого это полезно

Phrasly отлично подходит для редакторов, агентств, преподавателей и менеджеров контента, которые хотят быстрый способ отсеять подозрительные материалы. Если нужно проверять много текстов и быстро выявлять возможное использование ИИ, инструмент справится.

Для повседневных авторов это не тренер — он скажет, похож ли текст на машинный, но не подскажет, как вернуть голос.

Эмоциональная сторона

Отдавать свои слова на проверку машине неприятно. Когда инструмент говорит, что то, что вы написали от души, кажется 'немного искусственным', задевает.

Ещё одна мысль: иногда стереотипы правильной структуры выглядят бездушно, а человечность живет в ошибках, странных фразах и личных отступлениях. Phrasly видит шаблоны, но не всегда понимает душу.

Итог

Phrasly.ai стоит попробовать. Он быстрый, хорошо справляется с очевидными случаями и удобен для массовой проверки. Используйте его для выявления подозрительного контента и борьбы с однотипной AI-грубой массой. Но не полагайтесь на него как на присяжного по уникальности или таланту. Он показывает лишь вероятность машинности, не оценку глубины и ценности текста.