Скрытые расходы и завышение токенов в биллинге AI-чатов: новые исследования

Биллинг на основе токенов в AI-чатах

Большинство AI-чатов, включая такие популярные платформы, как ChatGPT-4o, используют токены в качестве единицы биллинга. Токены — это маленькие единицы текста, например слова, знаки препинания или части слов. Однако количество токенов скрыто от пользователя во время общения, что не позволяет проверить корректность оплаты.

Сложность и непрозрачность токенов

Токен — не совсем слово; разные системы разбивают слова на токены по-разному, что влияет на стоимость. Например, слово «unbelievable» в одной системе может считаться одним токеном, а в другой — разбиваться на несколько. Оплата взимается и за пользовательский ввод, и за ответ модели, но пользователь не видит и не может проверить количество токенов в реальном времени.

Риски завышения токенов

Недавние исследования показывают, что провайдеры могут завышать количество токенов, не нарушая правил. Например, они могут представить токенизацию текста так, чтобы завысить счёт, несмотря на одинаковый вывод. Это создаёт отсутствие прозрачности и доверия: пользователи платят за токены, о которых не подозревают.

Предложенное решение: биллинг по символам

Учёные из Института Макса Планка предлагают перейти на биллинг, основанный на количестве символов. Символы — это видимая и однозначная единица измерения, которая стимулирует честность и более короткие ответы. Однако этот метод может добавить новые сложности в пользу провайдеров и потребует законодательной поддержки.

Скрытые внутренние операции и переплата

Другое исследование показывает, что непрозрачность биллинга выходит за рамки токенизации. Внутренние операции, такие как скрытые шаги рассуждений, понижение версии модели и взаимодействие между агентами, могут не отображаться пользователю, но за них всё равно взимается плата. В некоторых случаях более 90% оплаченных токенов не показываются.

Проблемы аудита и ответственности

Современные системы биллинга лишены эффективного контроля. Предлагается использовать многоуровневый аудит с криптографическими доказательствами и независимой проверкой для прозрачности, но такие механизмы требуют сотрудничества провайдеров и пока не внедрены массово.

CoIn: аудит скрытых токенов рассуждений

Третье исследование представляет систему CoIn — сторонний аудит, который криптографически подтверждает количество токенов без раскрытия содержимого. CoIn использует хэширование и семантическую проверку для выявления завышения, сохраняя конфиденциальность. В тестах система обнаружила завышения с точностью около 95%, но требует участия провайдеров.

Общая картина

Биллинг на основе токенов скрывает от пользователей реальные расходы и стоимость AI-сервисов, подобно тому, как в казино скрывают время, чтобы увеличить траты. Сложность токенов и их вариативность делают этот метод проблемным, особенно для разных языков и моделей. Несмотря на преимущества биллинга по символам, его внедрение сталкивается с техническими и нормативными препятствиями.

В целом, эти исследования выявляют непрозрачную и несправедливую систему биллинга, призывая индустрию AI пересмотреть методы измерения и отчётности по затратам.