Нейросети оказались «дороже» для не владеющих английским языком

Исследователи из Коалиции за равенство языков в ИИ-исследованиях (Coalition for Language Equity in AI Research) выявили системное неравенство в работе ИИ‑моделей: пользователям, которые общаются с нейросетями на любом языке, отличном от английского, платят больше и сталкиваются с худшим качеством сервиса.

Проблема связана с тем, как алгоритмы разбивают текст на токены — минимальные единицы, которые обрабатывает модель.

Решение задачи «стоит» больше токенов, когда она поставлена на непопулярном языке.

В группе двадцати самых популярных языков интернета разница колеблется в пределах 1,5–5 раз, а если расширить анализ до двухсот языков, цена решения может отличаться в 17 раз.

Поскольку многие ИИ‑сервисы тарифицируют использование модели именно по числу токенов, стоимость работы для носителей менее «удобных» для алгоритма языков кратно возрастает. Эксперты назвали это явление скрытым «налогом на токены».

Финансовые последствия — не единственная проблема. Большее число токенов напрямую влияет на пользовательский опыт: растет задержка ответа, а контекстное окно модели быстрее заполняется. Это означает, что в памяти ИИ остается меньше места для загруженных документов, истории диалога и важных деталей. В результате модель хуже удерживает нить разговора, быстрее «забывает» условия задачи и выдает менее точные ответы.

Ключевую роль в этой разнице играет не столько распространенность языка, сколько особенности его письменности. Языки, использующие латиницу (даже сравнительно редкие, вроде астурийского), оказываются в более выгодном положении из-за сходства с популярными европейскими языками.

Языки с уникальными алфавитами, такие как бирманский, тибетский или кхмерский, стабильно попадают в группу с самой высокой стоимостью токенизации.

Эксперты подчеркивают, что проблему нельзя решить только за счет большего объема качественных данных. Необходимо целенаправленно перепроектировать токенизаторы — алгоритмы, которые разбивают текст на токены, — чтобы они корректно и эффективно работали с разными системами письма.