💻 Tech-радар: Дедлайн для апрува: как научить ASR не ломаться при смене языков
**Российские исследователи научили ASR распознавать речь на смеси языков**
Специалисты по обработке аудиоданных из лаборатории искусственного интеллекта российской ИТ-компании «Криптонит» разработали методику дообучения моделей транскрибирования речи, устойчивую к переключению языка собеседников (code-switch). Методика позволяет добавить поддержку смены языка в Whisper, GigaAM и другие модели ASR.
Проблема в том, что системы преобразования речи в текст определяют язык диалога по первым репликам и фиксируют его кодовое обозначение, а при смене языка начинают вести себя непредсказуемо: одни модели заменяют иностранные слова латиницей, другие подбирают похожие по звучанию, но неверные по смыслу слова из русского языка, третьи просто игнорируют нераспознанные фрагменты. Особенно это характерно для международных компаний, у которых сотрудники, клиенты и партнёры могут быть из разных стран.
Исходной моделью стала GigaAM Multilingual от Сбера с лицензией MIT, допускающей изменение и коммерческое использование. Команда подготовила собственные синтетические данные двух типов — склейки фрагментов на двух языках и TTS-синтез с частичным переводом предложений; общий объём составил около 10 000 часов речевых аудиозаписей, при создании использовались наборы с реальной монолингвальной частью, датасеты YODAS (ESPnet Team), Sova (Virtual Assistant, LLC) и другие. В работе также задействовали открытую библиотеку KenLM для n-граммного языкового моделирования. Исследование проводилось на кластере из 2 процессоров AMD EPYC 9334, 756 ГБ оперативной памяти, 4 ускорителей NVIDIA L40S (по 48 ГБ GDDR6) и NVMe SSD на 2 ТБ.
На CS-бенчмарках WER (Word Error Rate — процент слов, распознанных неправильно) в среднем удалось уменьшить на 13,6%: созданная модель работает в режиме Code Switch и демонстрирует WER лучше, чем у исходной открытой модели. Экспериментально подтверждены три гипотезы: даже моноязычные речевые корпуса повышают качество распознавания после дообучения открытой модели; обучение на моноязычных корпусах с синтетическими данными улучшает WER, но недостаточно для оптимального качества; KenLM уменьшила процент ошибочного смешивания алфавитов в рамках одного слова. Отдельно проводился контроль на монолингвальной речи для проверки отсутствия деградации модели.
Разработка применима в любых системах обработки речи — для транскрибации совещаний, обработки диалогов технической поддержки, в приложениях голосового ввода и для анализа больших массивов речевых аудиоданных. Эксперимент проводился для пары русский — английский, но сам рецепт универсален; на имеющемся оборудовании дообучение занимает от 1 до 3 недель в зависимости от объёма данных. В планах авторов — исследование методов Language Diarization (автоматического разделения аудиозаписи на сегменты с разными языками), что позволит улучшить качество распознавания смеси языков за счёт маршрутизации без дообучения ASR-моделей, а также обучение модели на базе Whisper V3 Large с поддержкой переключения между множеством языков.
Категория: Технологии
Теги: #Технологии #Tech #IT #Искра