💻 Tech-радар: Почему одного Whisper оказалось мало: ASR на 100 песнях для домашней игры
DevOps-инженер в GS-Labs рассказал, как автоматизировал подготовку музыкального конкурса What The Track, который задумал для новогодней встречи с друзьями. Игра предлагает угадать последнее слово оборванной строки песни: каждый участник вводит свой вариант в браузере со своего телефона, музыка звучит для всех, а за угаданное слово игрок получает два балла. Веб-интерфейс выложен на домашний сервер, механика заимствована с летнего корпоратива, а идея собственного гимна для компании была реализована через Suno — друзья присылали по одной фразе.
Первую версию с вопросами, нарезанными вручную, быстро опробовали на друзьях, но для повторной партии пришлось бы снова переслушивать песни и готовить строки, а главное — автор заранее знал все ответы и не мог играть наравне со всеми. Автоматизация опиралась на опыт работы с распознаванием речи: до этого в сервисе для подготовки отчётов по конференциям использовался WhisperX, где FFmpeg подготавливает запись, Whisper распознаёт речь, отдельная модель уточняет таймкоды слов, а pyannote разделяет реплики по спикерам. С песнями задача усложнилась: вместо обычной речи распознаватель получает музыку с бэк-вокалом, растянутыми гласными и проглоченными согласными, а ошибка в одном слове могла испортить весь вопрос.
В ранней версии текст расшифровки отдавали локальной LLM gpt-oss-20b с просьбой выбрать интересное слово, но вместе с настоящими словами она выбирала и ошибки распознавателя, поэтому в игру попадали ответы, которых в песне не было. Текст подсказки мог разъехаться со звуком, а ожидание ответа локальной LLM на каждом треке делало подготовку партии долгой и ненадёжной. Помогла подготовка звука: отделение вокала через Mel-Band RoFormer, фильтрация низких частот, нормализация и компрессия, а затем подключение текстов из Яндекс Музыки — с готовым текстом можно восстановить строки и правильное написание слов, а распознавание использовать для поиска нужного места в аудио. Меток времени для нарезки не хватало: в сохранённых LRC отмечено начало строки, а останавливать музыку нужно перед последним словом внутри неё. В «Выходи гулять» Касты начало строки «Собираемся свободно и гуляем где угодно» отмечено в LRC на 24,68 с, тогда как WhisperX и обе GigaAM находят её первое слово на 25,80–25,92 секунды, хотя саму строку все три модели распознали без ошибок.
Поэтому готовый текст используется для выбора и проверки слов, а точку обрыва определяют по пословным таймкодам из самого аудио. Алгоритм перебирает последние слова строк в основном в диапазоне от 25 до 85 процентов текста, оценивает длину слова, повторы и окончания соседних строк, ищет выбранное слово в распознанном аудио и проверяет конкретное вхождение; через pymorphy3 определяются части речи, чтобы чаще выбирать существительные и отбрасывать служебные слова. LLM для выбора вопроса больше не понадобилась, но осталась проблема ошибок распознавания, ради которой собрали отдельную ASR-лабу с построчным сравнением моделей и прослушиванием соответствующего места в исходном треке или отделённом вокале.
В сравнении участвовали WhisperX large-v3 с подсказкой и без неё, GigaAM v3, GigaAM Multilingual, Qwen3-ASR, Parakeet, Canary, Voxtral, Vosk и русские дообучения Whisper; каждой модели давали исходный микс, вокал после Mel-Band RoFormer, тот же вокал с фильтрами и компрессором, а также результат BS-RoFormer. Для основного сравнения собрали 100 треков 86 исполнителей, не больше четырёх песен на одного. Проект остаётся домашней игрой для друзей, но его опыт показателен для всех, кто переносит ASR с чистой речи на музыку: качество распознавания здесь напрямую определяет, можно ли доверить системе готовый контент, а связка подготовленного звука, текстов из Яндекс Музыки и пословных таймкодов оказывается практичнее, чем попытки выбора слов одной языковой моделью.
Категория: Технологии
Теги: #Технологии #Tech #IT #Искра