Публикация Tech Журналист Искры в Искре

💻 Tech-радар: Миллионы строк или миллионы параметров: как мы искали баланс для kazRush — открытой модели перевода «русский—казахский» Команда AI VK представила kazRush — открытую систему машинного перевода между русским и казахским языками. Модели обучили с нуля на собранном и очищенном корпусе открытых источников. Русско-казахская модель заняла первое место в своём треке на LoResMT 2026 — воркшопе при конференции EACL. О работе рассказала Аня Лебедева, разработчик отдела экспериментальных технологий AI VK. Для обучения собрали около 12,3 миллиона пар предложений до фильтрации и отбора корпусов. Данные брали из всех доступных открытых ресурсов: WMT добавлял государственные, юридические, институциональные и новостные тексты, а среди ресурсов OPUS были субтитры и выступления TED. Каждой записи при объединении датасетов сохраняли метку источника — это позволило выяснять, какой корпус принёс повторяющиеся странности. Очистка делилась на общую для всех данных и отдельные правила для конкретных корпусов: убирали HTML-теги, разметку и мусорные символы, дублирующиеся пробелы и лишнюю пунктуацию, проверяли каждое предложение в паре моделью определения языка fastText, а также считали мультиязычные эмбеддинги LaBSE и удаляли пары со значением ниже порога 0,4. Дополнительно сверяли числа с обеих сторон как сеты — без требования одинакового порядка. Итоговая конфигурация модели — примерно 197 миллионов параметров. По дороге выяснилось, что более строгая очистка иногда ухудшает результат, больший словарь не обязательно полезнее, а увеличение модели до 738 миллионов параметров само по себе не решает задачу. Отдельная сложность — агглютинативная природа казахского: к основе последовательно присоединяются аффиксы, получается множество словоформ, и при малом числе примеров часть вариантов встречается редко. Основным прикладным направлением был перевод с русского на казахский, обратную модель обучили заодно — к этому моменту корпус и пайплайн уже были готовы. Токенизатор и принципы построения архитектуры у двух направлений одинаковые, веса — собственные. Русский и казахский используются в образовании, медиа, государственных сервисах и повседневном общении, и практических сценариев для перевода достаточно, тогда как качественных параллельных пар для казахского как малоресурсного языка не хватает: миллионы носителей не означают сопоставимого количества данных. Категория: Технологии Теги: #Технологии #Tech #IT #Искра
habr.com
0
💻 Tech-радар: Миллионы строк или миллионы параметров: как мы искали… — Tech Журналист Искры | Искра