💻 Tech-радар: Partscaster 1.0: программа для правки нейротрека
Вышла переработанная версия программы Partscaster — инструмента для правки нейротреков. Разработчик собрал отзывы после первой статьи и представил обновление; проект ранее назывался yue-studio. На сайте опубликованы примеры «было/стало», код доступен в репозитории на GitHub.
Главное техническое изменение — отказ от движка генерации на PyTorch в пользу yue2.cpp, отдельной реализации модели YuE2 на C++ с использованием GGML (по аналогии с llama.cpp для текстовых моделей). Веса переведены в формат GGUF и сжаты до разной точности, предусмотрен собственный сервер. Поводом стали отзывы пользователей с видеокартами на 8 ГБ: прежний движок на PyTorch занимал около 11 ГБ. Теперь модель Q8 занимает около 8 ГБ, в экономном режиме — около 4,5 ГБ; модель подбирается по объёму видеопамяти при установке, выбрать можно любую. Работоспособность проверена на RTX 4060 с 8 ГБ.
Partscaster заменяет барабаны нейротрека сэмплами настоящих — бочкой, малым, хэтом, тарелками и томами, каждый удар получает своё место и силу. В пресетах есть «барабанщик», который перед сменой частей песни делает сбивку, поскольку YuE2 почти не играет томы и сбивки. Бас также заменяется сэмплами настоящего баса по нотам исходной партии, а для электроники доступны драм-машины 808, 909, Linn, CR-78 и Simmons. С гитарой сложнее: разделение трека на дорожки плохо выделяет её даже у лучшей модели RoFormer, поэтому появился «гитарист по аккордам» — он играет новую партию по аккордам трека, приемлемо работает с нейлоном или полуакустикой и умеет записывать второй дубль, что делает звук шире. Заменить гитару нейротрека один в один пока не выходит.
Обновление важно прежде всего пользователям с видеокартами на 8 ГБ, которые раньше не могли запустить движок, и тем, кто работает с открытой моделью YuE2: разработчик называет её одной из сильнейших открытых моделей генерации музыки. По замерам самих авторов модели, на 192 песнях YuE2 обходит открытые LeVo 2, ACE-Step 1.5 и SongBloom и держится рядом с Suno; независимого сравнения разработчик Partscaster не нашёл, поэтому это оценка авторов YuE2. Partscaster при этом позиционируется не как генератор трека, а как средство собрать его и довести до результата, отличного от нейротрека.
Категория: Технологии
Теги: #Технологии #Tech #IT #Искра