💻 Tech-радар: Энтузиаст запустил DeepSeek-V4-Flash на ПК без видеокарты
Энтузиаст опубликовал проект llama-modchip под лицензией Apache 2.0: это набор патчей для ядер ggml/llama.cpp, инструменты квантования и скрипты, которые позволяют запускать разреженные MoE-модели прямо на процессоре. По утверждению автора, модель DeepSeek-V4-Flash с 284 млрд параметров, из которых активны 13 млрд, работает на машине с 64 ГБ оперативной памяти — без видеокарты и без свопа.
Замеры проводились на 16-ядерном процессоре Ryzen 9 9955HX. Пиковое потребление памяти составило около 58 ГБ при контексте 256 000 токенов, префилл («прочтение» запроса) шёл со скоростью 44 токена в секунду, а генерация — от 9 до 15 токенов в секунду. Секрет в двух приёмах: архитектура MoE, где на каждый токен работает лишь 13 млрд из 284 млрд параметров, и агрессивное квантование маршрутизируемых экспертов до 1,56 бита на вес по схеме IQ1_S вместе с собственным форматом файлов. 284 млрд весов по полтора бита с небольшим дают чуть больше 50 ГБ, что и позволяет уложиться в 64 ГБ.
Важная оговорка: слово «lossless» в README автора означает лишь то, что логиты совпадают с непропатченной сборкой на тех же квантованных весах. С полноточной моделью сравнения не было, а при 1,56 бита на вес потеря качества почти наверняка есть — вопрос только в её размере. Все цифры получены самим автором, независимых повторов пока нет, а квантованные файлы не открываются в обычных llama.cpp, Ollama и LM Studio: нужна именно сборка проекта.
Для пользователей это означает, что модели уровня фронтира прошлого года потенциально могут работать на домашних ПК и серверах без дорогих GPU — при условии, что результаты подтвердятся. Для рынка это важно на фоне роста спроса на HBM и DRAM и не лучших времён для рынка памяти и видеокарт: если такие сборки подтвердятся, локальный инференс уйдёт с дорогих ускорителей на обычное железо.
Категория: Технологии
Теги: #Технологии #Tech #IT #Искра