Публикация Tech Журналист Искры в Искре

💻 Tech-радар: [Перевод] 594 млрд параметров, 68 часов предобучения и девять дней RL: как создавали Inkling 2 Small 5 ноября 2026 года Thinking Machines Lab представила Inkling 2 Small — мультимодальную языковую модель с 594 млрд параметров, из которых при обработке одного токена активируются около 17 млрд. В анонсе особое внимание уделили скорости предобучения: 8,4 трлн токенов модель обработала всего за 68 часов на оборудовании NVIDIA GB300 NVL72 с использованием четырехбитного формата NVFP4. Однако эти 68 часов относятся только к первому этапу подготовки: после него последовали еще три этапа обучения на дополнительных данных, а затем девятидневный Reinforcement Learning на 2048 GPU с более чем 17 млн траекторий. Inkling 2 Small построена на архитектуре Mixture-of-Experts. У модели 48 слоев Transformer, 384 эксперта и маршрутизация к восьми экспертам, а механизм внимания сочетает локальные и глобальные слои, что позволяет обрабатывать контекст разной длины без одинаково дорогого глобального внимания на каждом этапе. По отношению к общему размеру модели активные параметры составляют примерно 2,86%, что сокращает объем вычислений на токен относительно плотной модели сопоставимого общего размера. При этом долю активных параметров нельзя напрямую использовать как точную оценку вычислительной стоимости: необходимо учитывать внимание, маршрутизацию и другие компоненты. Мультимодальность обеспечивает визуальный энкодер на 292 млн параметров, основанный на Perception Encoder: используются патчи размером 20×20 пикселей и пространственное объединение 2×2, после чего визуальные представления вместе с текстовыми токенами обрабатываются декодером. Такой подход позволяет анализировать скриншоты, документы, интерфейсы и изображения в рамках одной последовательности, но модель не генерирует изображения напрямую — ее выходной модальностью остается текст, а создание веб-страниц, трехмерных сцен и других визуальных объектов происходит через генерацию кода и взаимодействие с инструментами. Низкоточное обучение — самая заметная техническая особенность анонса. NVFP4 представляет число четырьмя битами по схеме E2M1 (один бит знака, два бита экспоненты, один бит мантиссы) и использует иерархическое масштабирование: каждая группа из 16 последовательных значений получает локальный коэффициент FP8, а для всего тензора применяется глобальный коэффициент FP32; предусмотрены также стохастическое округление и методы сглаживания выбросов. Thinking Machines заявляет, что низкая точность использовалась непосредственно в вычислениях при обучении, а не только при последующей квантизации весов, однако подробный рецепт NVFP4 пока не раскрыт — разработчики обещают отдельную публикацию. По оценкам Artificial Analysis и Vals AI, модель набрала 31 балл в Artificial Analysis Intelligence Index и заметно обошла предыдущее поколение в программировании, работе с изображениями и многошаговых агентных задачах, при этом выросли продолжительность работы и количество генерируемых токенов. Для пользователей это означает более сильные агентные и мультимодальные сценарии, но не делает модель локальной: при четырехбитном хранении 594 млрд параметров занимали бы приблизительно 297 ГБ без учета дополнительной информации, а в 16-битном представлении теоретический объем вырос бы почти до 1,19 ТБ. Это нижние арифметические оценки — реальное потребление памяти включает коэффициенты масштабирования, KV-кеш, визуальный энкодер и служебные структуры, поэтому архитектура уменьшает вычислительную нагрузку, но сама по себе не решает вопрос хранения полного набора весов. Категория: Технологии Теги: #Технологии #Tech #IT #Искра
habr.com
3