🤖 TokenRouter: непрерывная маршрутизация LLM по токенам
Опубликован разбор системы TokenRouter — Efficient Serving System for Token-Level LLM Routing, предназначенной для обслуживания инференса LLM с маршрутизацией на уровне токенов. В основе системы лежит принцип «программирование с точки зрения запроса, исполнения с точки зрения модели»: разработчик описывает логику маршрутизации для одного запроса, а рантайм запускает отдельный субсервер для каждой LLM и асинхронно распределяет запросы между ними.
Маршрутизация LLM перераспределяет запросы между разными моделями, сдвигая границу Парето «стоимость–качество» обслуживания. В продакшне давно применяют маршрутизацию на уровне сессии или запроса, однако, по утверждению многих исследователей, заметный выигрыш и по эффективности, и по качеству дает именно маршрутизация на уровне токенов. При этом технические запросы — расчет гармоник, разбор спецификаций, интерпретацию стандартов — лучше поручать специализированной модели, которая уверенно работает с формулами и таблицами, а общие — универсальной.
Токен-уровневая маршрутизация создает трудности для существующих систем. Во-первых, это десинхронизация шагов: разные LLM сильно различаются по времени на один шаг декодирования, и в синхронном батче каждый шаг ждет самую медленную модель, а быстрые простаивают. Во-вторых, задержка допуска в батч: из-за частых переключений моделей запрос попадает к целевой модели, когда та еще обрабатывает предыдущий батч, в расписании появляются простои, а батчи дробятся на мелкие. В-третьих, сложность реализации: текущие системы не дают интерфейса для решений о маршрутизации на каждом шаге, а логику маршрутов нужно согласовывать с непрерывным батчингом и кэшированием префиксов.
TokenRouter решает эти проблемы через асинхронное исполнение и планировщик с отложенным батчингом, который копит запросы и запускает их вместе, чтобы снизить среднюю задержку. Алгоритмы маршрутизации реализуются через интерфейс route-send-receive: запрос приходит на входную модель, где выполняется декодирование, после прямого прохода роутер решает, должен ли запрос продолжиться локально или быть передан другой модели; при делегировании текущая модель собирает необходимый контекст, такой как последние сгенерированные токены, и отправляет его целевой модели, которая продолжает декодирование и повторяет тот же процесс.
В экспериментах на разных алгоритмах маршрутизации, нагрузках и парах моделей TokenRouter обгоняет существующие системы по пропускной способности декодирования во много раз. Для клиента система выглядит как обычный сервер с одной LLM, а вся сложность обслуживания маршрутизации остается на рантайме, который сам оптимизирует исполнение между моделями и планирует батчи.
Категория: ИИ
Теги: #ИИ #AI #Нейросети #Искра