🤖 Линейное внимание может больше
Студенты мастерской по сервисам и платформам ИИ Инженерно-математической школы НИУ ВШЭ и VK — Павел Алексеев, Александр Рожкин, Андрей Аргаткин, Алексей Павлов и Матвей Каменев — представили проект, посвящённый повышению качества моделей с линейным вниманием до уровня обычного трансформера. Отправной точкой исследования стала архитектура Dense Attention: она использует простые матричные операции без softmax, но в опубликованных экспериментах показывает высокое качество. Новое направление исследования задал руководитель авторов Андрей Аргаткин в статье о Dense Attention.
Тема важна для пользователей ИИ потому, что стандартное self-attention имеет квадратичную вычислительную сложность относительно длины последовательности, а линейное внимание (Linear Attention) позволяет снизить сложность до линейной при фиксированных размерностях признаков и значений. Это делает подход перспективным для более экономного обучения языковых моделей и обработки длинных документов. При авторегрессионной генерации текста линейное внимание помогает экономить память: вместо растущего KV-cache можно хранить состояние фиксированного размера.
Рабочая гипотеза авторов состоит в том, что линейные модели отстают по качеству не только из-за замены softmax, но и из-за архитектурных настроек и обучения: число голов, позиционное кодирование и схема слоёв, подобранные для стандартного трансформера, не обязательно оптимальны для линейного механизма. В экспериментах на Pathfinder32 из набора Long Range Arena (LRA) они проверяют изменение этих компонентов и MLM-предобучение без возврата к глобальному softmax-вниманию, а также чередование локальных и глобальных слоёв, гибридное и полиномиальное внимание. Цель — повысить качество линейных моделей до уровня трансформерных моделей с квадратичной сложностью внимания или превзойти их, сохранив линейную вычислительную сложность по длине последовательности.
Отдельное внимание в работе уделено позиционному кодированию: сравниваются фиксированное синусоидальное кодирование, обучаемые позиционные эмбеддинги и Rotary Position Embedding (RoPE). Поскольку нелинейная feature map может изменить зависимость позиционной части скалярного произведения от разности индексов токенов, для Linear Transformer авторы дополнительно проверяют, как порядок применения RoPE и feature map влияет на качество. Механизмы линейного внимания поддерживают как двунаправленный, так и каузальный режим: в двунаправленном представление каждого токена строится с учётом полного контекста, а для авторегрессионной генерации вводится ограничение, при котором токен учитывает только текущую и предыдущие позиции.
Категория: ИИ
Теги: #ИИ #AI #Нейросети #Искра