Алгоритм HARP, созданный в МФТИ, улучшает качество экстремально сжатых языковых моделей. Метод позволяет моделям уровня Llama и Qwen работать в два раза быстрее, теряя при этом меньше информации, чем при стандартном подходе. Препринт исследования опубликован на arxiv.org, код HARP выложен в открытый доступ на GitHub, а готовые сжатые модели опубликованы на Hugging Face.
Большие языковые модели (LLM) требуют огромных вычислительных ресурсов. Их запуск упирается в пропускную способность памяти. Чтобы сжать их, ученые используют квантование — значения их весов представляют меньшим числом бит. Чем сильнее сжатие, тем выше риск потерять точность. Особенно это заметно при агрессивном сжатии, когда возникает проблема «выбросов»: несколько аномально больших значений весов портят статистику, и модель начинает хуже понимать текст.
Новый алгоритм HARP борется с этой проблемой. Перед квантованием он подбирает для каждого слоя модели собственную систему координат — такую, в которой значения лучше подходят для последующего сжатия. В основе метода лежат структурированные ортогональные повороты — математические преобразования, которые меняют способ представления данных, но не меняют саму модель.
«Когда вы поворачиваете фотографию, изображение остается тем же, меняется только угол зрения. Похожий процесс происходит и при сжатии нейросети. Эти преобразования обратимы, поэтому модель не теряет информацию. Алгоритм HARP использует не сплошные, а структурированные повороты — они состоят из множества маленьких блоков. Это позволяет применять их быстро и хранить без больших затрат памяти, в отличие от полных матриц поворота, которые для больших моделей заняли бы слишком много места», — рассказал Артур Загитов, инженер-исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ.
HARP не заменяет существующие методы квантования, а работает поверх них. В начале калибровки он полностью совпадает со стандартным преобразованием, которое уже используется в этих пайплайнах. Затем HARP аккуратно подстраивает повороты под конкретный слой модели и выбранный метод сжатия. Это позволяет улучшать качество модели и сохранять ее структуру.
Алгоритм проверили на моделях разного масштаба. В экспериментах на Llama 2–70B и Qwen3-8B алгоритм стабильно улучшал показатели относительно, стандартного подхода. При самом жестком 2-битном сжатии ошибка снизилась на 12–15%. Преимущество модели подтвердилось во время тестов с вопросами и вариантами ответа.
Скорость работы при сжатии модели почти не пострадала: HARP сохраняет 90% скорости стандартного сжатия и работает примерно в 2,1 раза быстрее полной версии.
«Когда мы говорим о скорости, важно разделять два этапа. HARP требует некоторого времени на настройку, потому что подбирает оптимальные преобразования для каждого слоя модели. Зато после сжатия модель работает быстрее и занимает гораздо меньше памяти. При этом нам не нужно заново обучать всю нейросеть, достаточно провести дополнительную калибровку», — прокомментировал Глеб Молодцов, старший исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ.
Метод также проверили на другом бэкенде для сжатия — QTIP. HARP улучшил результаты и там. Это значит, что метод универсален и не привязан к одному конкретному алгоритму квантования.
Сейчас HARP применяется к квантованию весов модели и уже доступен к использованию. В будущем ученые планируют исследовать алгоритм и к другим компонентам инференса.
