Физтехи разработали SimplexLoRA — метод дообучения больших языковых моделей, который автоматически определяет наиболее важные слои нейросети и направляет на их настройку больше ресурсов. Подход повышает качество моделей без увеличения ресурсов и не создает дополнительной нагрузки при их последующем использовании. Статья представлена на ведущей конференции по анализу текстовых данных EMNLP 2026 в Будапеште в октябре.
Большие языковые модели редко обучают заново для каждой отдельной задачи. Это требует огромных вычислительных ресурсов, времени и памяти. Вместо этого разработчики применяют методы параметрически эффективного дообучения с помощью небольших дополнительных модулей — адаптеров. LoRA — один из самых распространенных методов такого типа.
Этот подход позволяет быстро приспособить универсальную модель к анализу текстов, ответам на вопросы, решению математических задач и другим сценариям. Однако есть ограничение: адаптеры обычно имеют одинаковый размер во всех слоях нейросети. При этом разные слои модели неодинаково влияют на результат — одним для освоения новой задачи требуется больше ресурсов, другим достаточно меньшего объема.
Ученые МФТИ совместно с исследователями из «Т-Технологий» представили новый способ, который может увеличивать или уменьшать адаптер в зависимости от того, что было выучено в начале обучения. Исследователи предложили распределять фиксированный бюджет между слоями автоматически. Разработанный ими метод SimplexLoRA в начале дообучения оценивает, каким участкам нейросети необходимы более крупные адаптеры, а каким можно назначить меньшие. Общий объем обучаемых параметров при этом не меняется: алгоритм не добавляет новые ресурсы, а перераспределяет уже имеющиеся, в отличие от существующих методов адаптивного распределения ресурсов, которые часто усложняют процесс обучения, увеличивают число параметров или требуют дополнительных вычислений во время работы модели. Обучение происходит поэтапно: распределение ресурсов, далее стандартное LoRA обучение с новыми размерами.
«Вместо того чтобы назначать всем слоям одинаковые адаптеры, мы позволяем модели определить, где ограниченный бюджет параметров принесет наибольшую пользу. Особенно заметный эффект возникает при небольших рангах, когда каждый обучаемый параметр имеет значение», — объясняет Александр Безносиков, соавтор исследования и научный руководитель лаборатории BRAIn Lab.
Эффективность метода проверили на 12 задачах, среди которых анализ эмоциональной окраски текста, ответы на вопросы, математические рассуждения и автоматическое реферирование. В экспериментах использовались четыре языковые модели разного размера, включая Llama 3.1 8B и Qwen3-8B.
Новый метод также показал устойчивость к выбору настроек. По данным авторов, для получения стабильных результатов разработчикам не требуется проводить длительный поиск оптимальных параметров: в большинстве случаев достаточно рекомендованных в работе значений.
«SimplexLoRA сохраняет главные практические преимущества стандартного LoRA: небольшой объем обучаемых параметров, простоту интеграции и отсутствие дополнительных вычислений при использовании модели. При этом ресурсы распределяются с учетом реальной значимости отдельных слоев для конкретной задачи», — отмечает Андрей Веприков, один из авторов статьи, научный сотрудник лаборатории BRAIn Lab.
Метод может быть полезен при настройке языковых моделей в условиях ограниченной вычислительной мощности — например, когда разработчики располагают небольшим объемом видеопамяти или должны минимизировать стоимость обучения. Благодаря совместимости со стандартным LoRA подход можно внедрять в существующие системы без существенной переработки программного кода.
Исходный код SimplexLoRA опубликован в открытом доступе.
