Специалисты из Института системного программирования им. В.П. Иванникова РАН, МФТИ и Центра практического искусственного интеллекта Сбербанка представили исследование, которое может значительно ускорить обучение распределенных и федеративных моделей машинного обучения. Работа «Ускоренные методы со сжатыми коммуникациями для гомогенных задач распределённой оптимизации» принята на крупную международную конференцию AAAI’25 (Association for the Advancement of Artificial Intelligence).
Современные вызовы в области искусственного интеллекта (AI) требуют извлечения сложных зависимостей из больших объемов обучающих выборок. Сегодня, нейросетевые модели содержат миллиарды параметров, повышая интерес к распределенным постановкам, в которых для ускорения процесса обучения данные разделены между тысячами машин. В таком сценарии, основная часть времени обучения тратится на обмен информацией между устройствами. При этом, если коммуникации организованы неэффективно, распределенный подход может оказаться даже медленнее чем классический централизованный.
Основная идея исследования — сокращение времени, которое тратится на обмен данными между устройствами в распределённых системах обучения больших AI-моделей. За счёт использования гомогенности локальных выборок и сжатия передаваемой информации метод позволяет реже синхронизировать устройства и передавать меньше данных при общении, не теряя в качестве модели. Это особенно важно для задач, где пропускная способность соединения ограничена, а задержки в передаче данных замедляют процесс обучения.
Разработка найдёт применение в компаниях, использующих распределённое обучение, — от финансового сектора до телекома и промышленности. Метод сокращает затраты на вычислительные ресурсы и ускоряет внедрение AI-моделей на практике. Он открывает путь к более эффективным алгоритмам и более динамичному развитию AI-технологий.
Александр Безносиков, директор Исследовательского центра агентных систем искусственного интеллекта МФТИ:«Нашей целью было объединить современные подходы к эффективным коммуникациям — ускорение, сжатие и учёт похожести данных — в единый алгоритм с чёткими теоретическими гарантиями. Для смещенных компрессоров построен алгоритм, имеющий рекордную коммуникационную сложность за счет правильной адаптации фреймворка компенсации ошибки к ускоренной схеме с локальными шагами. Проведенная нами эмпирическая валидация показывает, что при правильной настройке методов можно радикально сократить время обучения без потерь в точности. Это особенно важно для практического внедрения искусственного интеллекта в ограниченных по ресурсам средах, таких как сети с edge-устройствами».
Глеб Гусев, директор Центра практического искусственного интеллекта Сбербанка:«Исследование решает ключевую проблему распределённого обучения — коммуникационные издержки. Мы показали, как использовать гомогенность данных в сочетании с техниками сжатия для снижения нагрузки на сеть за счет более редкого обмена информацией сервера с устройствами. Такой подход не только ускоряет процесс обучения больших AI-моделей, но и сокращает энергозатраты. Наша работа открывает новые возможности для масштабирования искусственного интеллекта и будет полезна организациям, которые работают с большими распределёнными системами. В будущем такие методы помогут сделать AI-технологии более доступным и эффективным».
