Алгоритм SG-Safe, созданный в МФТИ, научит складских роботов и беспилотные автомобили добираться до цели в сложной обстановке без столкновений. В симуляциях он достигал цели в 90% случаев при аварийности всего 3% — это в 17 раз меньше, чем у одного из лучших существующих подходов. При этом решения принимаются в десять и более раз быстрее, потому что системе не нужно строить маршрут на ходу. Исследование опубликовано в журнале Technologies.
При передвижении в коридорах склада робот должен избегать множества препятствий. Чем сложнее маршрут, тем больше вариантов движения ему приходится исследовать.
Рискованные действия могут привести к столкновениям, и если алгоритм слишком осторожен, он может начать избегать ошибок. В итоге робот просто остановится, так и не достигнув цели. Особенно часто эта проблема проявляется на длинных маршрутах с препятствиями, несколькими поворотами и ограниченным пространством для маневрирования.
Ученые МФТИ придумали решение, которое заставляет робота быть смелее во время тренировок — систему SG-Safe. Она разбивает сложную задачу навигации на более короткие этапы. Для этого система генерирует промежуточные подцели и с их помощью направляет обучение машины к конечной цели.
«SG-Safe меняет принцип исследования среды. Вместо того чтобы пытаться сразу найти путь до далекой цели, робот сначала учится достигать простых и понятных ориентиров. Это позволяет ему накопить опыт безопасного движения, не пасуя перед неопределенностью из-за риска совершить ошибку», — рассказал Александр Панов, директор Центра когнитивного моделирования ИИИ МФТИ.
Система реализует две связанные стратегии. Первая предлагает промежуточные подцели. Она подсказывает, куда стоит попробовать попасть в первую очередь, чтобы в итоге освоить весь путь. Вторая отвечает за безопасное поведение и использует эти подцели, чтобы направлять исследование окружающего пространства.
Подсказки от первой стратегии нужны только на этапе тренировки. Когда обучение заканчивается и робот приступает к реальной работе, в его системе управления остается уже отточенная программа безопасного движения. Потому робот принимает решения практически мгновенно, минуя сложные вычисления. Для сравнения, алгоритмы, которые строят маршрут на ходу, тратят на это от 10 до 30 секунд при каждом шаге.
Эффективность SG-Safe проверили с помощью компьютерной симуляции, включая тест, имитирующий движение автомобиля по лабиринту узких коридоров с крутыми поворотами (POLAMP).
SG-Safe успешно достигал цели в 90% случаев, в то время как другие методы обучения с подкреплением часто впадали в ступор. Используя только данные с сенсоров, алгоритм принимал решения в десять и более раз быстрее аналогов, которые строят маршрут на ходу. Аварийность составила всего 3% — это в 17 раз меньше, чем у одного из лучших существующих подходов.
«Используя наш метод обучения, робот-погрузчик сможет маневрировать между стеллажами, а беспилотный автомобиль — аккуратно проезжать узкие дворы и парковки. Испытания показали: когда число препятствий растет, алгоритм не теряет точность и по-прежнему редко ошибается», — рассказал Григорий Горбов, младший научный сотрудник Центра когнитивного моделирования ИИИ МФТИ, аспирант МФТИ.
Несмотря на то, что SG-Safe показывает отличные результаты в симуляциях, формальных гарантий безопасности в любых условиях он пока не дает. Поэтому в планах команды — упростить архитектуру системы и изучить возможность переноса этой технологии из компьютерных симуляций на реальных роботов.
