«Мы вернулись в эпоху, когда машинное время стоит дороже, чем время людей»

Зачем Google разрабатывает атомную программу, сколько миллионов стоит обучение языковой модели, можно ли заставить нейросеть врать и кого машина с автопилотом в случае аварии собьет скорее всего? Об этом мы поговорили с Сергеем Марковым, управляющим директором и начальником управления экспериментальных систем машинного обучения департамента общих сервисов «Салют» «Сбера», одним из ведущих российских экспертов в области нейросетей, разработчиком сервисов Kandinsky и GigaChat.

— Иногда на профильных конференциях можно услышать мнение, что сегодня лидер в развитии ИИ — Китай. Но это кажется не очень очевидным, учитывая, что громкие новые продукты по-прежнему выпускает США.

— Тут возникает вопрос: в чем измерять успех? Можно — в количестве публикаций, или в количестве обученных моделей, или в метриках этих моделей. В зависимости от выбора «линейки», победитель получится разный. В целом в Китае сегодня наука на мировом уровне, и темпы ее развития впечатляют. Потому что западная наука — прежде всего наука индустриальной эпохи с большой историей. Китай же еще 60–70 лет назад был абсолютно незаметен на мировой научной карте, а сегодня он претендует на лидерские позиции во многих направлениях. По некоторым показателям, например по числу публикаций в области машинного обучения, Китай выходит на первое место в мире. У них есть свои аналоги ChatGPT, есть ряд моделей для генерации видео по тексту. Кстати, если говорить об OpenAI и их модели SORA, о которой было громко заявлено, то ее до сих пор никто, кроме избранных, не видел. А китайские модели доступны широкому кругу людей. Например, в соцсетях мы в подавляющем большинстве случаев видим видео, сгенеренные при помощи китайских моделей. А так — у них несколько генеративных чат-сервисов, которые по ряду метрик приближаются к возможностям GPT-4, а в некоторых задачах ее обходят. Но в силу того что китайское медиапространство для нас оказывается более закрытым, просто потому что знатоков английского гораздо больше, чем знатоков китайского, нам кажется, что весь прогресс происходит на Западе. На самом деле это не так.

— Генеративный интернет — удовольствие не дешевое. По некоторым оценкам, стоимость обучения GPT-3 составила почти $5 млн. Из чего эта сумма складывается? Что для компании самое дорогое и затратное в обучении языковой системы?

— Сумма складывается из трех основных компонентов. Во-первых, стоимость оборудования. Речь идет о высокопроизводительных тензорных вычислительных устройствах, проще говоря, о суперкомпьютерных кластерах. Это составляет примерно половину всей суммы. Основные узлы соединяется сверхбыстрой сетью, стоимость которой тоже существенная. Оборудование сейчас стоит дорого просто потому, что на электронику огромный спрос, потому что успехи в области генеративного ИИ подталкивают к росту инвестиций в эту область, сейчас все хотят строить суперкомпьютерные кластеры. Но помимо расходов на «железо» еще есть расходы на электроэнергию, которые очень и очень значительные. Не случайно в этом году Google развернул целую атомную программу. И вообще, скоро энергетика станет одним из важных лимитирующих факторов в развитии вычислительных кластеров. Кстати, у России здесь определенные преимущества, в частности своя атомная энергетика и атомные технологии, которые позволяют эту энергетику масштабировать. И третья статья расходов — зарплата специалистов, которые занимаются инженерией данных и машинным обучением. 

— Вот это, наверное, обходится дороже всего?

— В отличие от 2000-х годов, уже нет. Мы снова оказались в парадигме, когда машинное время стоит дороже, чем время работающих людей. Это выглядит как пример действия закона отрицания отрицания — мы в каком-то смысле вернулись в эпоху больших компьютеров, в 1960-е годы, когда академик Ершов спорил с профессором Кронродом насчет языков высокого уровня. Ершов был поклонником языка алгол, а Кронрод говорил: «Вы не то оптимизируете!» Тогда час работы машины стоил примерно столько же, сколько составляла месячная зарплата оператора. И мы наблюдаем ренессанс проблем, свойственных суперкомпьютерам. Так что в целом больше всего стоит «железо» и инфраструктура. 

— Если подумать, человечество прошло колоссальный интеллектуальный путь для того, чтобы создать нейросети в том виде, в каком они существуют сейчас. Вас не удручает то, как они используются чаще всего? Для какой-то ерунды? 

— Вообще нет. Если бы таких «несерьезных» применений не было, то и технологии не развивались так быстро. Потому что люди удовлетворились бы тем, что есть. Повесил занавеску в пещере — и все, жизнь хороша. Но людям хочется чего-то нового, они не удовлетворяются тем, что у них есть. Представьте: современный мобильный телефон в 50 млн раз быстрее, чем компьютер, который доставил человека с Земли на Луну. Если бы наши аппетиты не росли, мы бы посчитали все, что хотели, и успокоились бы… Но оказывается, что этим вычислительным мощностям находится применение. Технологии — это не игра с нулевой суммой. По мере роста наших возможностей растут и наши «хотелки». Какие-то из них не очень серьезные, да. Но если взглянуть на нашу жизнь с точки зрения человека из каменного века, то мы в принципе занимаемся чем-то несерьезным.

— Если говорить про Россию, каким образом нам нужно развивать области, связанные с ИИ, учитывая санкции, ограниченные ресурсы и все остальные проблемы, которые сегодня принято называть точками роста?

— Развитие должно быть многовекторным. Вообще, наука устроена так, что если ты знаешь, где тебя ждет успех, это уже не совсем наука, а скорее инженерия. Понятно, что наша точка роста — оборудование. У нас нет своей продвинутой электроники. У нас есть сложности с импортом, которые, впрочем, удается преодолевать. Как мы должны реагировать на этот вызов? Во-первых, век классической электроники не бесконечен, и скоро ей на смену придут другие устройства. Что придет ей на смену, мы пока не знаем, но здесь у России есть возможность «срезать на повороте». Если мы угадаем направление, то на старте инвестиции обычно требуются более скромные. Но для того чтобы выбрать правильно, нужна экспертиза, хорошая экспериментальная база и исследовательские кадры. В принципе, с последним у нас как раз неплохо, учитывая наследие советской математической и физической школ.

— Вы ощущаете, что еще что-то осталось? 

— Конечно. Люди, которые вышли из этой школы, по-прежнему преподают в ведущих вузах страны. Понятно, что наследие это износилось, особенно в 90-е годы, но средний уровень преподавания математики и физики в лучших российских вузах соответствует топовому уровню, а где-то может рождать жемчужины.

— А что можно сделать со старым оборудованием, которое тоже износилось?

— Нужно извлекать из него больше пользы, создавать более совершенные алгоритмы, которые будут то же самое железо использовать более эффективно. Прогресс в алгоритмах есть во всем мире. Не так давно Леопольд Ашенбреннер написал статью, которая всех перебаламутила, о том, что китайская компартия — средоточие зла (речь о статье, посвященной рискам ИИ, в котором Л. А. утверждает, что сильный ИИ даст преимущество авторитарным властям, а именно: коммунистической партии Китая. — ред. https://situational-awareness.ai/). И там он, опираясь на опыт OpenAI, рассуждает, как развивались технологии обучения больших языковых моделей за последние несколько лет. Он показывает, что выросли как вычислительные мощности, их объем, так и эффективность их использования. И каждый из этих двух факторов вносил половину десятичных порядков роста в год. Получается, что за год мы в 10 раз увеличивали возможности в обучении больших языковых моделей.

Соответственно, когда вы не можете быстро наращивать первый фактор, нужно наращивать второй. Но для этого придется в некотором смысле «перепридумать» исследовательскую инженерную деятельность в этой области, поставить ее на масштабные промышленные рельсы. Нам нужно противопоставить огромную инновационную машину тому, что делают небольшие лаборатории во всем мире, когда усилиями отдельных талантливых одиночек создают прорывные технологии. Так в истории уже было: когда СССР во время Великой Отечественной столкнулся с превосходящим его технологически противником, а европейская промышленность с точки зрения технологических возможностей превосходила советскую, этому смогли противопоставить огромные масштабы производства и логистики. Построили «красную машину», которая перемолола Вермахт. Здесь тоже возможен такой подход — нужен конвейер инноваций.

— Интересно, на каком уровне должно это реализовываться? На уровне одной компании или это должен быть какой-то консорциум?

— Если говорить об области ИИ в России, то у нас есть несколько интеллектуальных центров. В первую очередь это крупные корпорации — «Сбер», «Яндекс», ведущие вузы страны — МФТИ, НИУ ВШЭ, МГУ, ИТМО. Они сейчас основные, в рамках которых эти технологии развиваются. Наверное, в краткосрочной перспективе они и должны быть местами формирования этих инноваций. 

— Откуда сегодня в области ИИ берутся гении? Кто это? Математики? Физики-теоретики? Кто сегодня продвигает науку?

— Если посмотреть на социологию людей, которые сейчас работают в России в сфере ИИ, большая часть из них — выходцы из крупных вузов, но на самом деле есть люди, которые учились не в самых престижных учебных заведениях. Я, например, не могу похвастаться дипломом престижного московского вуза. У меня два высших образования, ОрелГТУ — Орловский государственный технический университет, ныне объединенный с местным педагогическим вузом. А второе высшее — Орловская региональная академия государственной службы и аспирантура при кафедре высшей математики в ОрелГТУ. Но я стал заниматься программированием задолго до поступления в институт. Я «олимпиадный программист». 

— Просто у вас это семейное. У вас папа тоже программист…

— Да, папа сейчас не особо программирует, но я продолжаю IT-традицию, да. Мой старший сын тоже занимается программированием, хочет поступать на IT-специальность. 

— Как вам это стало интересно? Это же тогда не было модно. 

— Да, тогда этим никто не занимался. Отец привел меня на работу, показал компьютер. Вначале я начал играть, потом он, посмотрев на это, сказал, что можно самому делать игры. Я загорелся этой идеей, начал программировать. А дальше пошло само собой. 

― Кого вы считаете своим научным предшественником в вашей области, кто у вас в научной биографии ваш учитель? 

― Одного, конечно, трудно назвать, есть много людей в истории науки, которые вызывают восхищение и желание равняться на них. Среди отечественных ученых — Алексей Ивахненко, Александр Галушкин, среди зарубежных — Фрэнк Розенблатт, Уоррен Маккаллок, Уолтер Питтс, много кто еще. Из более поздних: Хинтон, Шмидхубер, Бенджио — тоже достойные люди. Одного какого-то нет. 

― А с кем вы лично общались, и кто на вас особенно повлиял? 

― Я довольно много общаюсь со специалистами из своей области: с Мишей Бурцевым, Таней Шавриной, которая раньше работала у меня в команде, а сейчас на Западе обучает LLaMA. Константин Воронцов, Александр Гасников, ученые смежных областей — недавно интересно и продуктивно общался с Алексеем Семихатовым. С Александром Яковлевичем Капланом, который стал научным редактором моей книги. Боюсь, что кого-то не вспомню. У нас есть очень много интересных ученых.

— Кого вы могли бы назвать из IT-индустрии значимыми людьми в мировом масштабе? Это люди с профильным образованием?

— Среди заметных фигур обычно выходцы из хороших мировых вузов: MIT, Стэнфорд, Кембридж, Сингапурский национальный университет, Университет Цинхуа. Но все равно история каждого человека индивидуальная. И не всегда «говорящая голова», известная в медиапространстве, по факту более значима, чем какой-нибудь разработчик. Так, мне симпатичны Дарио Амодеи и Дэмис Хассабис, которые кажутся наиболее глубокими людьми из публичных. Есть несколько крупных ученых, которые создали вокруг себя школы. Это и Джеффри Хинтон, это Йошуа Бенджио, Юрген Шмидхубер. Многие их аспиранты стали ведущими специалистами в области машинного обучения. И порой дело даже не в конкретных вузах, в которых они преподают. Бенджио преподает в Канаде не в самом престижном мировом вузе, но на кафедре под его началом очень много трудится талантливых ребят. Поэтому помимо уровня самого вуза важен еще уровень конкретных кафедр и преподавателей. У нас также, кстати. Например, всегда хорошо видны ученики Константина Воронцова, Дмитрия Ветрова, Ивана Оселедца, Евгения Бурнаева и других выдающихся отечественных ученых в области глубокого обучения.

― Сегодня то и дело в публичном поле появляются призывы, в том числе от медийных личностей, если не остановить развитие ИИ в принципе, то хотя бы ограничить обучение нейросетей. Как вы думаете, с чем это связано? 

― Мы живем в мире с немного патологичным медиапространством, где пресса постоянно борется за внимание людей, а как можно привлечь внимание? Напугать или разозлить. Думаю, дело в этом.

― Мне понравилась ваша идея в книге «Охота на электроовец. Большая книга искусственного интеллекта», отсылающая еще во времена Ветхого Завета, и постулирующая антагонизм творца и творения.

― Да, этим страхам очень много лет, и они в той или иной форме известны нам со времен античности. Ларец несчастий, истории про голема… и так далее. В целом они, наверное, отражают определенные противоречия в нашем обществе: при любом технологическом прогрессе есть его бенефициары и аутсайдеры — те, кто страдает в результате этого прогресса. Ты учился полжизни ткать ковры, и тут появляется промышленник с жаккардовым ткацким станком, то есть станком, который может без участия человека изготовить любой орнамент на ткани. Конечно, для многих людей это становилось личной катастрофой. Поэтому чисто эмоционально понять тех же луддитов можно. И это, наверное, вечная проблема. Развитие любых могущественных технологий, которые серьезно вмешиваются в привычный нам порядок жизни, потенциально несет за собой определенные риски и негативные последствия. И здесь важно, каким образом мы будем с этими рисками и последствиями иметь дело. Важно понимать, что возникает технологическая безработица, которую нужно компенсировать, нужны социальные меры поддержки людей, нужно доступное образование, программы по переподготовке этих людей и так далее.

― Технологическая безработица — риск пока теоретический. Мне кажется, что чаще боятся чего-то другого, например, что беспилотная машина сойдет с ума и собьет человека. Одного, кстати, в 2018 году уже сбила.

― Ну эту череду можно продолжить: промышленный робот покалечил рабочего, система выдачи кредитов вдруг перестала выдавать кредиты какой-то категории граждан. То есть последствий здесь может быть много, эти риски нужно выявлять, для управления ими нужны соответствующие подходы. И это не что-то принципиально новое: в свое время, столкнувшись с тем, что автомобили сбивают людей на дорогах, мы придумали систему сертификации, чтобы не допустить появление автомобилей с опасными дефектами. Мы придумали, как распределять ответственность при аварии, мы придумали страховые механизмы для возмещения ущерба. Так что если мы собираемся отправлять на дороги автомобили с автопилотом, мы должны контролировать их качество. 

― Продолжая разговор про беспилотные автомобили, расскажите, пожалуйста, про «машины морали». Что это за эксперимент? 

― Это нашумевшая работа Жана-Франсуа Бонфона, посвященная тому, что автомобиль, оснащенный автопилотом, может столкнуться с некоторыми этическими дилеммами. Например, едет автомобиль, и в этот момент на дорогу одновременно выскочили бабушка и подросток: кого задавить, если тормозить не успеваем? Или на дорогу выскочил человек, затормозить не успеваем, но успеваем въехать в отбойник, но тогда может погибнуть человек, который сидит в автомобиле. Кого выбрать? По сути, это классические этические загадки наподобие «проблемы вагонетки», только в новых условиях.

― То есть это реальные исследования, в которых люди принимают решения на каких-то симуляторах? 

― Да, задавшись вопросом о том, что нужна какая-то этика для пилотов, Бонфон стал исследовать, а как бы люди хотели, чтобы машины себя вели? Но внезапно выяснилось, что создать одну универсальную этическую систему невозможно, потому что слишком много особенностей. Например, есть региональные особенности: оказалось, в азиатских странах, выбирая между тем, кого сбивать — бабушку или ребенка, большая часть предпочтет сбивать ребенка, в европейских — ровно наоборот. 

― Как интересно в наших решениях прошит культурный код! 

― Да, но я хочу подчеркнуть: сама проблематика, конечно, очень интересна, но, если говорить конкретно о машинах с автопилотом, прикладного значения результаты Бонфона не имеют, потому что это искусственные ситуации, которые в реальной жизни возникают очень редко. Они скорее поднимают более глобальный вопрос: в будущем мы будем сталкиваться с необходимостью систематического этического выбора у машин, и нам нужно решить, какие этические принципы мы должны в них закладывать. 

― Хорошо, но есть уже существующие проблемы. Например, возникают разговоры о предвзятости ответов нейросетей. Насколько легко можно заставить нейросеть выдавать нужные результаты?

― Есть понятие состязательной атаки на нейросетевые модели, когда мы можем подбирать определенные сочетания стимулов, которые будут приводить к какой-то желаемой реакции. Разными видами атак занимается большое направление в машинном обучении. Гипотетических векторов атаки было придумано много: отравление данных — мы подкладываем в обучающую выборку условно «отравленные» примеры, которые потом приведут к тому, что обученная на этих данных модель в определенной ситуации будет демонстрировать нужное нам поведение. Но это хорошо работает на игрушечных, сконструированных примерах.

― А в реальной жизни?

― В реальных случаях такая атака будет сталкиваться с целым рядом проблем. Например, давайте мы атакуем модель генерации кода, чтобы она генерировала специально уязвимый код, а мы будем этой уязвимостью пользоваться. Что для этого должно произойти: во-первых, злоумышленники должны довольно сильно вмешаться в обучающую модель. Вектором атаки может быть выкладывание куда-нибудь отравленных репозиториев в надежде на то, что краулеры соберут эти данные и положат в обучающую выборку модели. Но уже на этапе сбора данных все они фильтруются. Нужно, чтобы этот код проник через систему фильтров и чтобы злоумышленники были уверены, что данные будут взяты конкретно из этого репозитория. И это должно быть довольно много кода: это не то что вы один пример маленький подложили, и сразу все отравлено. И после того как модель обучается, она проходит через большое количество тестов, чтобы оценить ее способности и тот код, который она генерирует. Она сравнивается с бейзлайном — нужно, чтобы эта атака не ухудшила работу модели, чтобы она прошла через валидацию этой модели. Ведь код, который генерирует модели, не поступает автоматически в продакшн. Все эти модели используются как помощники разработчика. Разработчик отсматривает код глазами, он принимает решение, использовать ли фрагмент кода. Так что в условии сферического коня в вакууме атака есть, в условии, чтобы она в реальности воплотилась, нужно совпадение очень многих факторов. Делает ли это такую атаку невозможной? Нет. Делает ли это ее малоэффективной? Наверное, да. В этом смысле развитие технологий машинного обучения вкладывает и в развитие «снаряда», и в развитие «брони».

― А если говорить об оптических иллюзиях у нейросетей — насколько сложно сделать так, чтобы система видела вместо человека кошку? 

― В случае больших моделей такие атаки становятся тоже дорогостоящими и не такими простыми. Но я хочу сказать, что человеческое зрение тоже можно так атаковать — у нас есть куча зрительных иллюзий! Тем не менее во времена, когда системы машинного зрения обеспечивались маленькими специализированными моделями, как это было в середине 2010-х годов, атаки на такие модели были гораздо проще. Сегодня сетки стали гораздо более устойчивыми. Обмануть их внутренние представления намного сложнее, чем представления маленькой модели. Просто потому что большие сетки учатся на очень большом количестве примеров. 

― Что такое неэтичные модели-беспредельщики? 

― В ответ на навязчивую болтовню о том, что нам нужно заботиться об этике больших генеративных языковых моделей, некоторые исследователи из хулиганских побуждений учили модели на подчеркнуто неэтичных наборах данных, используя анонимные борды, где люди пишут анонимную агрессивную чепуху. То есть посыл был такой: «Давайте учить на заведомо чем-то плохом, и мы получим такие модели-абьюзеры». Как развлечение — почему бы это не сделать, потому что иногда нужно моделировать, например, поведение хама. Не помню, кто именно это делал (речь идет об эксперименте известного в узких кругах ML-специалиста и ML-видеоблогера Янника Килчера. — ред.), но был опыт обучения модели на данных анонимных веб-форумов. В итоге получилась сетка с очень хорошими результатами на бенчмарке TruthfulQA, очень правдивая.

― А обычную сеть обучают исключительно на этичном контенте?

― Обычная большая языковая модель должна видеть очень разнообразные данные. Любая попытка учить ее только на хорошем похожа на попытку воспитать ребенка на поэме Маяковского «Что такое хорошо и что такое плохо», но с удаленными кусками про «плохо». Создатели модели Falcon, например, заявили, что обучили ее на наборе данных, из которого был удален взрослый контент. Это звучит странно: получается, модель ничего не знает о том, что такое взрослый контент, то есть она не сможет различить, что можно, а что нельзя, что взрослое, а что нет? Это как ребенок, которого воспитывали как мимозу в ботаническом саду, и он реальной жизни не знает, а когда он столкнется с гадостями, не будет понимать, что это гадости.

― Сталкивались ли российские разработчики генеративных сетей с проблемой авторских прав, как уже бывало на Западе? Не было ли у вас проблем с Kandinsky? 

― Пока я пока такого не слышал. В плане Kandinsky на нас никто не жаловался. Скорее жаловались на качество изображений, например что мы некрасиво генерируем российский флаг. Недовольные всегда найдутся. Если вы хотите нанести ущерб развитию отечественных технологий, то, конечно, самое правильное — идти жаловаться. Но, к счастью, у нас разум в стране не утрачен. 

― Ян Лекун не так давно опубликовал список задач, стоящих перед сегодняшним ИИ. Он считает, что настоящая революция в этой области произойдет после того, как ИИ научится спонтанно обучаться. Вы согласны с ним?

― В целом я, с некоторыми нюансами, разделяю его идеи, но я бы сформулировал проблему более глобально. Сейчас мы используем технологии самообучения для создания больших моделей. Эти технологии главным образом опираются на цифровой след человечества. Эти данные — продукт массовой общественной практики: миллиарды людей что-то делают в реальном мире, и результатом этой деятельности становятся тексты, изображения, видео — любые цифровые данные в интернете. Самый важный вопрос, на который мы пока не знаем ответа: можно ли, опираясь только на эти данные, создать систему универсального искусственного интеллекта? Или все равно ему будет чего-то не хватать и обязательно нужно воплощение, нужно, чтобы эта модель имела тело в физическом мире и взаимодействовала с этим миром. Может, нужны какие-то более простые формы воплощения: веб-агенты, веб-воплощение модели, которая будет общаться с людьми и в процессе общения чему-то учиться. Мы не знаем, можно ли при помощи этих методов создать действительно универсальный искусственный интеллект. Точку здесь может поставить только эксперимент. 

― А когда эксперимент будет создан? 

― Эксперименты ведутся. Ян делает это у себя, мы у себя. Во всем мире идут эксперименты, которые должны продвинуть нас в плане универсальности тех систем искусственного интеллекта, которые мы создаем в сторону роста их интеллектуальных возможностей. Так что нам довелось жить в очень интересное время! 

_{Опубликовано при поддержке гранта Минобрнауки России в рамках федерального проекта «Популяризация науки и технологий» № 075-15-2024-571 (и всемерной поддержке Физтех-Союза).}