17 декабря в стенах МФТИ состоялась презентация проекта «Культурные замеры больших языковых моделей». В рамках мероприятия научная группа Центра междисциплинарных исследований МФТИ вместе с приглашенными экспертами в области культурологии и лингвистики представили инструмент для анализа встроенности больших языковых моделей в русскую культуру.
Инструмент включает в себя методику выявления культурных типов, построения тематических карт, а также принципы создания вопросов, ответы на которые подразумевает знание определенных культурных и языковых стереотипов. Он позволяет определить способность современных языковых моделей считывать культурный контекст и реагировать естественным образом на устойчивые стимулы.
Спикерами презентации стали ректор МФТИ Дмитрий Ливанов, проректор МФТИ по научной работе Виталий Баган, руководитель группы Центра междисциплинарных исследований Максим Кронгауз, ведущий научный сотрудник Валерий Шульгинов, младшие научные сотрудники Центра Татьяна Юдина и Ксения Клокова, а также научный сотрудник лаборатории лингвистической конфликтологии и современных коммуникативных практик НИУ ВШЭ Елизавета Громенко.
«Физтех всегда занимался сложными междисциплинарными задачами, и у нас есть возможность собрать в рамках одной команды людей, добившихся выдающихся результатов в разных областях науки. Именно это объединение, как и наш опыт, дают интересные результаты. Сегодня мы обсуждаем подобный яркий пример — проект Центра междисциплинарных исследований МФТИ. Я думаю, лишним будет говорить об актуальности исследований, связанных с культурными аспектами и особенностями работы с большими языковыми моделями. У всех на слуху, что происходит в сфере искусственного интеллекта и глубокого обучения. Мы понимаем, что это новое, но как с этим работать и интерпретировать результаты, пока не полностью представляем. Поэтому работа на этом фронтире — крайне важная задача», — отметил в приветственном слове Виктор Ливанов.
Во время презентации разработчики поделились результатами тестирования самых передовых языковых моделей и рассказали о главных трудностях в их культурной адаптации. В идеале искусственная сеть может стать равноценным собеседником для пользователя, но для этого ей необходимо говорить на одном с ним языке. Для проверки способности сети понять собеседника ученые выделили восемь ключевых культурных типов, с характерными стереотипами, понятными фразами, мемами, любимыми цитатами. В итоге при тестировании на распознания мемов и общепринятых фраз лучшие результаты показали нейросети GPT-4, Claude-3.5 и LLaMA.
«Зачем учить большие языковые модели общению с разными людьми? Дело в том, что мы очень разные и у нас очень разные запросы на общение с искусственным интеллектом. С одной стороны, нам нужен всезнающий гуру, который будет давать правильные советы, с другой стороны, мы нуждаемся в равноправном собеседнике, близком нам по духу, по культуре и даже по речевому стилю. Чтобы создать приятного собеседника, необходимо выделить наши собственные культурные и языковые черты и передать их модели», — подчеркнул во время презентации Максим Кронгауз.
Ключевыми темами обсуждения, волнующими аудиторию, стали приведенные спикерами ошибки языковых моделей и определение культурных типов, таких как «Советский интеллигент» или «Неформал», а также выделение речевых клише, знакомые носителям русского языка с детства. Как отметили разработчики, совокупность выделенных культурных типов позволила отразить социокультурное многообразие типов в российском обществе, а также сфокусироваться на широких культурных пластах. Но возможны и более детальные деления, а также появления новых групп.
«Для Физтеха очень важно, чтобы у нас появились не только сильные специалисты в области гуманитарных и социальных наук, но и качественные эксперты, которые работают на стыке традиционных для нас направлений, в том числе компьютерных наук. И это именно та группа, которая имеет большое будущее, но для успешных результатов в данной области необходимо не только создавать, но и приспосабливать, постоянно обучать. Взаимодействие человека с этими технологиями требует постоянного анализа и совершенствования. Рассчитываем на то, что это не завершающий этап, а только начало большой работы», — подытожил Виталий Баган.
