Команда исследователей из Т-Технологий, МФТИ и НИУ ВШЭ разработала новаторский метод, позволяющий впервые проследить «жизненный цикл» отдельных концепций внутри сложных нейронных сетей. Их подход, получивший название SAE Match, работает как своего рода МРТ для искусственного интеллекта, создавая детальную карту того, как абстрактные признаки, такие как «пушистый», «историческое событие» или «радость», зарождаются, трансформируются и передаются между слоями нейросети. Это фундаментальный прорыв в области интерпретируемости ИИ, открывающий путь к созданию более прозрачных, надежных и управляемых систем. Результаты работы были представлены на международной конференции ICLR 2025. Работа исследователей была также опубликована в виде препринта на научном портале arXiv.
Современные большие языковые модели подобны «черным ящикам». Мы можем восхищаться их способностью писать стихи или программный код, но до недавнего времени практически не понимали, как именно они приходят к своим выводам. Этот недостаток прозрачности является главным препятствием на пути создания по-настоящему безопасного ИИ, ведь в глубинах нейронной сети могут скрываться нежелательные предубеждения или опасные логические цепочки. Проблема усугубляется двумя фундаментальными явлениями: полисемантичностью, когда один и тот же нейрон отвечает за несколько несвязанных понятий, и суперпозицией, когда множество различных признаков «упакованы» в одно и то же математическое пространство. Это похоже на попытку понять смысл романа, в котором каждое слово имеет десяток значений, а предложения могут описывать несколько событий одновременно.
Одним из ключей к расшифровке этого сложного кода стали разреженные автоэнкодеры (SAE) — специальные нейросетевые «словари», которые способны извлекать из активности нейронов отдельные, осмысленные концепции, так называемые моносемантичные признаки. Однако у этого подхода было серьезное ограничение: он позволял заглянуть лишь в один-единственный слой нейросети. Связи между этими концепциями на разных уровнях обработки информации оставались загадкой. Было неясно, является ли понятие «король» на пятом слое тем же самым, что и «король» на двадцатом, или же оно претерпело значительные изменения.
Именно эту задачу — построить мост между отдельными «этажами» нейронной сети — и решили исследователи. Их целью было создать универсальный метод, который мог бы без привлечения огромных массивов данных, лишь анализируя внутреннюю структуру модели, сопоставить признаки на разных слоях и отследить их эволюцию.
Коллектив ученых разработал алгоритм SAE Match, который решает сложнейшую комбинаторную задачу. Представьте, что у вас есть два словаря для разных языков (два слоя нейросети), в каждом из которых тысячи понятий (признаков). Алгоритм должен найти соответствия, определив, какое понятие из первого словаря наиболее близко по смыслу понятию из второго. SAE Match делает это путем минимизации математического расстояния между представлениями признаков. Однако главная сложность заключалась в том, что на разных слоях нейросети одни и те же концепции могут иметь разный «масштаб» или «яркость». Решение этой проблемы стало ключевым нововведением. Исследователи разработали технику «свертки параметров» — элегантный математический прием, который учитывает пороги активации признаков и приводит их к единому масштабу перед сравнением. Это позволило добиться беспрецедентной точности сопоставления.
Результаты экспериментов, проведенных на языковой модели Gemma 2, превзошли все ожидания. Метод не только успешно сопоставлял семантически близкие признаки, что было подтверждено с помощью внешней большой языковой модели, но и выявил фундаментальные закономерности. Оказалось, что большинство концепций в нейросети «живут» и сохраняют свою смысловую стабильность на протяжении примерно пяти слоев, после чего либо исчезают, либо трансформируются во что-то новое. Но самым поразительным доказательством эффективности метода стала возможность «хирургического вмешательства» в работу нейросети. Используя созданную карту связей, ученые смогли полностью «вырезать» один из слоев модели, а затем, с помощью своего алгоритма, «перебросить» информацию через образовавшуюся пропасть, соединив предыдущий слой со следующим. При этом общая производительность языковой модели практически не пострадала.
Рисунок 1. «Хирургия» нейросети: как пропустить целый слой без потери качества. Схематическое изображение эксперимента по «обрезке» слоя. Слева показан стандартный путь обработки информации в нейросети, где она последовательно проходит через все вычислительные блоки. Справа — результат применения метода SAE Match: исследователи, используя свою карту соответствия признаков, «перебрасывают» информацию напрямую с одного слоя на следующий, полностью пропуская промежуточный блок. Успешность этого эксперимента доказывает, что разработанный метод точно описывает внутренние информационные потоки модели. Источник: Nikita Balagansky et al. / ICLR 2025.
Никита Балаганский, руководитель научной группы LLM Foundations, T—Bank AI Research, аспирант МФТИ, пояснил: «С помощью нашего метода можно понять, каким образом концепции образуются и изменяются внутри языковых моделей. В дальнейшем мы сможем более точно изучать и контролировать поведение внутри модели. То, что мы можем пропускать некоторые слои и подставлять нашу «карту» вместо них без потери качества говорит о том, что мы верно представляем механизмы внутри».
Главное отличие и преимущество разработанного подхода — его полная независимость от данных. Для построения карты связей не требуется прогонять через модель терабайты текстов; анализ проводится исключительно на основе ее весов и параметров. Это делает метод чрезвычайно эффективным и универсальным. Он не просто описывает, что происходит внутри нейросети, но и позволяет предсказывать ее поведение и даже целенаправленно его изменять.
Во-первых, это мощный инструмент для обеспечения безопасности ИИ. Анализируя пути эволюции концепций, можно выявлять и нейтрализовывать скрытые вредоносные или предвзятые логические цепочки. Во-вторых, это путь к оптимизации. Понимая, какие слои или признаки являются избыточными, можно «упрощать» модели, делая их более быстрыми и менее ресурсоемкими без потери производительности. В-третьих, это открывает двери для создания гибридных моделей, где части одной нейросети можно будет эффективно комбинировать с частями другой. В конечном счете, это исследование закладывает основу для перехода от «черных ящиков» к понятным и контролируемым системам ИИ.
В будущем это позволит нам не только находить и исправлять ошибки в существующих моделях, но и проектировать новые архитектуры, которые будут более эффективными и безопасными по своей природе.
В дальнейших планах команды — составление полных «генеалогических древ» для ключевых концепций в самых больших языковых моделях, а также исследование более сложных, нелинейных взаимодействий между признаками. Разработанный инструмент может стать стандартом в новой области — механистической интерпретируемости, которая стремится превратить загадочное искусство создания ИИ в точную науку.
Научная статья: Nikita Balagansky, Ian Maksimov, Daniil Gavrilov. MECHANISTIC PERMUTABILITY: MATCH FEATURES ACROSS LAYERS. arXiv:2410.07656v3 [cs.LG], 1 Mar 2025. Published as a conference paper at ICLR 2025.
