Мы придумали новый метод
SAE Match, который помогает сопоставлять понятные фичи, выделенные Sparse Autoencoder (SAE), между разными слоями LLM. Это важный шаг к тому, чтобы разобраться, как LLM обрабатывают информацию, показывая, как фичи сохраняются или меняются, пока данные проходят через модель.
Одна из ключевых частей нашего метода — это техника
"parameter folding", где мы напрямую включаем пороги активации в веса SAE. Это учитывает разницу в скейле фичей между слоями и позволяет точнее их сопоставлять, минимизируя ошибки между итоговыми скрытыми представлениями. Самое главное, что для этого не нужны входные данные, поэтому анализ становится более универсальным и не привязанным к конкретным примерам.
В наших экспериментах на модели
Gemma 2 мы показали, что SAE Match эффективно сопоставляет фичи между слоями. Мы обнаружили, что некоторые из них остаются похожими на протяжении нескольких слоев, а другие постепенно меняются. Также мы заметили, что в начальных слоях больше полисемантичных фичей (то есть тех, которые отвечают за несколько разных понятий), а в более глубоких слоях они становятся более специализированными. Этот метод не только помогает лучше понять, как работают LLM, но и открывает новые возможности для интерпретации и улучшения нейронных сетей.
Статью можно прочитать
тут, а если вам интересно разобраться в SAE, то рекомендуем оригинальные посты от Anthropic (
1,
2)
