🎓 — Семинар 3. Анализ динамики обучения и геометрии представлений в глубоких нейронных сетях | Шокоров Вячеслав
На семинаре выпускник МФТИ, ФПМИ, Вячеслав Шокоров расскажет о своей диссертационной работе. Она посвящена разработке единого теоретического подхода к описанию внутренних механизмов преобразования сигнала и динамики обучения в глубоких нейронных сетях.
В основе предлагаемого метода лежит геометрическая концепция нелинейных нуль-пространств, позволяющая разделить влияние глубины и ширины модели, а также интерпретировать процесс обучения классификатора как последовательное подавление признаков описывающих внутриклассовую вариабельность при сохранении межклассовых различий. С точки зрения данного формализма описывается семантическая роль операции центрирования как иерархического фильтра фоновых признаков. Также предлагается декомпозиция весовых матриц для выявления шумовых и сигнальных компонент, что позволяет построить эффективный алгоритм оценки качества изображений.
Кроме того, разработана интерпретируемая декомпозиция функции потерь CosFace на компоненты притягивания и отталкивания, существенно снижающая вычислительную сложность обучения модели. В совокупности полученные результаты формируют целостную картину работы ключевых архитектурных блоков модели, повышая интерпретируемость, предсказуемость и эффективность нейросетей в прикладных задачах классификации.
👉🏻 Дата: 24.09.26, четверг в 17:00
📹 Трансляция: YouTube или ВКонтакте
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!
На семинаре выпускник МФТИ, ФПМИ, Вячеслав Шокоров расскажет о своей диссертационной работе. Она посвящена разработке единого теоретического подхода к описанию внутренних механизмов преобразования сигнала и динамики обучения в глубоких нейронных сетях.
В основе предлагаемого метода лежит геометрическая концепция нелинейных нуль-пространств, позволяющая разделить влияние глубины и ширины модели, а также интерпретировать процесс обучения классификатора как последовательное подавление признаков описывающих внутриклассовую вариабельность при сохранении межклассовых различий. С точки зрения данного формализма описывается семантическая роль операции центрирования как иерархического фильтра фоновых признаков. Также предлагается декомпозиция весовых матриц для выявления шумовых и сигнальных компонент, что позволяет построить эффективный алгоритм оценки качества изображений.
Кроме того, разработана интерпретируемая декомпозиция функции потерь CosFace на компоненты притягивания и отталкивания, существенно снижающая вычислительную сложность обучения модели. В совокупности полученные результаты формируют целостную картину работы ключевых архитектурных блоков модели, повышая интерпретируемость, предсказуемость и эффективность нейросетей в прикладных задачах классификации.
👉🏻 Дата: 24.09.26, четверг в 17:00
📹 Трансляция: YouTube или ВКонтакте
Подключайтесь к живому обсуждению и задавайте вопросы в прямом эфире! Ждем всех!