На следующей неделе,
1 июня в 17:00 (МСК), пройдет вебинар
“Современные Хопфилдовские нейронные сети в машинном обучении и нейробиологии”.
Спикер: Дмитрий Кротов, MIT-IBM Watson AI Lab, IBM Research, Кембридж, штат Массачусетс, США.
Дмитрий о вебинаре
Современный Хопфилдовские Сети, или модели Плотной Ассоциативной Памяти, представляют собой нейронные сети с набором фиксированных точек аттракторов к которым сходится реккуррентная динамическая траектория в пространстве нейтронных состояний. В отличие от классических Хопфилдовских сетей, их современная модификация позволяет записывать и хранить экспоненциально большое количество памятей. Благодаря этому, с их помощью можно решать многие интересные задачи в машинном обучении и использовать эти математические модели для описания биологической памяти. Я расскажу про математическую теорию этих моделей и про конкретные задачи где эти идеи оказываются полезными. Я также приведу примеры этих моделей которые сводятся в предельных случаях к нейронным сетям которые используются на практике (например механизм внимания в трансформерах).
➡️
Регистрация
📚Дополнительные материалы
Идеи, которые Дмитрий будет обсуждать на вебинаре, были упомянуты в нескольких статьях ранее. Две наиболее актуальные статьи:
▪️ Krotov & Hopfield “Large Associative Memory Problem in Neurobiology and Machine Learning”, ICLR 2021,
https://arxiv.org/abs/2008.06996▪️ Krotov & Hopfield “Dense Associative Memory for Pattern Recognition”, NeurIPS 2016,
https://arxiv.org/abs/1606.01164Статьи, которые менее актуальны для вебинара, но имеют большое отношение к теме:
▪️ Demircigil et al, “On a model of associative memory with huge storage capacity”, J. Stat. Phys. 2017,
https://arxiv.org/abs/1702.01929▪️Ramsauer et al., “Hopfield Networks is All You Need”, ICLR 2021,
https://arxiv.org/abs/2008.02217▪️Widrich, et al., “Modern Hopfield Networks and Attention for Immune Repertoire Classification”, NeurIPS 2020,
https://arxiv.org/abs/2007.13505▪️Krotov & Hopfield "Dense Associative Memory Is Robust to Adversarial Inputs", Neural Computation 2018,
https://direct.mit.edu/neco/article/30/12/3151/8426/Dense-Associative-Memory-Is-Robust-to-Adversarial
