2. ПЕРВОЕ ПОКОЛЕНИЕ: НИЗКОРАЗМЕРНЫЕ СИСТЕМЫВ 1995 году Дорен и его коллеги опубликовали статью о первом многослойном перцептроне, обученном на данных об электронной структуре, что позволило проводить моделирование с гораздо меньшими затратами (21). Они использовали нейронную сеть прямого распространения для построения отображения атомных позиций в потенциальную энергию адсорбции H2 на кластерной модели поверхности Si(100). В этой новаторской работе были исследованы и решены многие технические проблемы, которые сегодня считаются общеизвестными в области многослойных перцептронов, а также подробно рассмотрены преимущества и ограничения машинного обучения для представления энергетических поверхностей. В следующем десятилетии несколько групп исследователей продолжили изучать возможности применения нейронных сетей для различных молекулярных систем (44–47). Еще одна область применения — адсорбция и динамика взаимодействия газа с поверхностью (22, 48–50). Создание нейронных сетей для конденсированных систем, таких как жидкости и объемные материалы, в то время было невозможно, но было предпринято несколько попыток дополнить эмпирические потенциалы, подходящие для более крупных систем, нейронными сетями (51–53).
Помимо этих областей применения, были достигнуты многообещающие методологические успехи, результатом которых стали, например, очень точные потенциалы, основанные на сумме произведений, оптимизированных координатах и многомерном модельном представлении, предложенном Манжосом и Каррингтоном, которые достигли спектроскопической точности (54–56). В 2009 году Малше и его коллеги предложили использовать набор нейронных сетей для различных членов в многочастичном разложении (57). Наконец, в 2013 году Цзян и его коллеги использовали перестановочно-инвариантные полиномы, изначально разработанные Браамсом и Боуменом для построения полиномиальных нейронных сетей с полной перестановочной инвариантностью (58, 59), в качестве входных координат для построения молекулярных перестановочно-инвариантных полиномиальных нейронных сетей (PIP-NN) (60, 61).
Несмотря на разнообразие методов и систем, которые изучались в первое десятилетие, общей чертой всех этих моделей машинного обучения первого поколения, основанных исключительно на нейронных сетях, было небольшое количество степеней свободы, которые можно было учесть в явном виде, что ограничивало их применение малыми молекулами в вакууме, молекулами, взаимодействующими с замороженными поверхностями, или низкоразмерными аддитивными членами, часто в сочетании с традиционными эмпирическими потенциалами или силовыми полями. Краткое описание этих применений можно найти в двух ранних обзорах (10, 11).
3. Второе поколение: локальные методы для многомерных систем 3.1. ОбзорВ потенциалах нейронной сети первого поколения было сделано много важных открытий, но их применение ограничивалось системами с небольшим количеством степеней свободы, включающими лишь несколько атомов. Основной концептуальной проблемой, препятствовавшей применению MLP к многомерным системам, содержащим тысячи атомов, было отсутствие подходящих структурных дескрипторов, в том числе обязательных инвариантов полной энергии относительно сдвига, вращения и перестановки (то есть порядка) химически эквивалентных атомов в системе. Кроме того, использование одной нейронной сети для выражения глобальной энергии системы, которая является центральным компонентом многих ранних нейронных сетей, не позволяло применять их к системам с переменным количеством атомов, поскольку размерность системы связана с количеством входных нейронов, которое нельзя изменить после обучения нейронной сети.
Многие эмпирические потенциалы в области материаловедения представляют полную энергию как сумму атомных энергий, то есть
Etotal=∑
i=1
Natom
Ei
Большинство классических силовых полей, используемых, например, в биомолекулярной химии, также можно представить в таком виде. Для таких потенциалов несложно учесть все инварианты, поскольку они состоят из очень простых низкоразмерных слагаемых, которые являются аддитивными и зависят от инвариантных к трансляционным и вращательным движениям внутренних координат, таких как межатомные расстояния, углы и двугранные углы. В случае с многослойными перцептронами ситуация иная: они имеют более сложную многомерную функциональную форму, которая позволяет им достигать очень высокой числовой точности и требует упорядоченного вектора входных координат, не обладающего внутренней инвариантностью к перестановке. Следовательно, в первое десятилетие развития многослойных перцептронов было невозможно использовать уравнение 1, а поиск подходящих дескрипторов, учитывающих все инварианты, был сложной задачей, и было найдено лишь несколько специализированных решений для низкоразмерных систем (52, 62).
Сейчас эта проблема решена, и с точки зрения сегодняшнего дня трудно представить, в каком сложном положении находились первые разработчики многослойных перцептронов, ведь сейчас доступно огромное количество различных дескрипторов для многомерных систем (63, 64). Полученное в результате очень мощное второе поколение многослойных перцептронов, основанное на уравнении 1, в принципе применимо к системам произвольного размера. Было исследовано множество комбинаций двух основных компонентов современных многослойных перцептронов — дескрипторов атомного окружения и алгоритма машинного обучения, связывающего значения дескрипторов с энергиями.
В зависимости от типа дескриптора можно выделить два основных класса нейронных сетей второго поколения. В первых доступных нейронных сетях высокой размерности использовались дескрипторы с заранее заданными функциональными формами, которые содержали несколько параметров, определяющих пространственную форму. Кроме того, в последние годы все большее внимание уделяется второму классу нейронных сетей второго поколения, основанному на автоматическом обучении дескрипторов на основе структурной информации с помощью нейронных сетей с передачей сообщений (MPNN). Это не следует путать с оптимизацией параметров заранее заданных дескрипторов, поскольку в данном случае не делается никаких специальных предположений о функциональной форме. Оба подхода представлены в следующих разделах, а наиболее важные примеры кратко описаны.