An algorithmic framework for the optimization of deep neural networks architectures and hyperparameters

Авторы показывают, что задачу NAS(Neural Architecture Search) можно разбить на 2 подзадачи - определение структуры (поиск самого DAG - пространство 𝒜) и поиск гиперпараметров (поиск операций в узлах DAG - пространство гиперпараметров Λ⁢(a)). В итоге пространство поиска раскладывается в произведение пространств - Ω=(𝒜×{Λ⁢(a),a∈𝒜}), где a - это архитектура. Далее используется процедура NAS на основе эволюционного элгоритма. Применяется для поиска DNN для задачи предсказания временных рядов.

https://arxiv.org/pdf/2303.12797.pdf