Про аватарку канала

Если присмотреться, то можно заметить, что это не нормальная картинка, а какая-то хитмапа. Ща расскажу какая

На заре нейросетестроения исследоваетелей интересовал вопрос, как лучше оптимизировать модели. Одной из веток этого направления был анализ траекторий обучения и поведение функции потерь в её окрестности. В частности, было показано, что любые два локальных минимума можно соединить непрерывной кривой, вдоль которой лосс будет примерно равен лоссу в минимумах. С практической стороны это вылилось в метод усреднения весов SWA и концептуально похожий model soup

В 2019-м от исследователей с физтеха вышла забавная статья Loss Patterns of Neural Networks, и там предлагается алгоритм, как найти кусочек лосс-функции, похожий на любой заранее заданный шаблон. Авторы ограничились картинками — т.е. 2D-шаблонами, хотя их метод обобщается на любую размерность, не превышающую число параметров модели

Меня тогда удивило, насколько произвольные формы можно найти в лоссе достаточно простой задачи — в аппендиксе статьи куча разных картинок. Подумал, что одна из них будет хорошо смотреться в канале со статьями, до сих пор нравится 🪐