DaLing

Бесплатный

Massive Open Online Course (MOOC) Machine Learning in Weather and Climate

https://lms.ecmwf.int/pages/index.html

https://www.youtube.com/watch?v=jE4e-TvuGy4&ab_channel=ECMWF

Выложен в виде коротких нарезок самый нестандартный мини-курс на ВМК "Как уйти с тропы леммингов". Про планирование карьеры, выгорание, здоровье, конкуренцию и т.п.

Автор - Дмитрий Ватолин, известный постами на Хабре, в частности:
- К вопросу о математических способностях студентов или как учить переполненный мозг
- О русской науке замолвите слово или за что я люблю Тинькофф, часть 1

EDITING MODELS WITH TASK ARITHMETIC

https://arxiv.org/pdf/2212.04089.pdf

Идея достаточно простая. Давайте возьмем предобученную модель с веcами W_orig. Зафайнтьюним ее на задаче T и получим новую модель W_ft. Назовем разницу весов вектором задачи W_T = W_ft - W_orig.

Пример использования. Языковую модель W_pre зафайнтьюнили на токсичном датасете для генерации токсичных текстов получили W_ft. Тогда легко можно посчитать вектор "токсичных весов" W_T = W_ft - W_orig. Теперь если из оригинального вектора весов вычесть токсичный вектор с каким то коэффициентом то получим что модель будет генерировать менее токсичный текст. W_N (новый вектор)= W_orig - a x W_T (токсичный), где а какой-то подобранный скаляр. Авторы показывают что такой подход практически не влияет на качество работы основной задачи, но в итоге уменьшает токсичность генерируемого текста, Таблица 2. Так же видно что адверсальный метод Gradient ascent вредит основной задаче, а добавление случайного вектора практически не вредит, так как он является ортогональным к основному вектору весов W_orig.

Помимо этого авторы показывают еще два применения 1) Использование нескольких W_T под разные задачи одновременно, получается что добавления нескольких векторов задач только улучшает качество как каждой задачи и так модели в общем. Мы получаем что-то вроде ансамбля таким образом. 2) Мы можем переносить аналогии и генерировать данные которых у нас до этого не было например W_тигры_дома = W_тигры_на_природе + (W_собаки_дома - W_собаки_на_природе).

Интуиция почему это работает и не ухудшает качество работы основной задачи. 1) Легко поверить что обычный файнтьюнинг работает; 2) Вектор весов это высоко размерный вектор; 3) Поэтому вектор новой задачи W_T = W_ft - W_orig почти всегда ортогонален вектору основной модели и векторам других задач. Поэтому их можно легко складывать друг с другом и одно другому особо не вредит.

Минуcы работы. Авторы анализировали результаты только на генеративных моделях и на CLIP, который использовали для one shot classification - ранжирует потенциальные категории. Как адаптировать такой подход если мы хотим добавить новый класс в задачу классификации не очень очевидно. Так же нет результатов на более простых задачах классификации. Хотя подход был бы интересным для них если нам например нужно убрать какой-то bias в модели.

Потенциальное развитие.
1) Очень похоже на идеи с Hyper Dimentional Vectors - HDC. Кажется, веса моделей можно рассматривать как HDC и применять к ним уже хорошо развитый фреймворк. Вообще, тогда можно делать очень много всяких интересных штуки. Про HDC почитать можно тут:
https://redwood.berkeley.edu/wp-content/uploads/2021/08/Neubert2019_Article_AnIntroductionToHyperdimension.pdf

2) Cами же авторы говорят что на hugging-face хранится около 3000 по разному зафайнтьюниных BERTов. Почему бы тогда не хранить только вектора задач, а не модели полностью и почему бы тогда не попробовать выучить спарсные вектора задач, что бы уменьшить затраты на хранение - кажется это очень даже реально.