Ultra-Scale Playbook - книга по распределённой тренировке от Huggingface

Хороший общий обзор того, как эффективно использовать сотни GPU для обучения самых мощных AI моделей

Она предлагает пошаговый процесс выбора и настройки конфигурации обучения и их оптимизации
Проходятся по всем основным видам параллелизм, их сильным и слабым сторонам и как сделать их быстрыми и эффективными по памяти

Книга не просто теоретизирует, она основана на более 4000 реальных экспериментов, использующие вплоть до 512 GPU

Результаты поданы в виде куче графиков и интерактивных визуализаций

Всего 100 страниц, рекомендую почитать
К тому же они сделали cheatsheet, чтобы проще было запомнить содержание книги

https://huggingface.co/spaces/nanotron/ultrascale-playbook