Репост из: КПД
Наткнулся на интересный блог от некоего Simon Veitner.
Дизайн суровый, минималистичный, максимально дешево и сердито, но есть немало интересных статей про написание и ускорение кернелов, компоненты современных GPU, а также реализации различных алгоритмов в CuTe / CuTeDSL .
В частности:
• Making RMSNorm really fast
• Making matrix transpose really fast on Hopper GPUs
• CuTeDSL on Hopper - WGMMA and TMA intro
Будет полезно интересующимся написанием кернелов и эффективными программными реализациями алгоритмов на видеокартах, в особенности, на архитектурах Hopper и Blackwell.
Дизайн суровый, минималистичный, максимально дешево и сердито, но есть немало интересных статей про написание и ускорение кернелов, компоненты современных GPU, а также реализации различных алгоритмов в CuTe / CuTeDSL .
В частности:
• Making RMSNorm really fast
• Making matrix transpose really fast on Hopper GPUs
• CuTeDSL on Hopper - WGMMA and TMA intro
Будет полезно интересующимся написанием кернелов и эффективными программными реализациями алгоритмов на видеокартах, в особенности, на архитектурах Hopper и Blackwell.