Forward from: Нейронавт | Нейросети в творчестве
1.58-bit FLUX
Bytedance и POSTECH квантизовали FLUX [dev].
Квантизованная модель требует для инференса в 5 раз меньше VRAM и занимает на диске в 7.7 раз меньше места.
К сожалению, есть только препринт, а ссылка из препринта ведет на несуществующий сайт. Ждем
#news #optimization #flux
Bytedance и POSTECH квантизовали FLUX [dev].
Квантизованная модель требует для инференса в 5 раз меньше VRAM и занимает на диске в 7.7 раз меньше места.
К сожалению, есть только препринт, а ссылка из препринта ведет на несуществующий сайт. Ждем
#news #optimization #flux