эйай ньюз dan repost
Video oldindan ko‘rish uchun mavjud emas
Telegram'da ko‘rish
Llama 3.1 405B, квантизированная до 4 бит, запущенная на двух макбуках (128 гиг оперативки у каждого). Возможно это с помощью exo - тулы, позволяющей запускать модельку распределённо на нескольких девайсах. Поддерживаются практически любые GPU, телефоны, планшеты, макбуки и почти всё о чём можно подумать.
Запустить ламу на домашнем кластере
@ai_newz
Запустить ламу на домашнем кластере
@ai_newz