Video oldindan ko‘rish uchun mavjud emas
Telegram'da ko‘rish
Тут Microsoft выкатил новую интересную штуку:
https://github.com/microsoft/BitNet
которая позволяет гонять большие модели без GPU, на одном голом CPU:
bitnet.cpp is the official inference framework for 1-bit LLMs (e.g., BitNet b1.58). It offers a suite of optimized kernels,
that support fast and lossless inference of 1.58-bit models on CPU (with NPU and GPU support coming next).
Немедленно пропатчил под FreeBSD и запустил с стандартной (вроде как) моделью:
https://huggingface.co/HF1BitLLM/Llama3-8B-1.58-100B-tokens
А затем начал задавать вопросы бытия:
There are three persons: Oleg, Boris and Roman. Roman uses Linux, Oleg uses FreeBSD and Boris prefer Windows. One of these persons is a gay. Please tell who is the gay.
Боже на что блин я трачу свою жизнь.🙈🙊
https://github.com/microsoft/BitNet
которая позволяет гонять большие модели без GPU, на одном голом CPU:
bitnet.cpp is the official inference framework for 1-bit LLMs (e.g., BitNet b1.58). It offers a suite of optimized kernels,
that support fast and lossless inference of 1.58-bit models on CPU (with NPU and GPU support coming next).
Немедленно пропатчил под FreeBSD и запустил с стандартной (вроде как) моделью:
https://huggingface.co/HF1BitLLM/Llama3-8B-1.58-100B-tokens
А затем начал задавать вопросы бытия:
There are three persons: Oleg, Boris and Roman. Roman uses Linux, Oleg uses FreeBSD and Boris prefer Windows. One of these persons is a gay. Please tell who is the gay.
Боже на что блин я трачу свою жизнь.🙈🙊