فاین تیون مدل‌های Mistral با درصدی کمی از وزن‌های متغیر

خب Mistral-finetune منتشر شد، یه کدبیس سبک‌وزن که امکان fine-tuning مدل‌های #Mistral رو فراهم می‌کنه. این مبتنی بر #LoRA هست، یه الگوی آموزشی که در اون بیشتر وزن‌ها ثابت هستن و فقط ۱ تا ۲ درصد وزن‌های اضافی به شکل اختلالات ماتریسی با رتبه پایین آموزش داده می‌شن.

از اون کارایی هست که سخت‌افزار زیاد لازم داره، بعضی از کاربرا میان مثلا با چند تا 3090 انجامش میدن
(البته با این رشد سرویس‌های کلاد AI نیاز نیست حتما تجهیزات خرید).

گیتهاب

@silicon_brain I از هوش مصنوعی عقب نمانید