Jalilov Shamshod | Shaxsiy blog

Kompyuter ko'ruvi qanday ishlashini bilardingizmi? Neyron tarmoqlari qanday tuzilganligini bilishni xohlaysimi?

U holda ushbu maqola aynan siz uchun!

2024-yil iyul holati bilan top-5 ochiq kodga ega bo'lgan katta til modullari:

Katta til modullari(LLM) foydaliligini ko'p hollarda u o'qitilgan ma'lumotlari sifati va miqdori, undagi parametrlar soni, qanchalik hajmdagi so'rovga javob bera olishi, o'qitishni qanchalik osonligi va yangi ma'lumotlarni o'zlashtirish tezligi belgilab beradi. Ushbu topimizdagi katta til modullari bulardagi barcha xususiyatlarni o'z ichiga oladi.

1. LLaMA 3
Yaratuvchi: Meta
Parametrlar: 400 milliard
O'qitilgan token miqdori: 1.5 trillion
Qabul qila oladigan token uzunligi: 4,194,000

2. BLOOM
Yaratuvchi: Hugging Face va BigScience
Parametrlar: 176 milliard
O'qitilgan token miqdori: 1.6 trillion
Qabul qila oladigan token uzunligi: 8,000

3. Falcon-180B
Yaratuvchi: Technology Innovation Institute (TII)
Parametrlar: 180 milliard
O'qitilgan token miqdori: 3.5 trillion
Qabul qila oladigan token uzunligi: 2,000

4. OPT-175B
Yaratuvchi: Meta
Parametrlar: 175 milliard
O'qitilgan token miqdori: 180 milliard
Qabul qila oladigan token uzunligi: 2,048

5. Nemotron-4 340B Instruct
Yaratuvchi: NVIDIA
Parametrlar: 340 milliard
O'qitilgan token miqdori: 8 trillion
Qabul qila oladigan token uzunligi: 16,384

Ushbu ro'yxatga kiritish mumkin bo'lgan LLMlar: Gemma 2 27B Instruct, Grok AI.

Taklidlash kerakki, hajmi katta degani javob berish tezligi yuqori yoki biznesingizni raqamlashitirishda foydali degani emas, tezlik ko'p hollarda kam kam parametrli LLM larda yuqoriroq bo'ladi. Shuningdek kam hajmli LLM lar kamroq kompyuter kuchini talab qiladi.

Sizlar bilan kasbini o’zgartirmagan AyTichi @Shamshod_Jalilov

💻Generative AI texnologiyasini o'rganishni hohlaysiz, ammo qayerdan va qanday boshlashni bilmayabsizmi?

2024-yilda SI dunyosiga mutloq bepul kirish mumkin. Buning uchun bir dunyo pul talab qiluvchi kurslar ham shart emas.

Keling siz uchun qisqa yo'l xaritasi tuzamiz:

1. 3Blue1Brown avtorligidagi "Neural networks". SI ga kirishda dastlab eng sodda transformerlar qanday ishlashini yaxshi tushunishingiz va ta'savur qila olishingiz zarur.

2. Андрей Карпаты avtorligidagi "Zero to Hero". OpenAI asoschilaridan biri bo'lgan avtor GPT texnologiyani 0 dan ko'tarishni judayam sodda tilda tushintirib beradi.

3. Microsoft tomonidan ishlab chiqilgan "Generative AI for Beginners". 18 ta darsdan iborat bo'lgan ochiq kodlar asosida tushintiruvchi qulay video va matnli kurs.

Ushbu materiallarni to'laqonli o'zlashtirganingizdan so'ng siz bemalol GPT-2 ni o'zingiz uy sharoitida yarata olasiz.

Sizlar bilan kasbini o’zgartirmagan AyTichi @Shamshod_Jalilov