Not So Artificial Intelligence

GPT is becoming a Turing machine : "Tegishli "promtpting" orqali, GPT-3 modellarni kompyuter ilmi va intervyularda uchraydigan muammolarni yechuvchi takrorlanuvchi dasturlardek iterativ tabiatga undash mumkin... "

Boshqa joyda o'qigan edim, LLM'larning o'rgatish vaqtida qilingan xarajatlar bilan bashorat/generatsiya vaqtidagi xarajatlar orasida kompromis bor. Ko'p va to'g'ri qilingan o'rgatish tushunarliki kuchli modellarni yuzaga keltiradi. Teskari fikr esa juda qiziqarli: kam o'rgatilgan model ham juda kuchli hisoblovchi bo'lishi mumkin yetarlicha ko'p xarajat qilinsa. Bu qarash LLM'larga berilgan "promtp"lar ahamiyatini oshiradi.

Fikrimcha, kerakli prompt'larni yoza olish va hech kimda yo'q ma'lumotlarga ega bo'lish yaqin kelajak tadbirkorlari xususiyatlaridan biriga aylanadi.

Ortogonallik argumenti

Qiziq shaklga ega bo’lgan bu tasdiq AI (artificial intelligence) agentlati haqida bo’lib, ular kognitiv qobiliyatlaridan qat’i nazar ixtiyoriy maqsad bilan qurulgan bo’lishi mumkinligi haqida so'zlaydi. Ya’ni, kognitiv qobiliyatlar darajasi maqsadlar oliyjanobligidan to’liqligicha mustaqil o’zgarivchi.

Boshqacha qilib aytganda, ixtiyoriy maqsad va ixtiyoriy qobiliyatni birlashtiruvchi agentlarni qurish mumkin va bu agent oliyjanobligi unga berilgan maqsadlar oliyjanobligiga qattiq bog'liq bo'ladi.

Tushunishim bo’yicha barcha olimlar bu tasdiqqa ishonishadi. Bir guruh olimlar yomon agentlar muqarrar (chunki yomon odamlar mavjud) deb hisoblashsa, ikkinchi guruh olimlari tadqiqotlar va injenerlik orqali bu agentlar oldini olsa bo’lishi haqidagi fikrlarni oldinga surishadi (yaxshi agentlarni yomon insonlardan avval quraylik, keyin u agent bizga yordam beradi).

Birinchi guruh tadqiqotlar va eksperimentlar to'xtatilishini talab qilsa, ikkinchi guruh optimistik ko'rinishda ko'proq AI industriyaga resurslar kerakligini qayd etishadi.

O'zimni biror guruhga tegishli deya olmayman, lekin ikkinchi guruh ham yaxshi yechim bera olmayapti. Global isish vaqtida nega pulimizni ko'proq video kartalar ishlab chiqarishga ishlatish kerak? Boshqa tarafdan CS/AI industriyada juda qiziq sifat bor: qilingan ishlar bir yil qolmasdan eskiradi. O'zim CAPTCHA yechuvchi dasturlar ustida tadqiqot qilganman, bir yil o'tmasdan GPT4 deyarli barcha CAPTCHAlarni yecha oladi. Bu menga ajratilgan grantlarni foydasizga chiqarishi kerakmi?

GPT-4 dan RLHF qobiqni olib tashlash:
https://arxiv.org/abs/2311.05553
🤣🤣

Bir qarash bor: uzluksizlik (matematika) yoki cheksizlik mavjud emas. Ikkovining ham cheksiz aniq yaqinlashuvi bor. Yani, masalan, atomlar va zarralar shunchaki ko'pki, bizga borliq uzluksiz ko'rinadi. Ixtiyoriy cheksizlikga bo'lgan ehtiyojini ham cheksiz katta miqdorlar bilan qondirish mumkin.

Yana, masalan, irratsional sonlar shunchaki son emas hisoblash funksiyasi (oddiy python fuksiyasi)ga aylanadi: Pi (~3,14) oddiy miqdor emas shunchaki funksiyaga aylanadi. Qiymati esa bizga kerak darajada aniqlashaveradi.

Bunday o'ylab qarasa bu qarash modellashtirishni osonlashtiradi, paradokslarni esdan chiqarsa ham bo'ladi.

Yana bir misol beraymi? Insoniyat xissiyot va kechinmalari! Bu kechinmalar ham qandaydir uzluksiz, irratsional emas, shunchaki juda chuqur va granular bo'lishi mumkin. Shunda ruhiy vaziyatimiz bir joydan boshqasiga oqayotgan ko'rsatgich emas, holatlardan holatlarga sakrayotgan yaxlitlik bo'ladi. Bu holatlar shunchaki ko'pki, uni modellashtirish qiyin.

Shunda, masalan, bunday holatlarning qancha ko'piga nom berilsa va kashf qilinsa, hisoblash agentlari (botlar, robotlar) inson kechinmalarini ko'proq mimika qila oladi. Ko'pligini tushunish uchun e'tibor bering, inson kechinmalarini ta'riflash uchun ba'zan so'zlar va gaplar kam: kitoblar yoziladi. Barcha kitoblar yozib bo'linganda, o'sha kitoblarni chatgpt ga bersak, balki bizni u tushunishni boshlar.

"Ke, Xurshid, endi ozgina romantikaga va ilohiyotga joy qoldir, hammasi sovuq bo'lib ketdi" deysizlar bilaman. Romantikaga joy bor. Insoniyat va insoniyat "tirik" deydigan mavjudodlar bu kechinmalarni juda ham kam quvvat sarflab boshidan o'tkazadi, xuddi bizni qandaydir umumiylik bog'lab quvvatlab turgandek. O'sha umumiylik, o'sha ichki quvvat, olov bizni o'zgacha qilsa kerak.

Yigitlar juda foydali ish qilishayapti!