خوب بریم یه پست اموزشی به صورت ELI5 (explain like I'm 5)
میخوام درمورد مفهوم RAG توی LLM ها صبحت کنم
Retrieval Augmented Generation
مدل های زبانی فعلی از نوع
ترنسفورمرها هستن این مدل ها ویژگی بسیار مهمی دارن. این ویژگی "درک context یا فضایی که داخلش داره صحبت میشه" هست. یعنی چی؟
مثلا شما میگین بهش که:
یک لیوان شیر خوردم
در جنگل یک شیر دیدم
اینجا مدل های ترنسفورمر درک میکنن که اولی رو منظورتون شیر نوشیدنی هست و دومی حیوان شیر هست در صورتی که مدل های قبلی این توانایی رو نداشتن
اما خود این مدل هام محدودیت دارن و گاهی اطلاعاتی که روش ترین شدن قدیمی ان یا حتی کلا اون اطلاعات رو ندارن و یه جورایی توهم میزنن یا hallucinate میکنن.
اینجاست که RAG وارد عمل میشه چطوری؟
درواقع مدل زبانی رو با یک سیستم بازیابی اطلاعات خارج از این مدل زبانی ترکیب میکنه و اینطوری مدل به جدیدترین اطلاعات و داکیومنت ها دسترسی داره که بتونه توی جواب هاش ازش استفاده کنه
یه جورایی LLM بدون RAG شبیه یه دانشجوعه که داره امتحان معمولی میده و با RAG انگار داره امتحان اوپن بوک میده
حالا RAG چطوری اینکارو میکنه؟
درواقع خود رگ از دو بخش تشکیل شده یک مدل که اطلاعات رو بازیابی میکنه و یکی که تولید میکنه
کار بخش اول اینه که براساس سوالی که ازش پرسیده شده بره و توی یه دیتاست بزرگ اطلاعات مرتبط رو پیدا کنه
حالا وقتی این اطلاعات رو پیدا کرد مدل دوم که کارش تولید هست شروع به ایجاد یه متن قابل درک میکنه براساس اون اطلاعات میکنه
@aipulse24
