Recomender system

مدل‌های زبانی بزرگ (LLM ها) معمولا برروی حجم زیادی از داده‌های موجود در وب آموزش می‌بینند. این داده‌ها ممکن است جهت‌دار و بی‌کیفیت باشند. برای رفع این مشکل، معمولا پس از آموزش مدل زبانی، مدل آموزش‌دیده‌شده در دسترس تعدادی انسان قرار گرفته و خروجی آن ارزیابی می‌شود. سپس با استفاده از بازخورد جمع‌آوری‌شده در این ارزیابی (Human Feedback) و به‌کارگیری روش‌های یادگیری تقویتی (Reinforcement Learning) یک مدل پاداش (Reward Model) برای
ارزیابی خروجی مدل آموزش داده می‌شود.

آموزش دادن مدل پاداش، به نوعی Finetune کردن مدل اصلی محسوب می‌شود. به این نوع Finetune کردن، روش RLHF گفته می‌شود.

برای فاین‌تیون کردن مدل‌های زبانی به روش RLHF به‌طور معمول از الگوریتم Proximal Policy Optimization یا PPO استفاده می‌شود که بسیار قدرت‌مند‌تر از الگوریتم‌های پایه‌ی یادگیری تقویتی مثل REINFORCE است.

حالا، آرش احمدیان، پژوهش‌گر آزمایشگاه Cohere به همراه همکارانش در مقاله‌ی زیر نشان داده‌اند که با توجه به توانایی بالای پالیسی اولیه و شرط‌گذاری پرامپت‌ها، نیاز به استفاده از الگوریتم PPO برای فاین‌تیون‌کردن مد‌ل‌های زبانی نیست و الگوریتم‌های ساده‌تر و سریع‌تر مثل REINFORCE در این زمینه کاراتر‌ند.

جالب این‌که گوگل (دیپ‌مایند) هم در مدل زبانی جدید خود (Gemma) از الگوریتم REINFORCE به‌جای PPO استفاده کرده‌ست.

https://cohere.com/research/papers/back-to-basics-revisiting-reinforce-style-optimization-for-learning-from-human-feedback-in-llms-2024-02-23



پی‌نوشت ۱: عده‌ای از پژوهش‌گران معتقدند فاین‌تیون‌کردن مدل‌های زبانی از روی بازخورد انسانی باعث افت کیفیت مدل‌ها به مرور زمان می‌شود.

پی‌نوشت ۲: مدل زبانی کوچک شرکت مایکروسافت (Phi-2) به روش RLHF فاین‌تیون نشده‌ست. دلیل این کار، فراهم آوردن بستری برای تحقیق در رابطه با چالش‌های مرتبط با ایمنی این مدل‌ها از جمله سوگیری‌های اجتماعی، محتوای سمی، پایش‌پذیری و … است.


منبع : school AI

Analyze your Linkedin posts.

You will get:
☑️ Your ideal persona.
☑️ Exact accounts of your ideal persona.
☑️ Recommendation on what you should do next.

TL;DR...
→ Extract replies & likes with Taplio.
→ Download the csv. & clean it rapidly.
→ Upload it & analyze it on ChatGPT with my prompt.

You can copy-paste my prompt at the end of this post.

Now for the longer version of the guide:

𝗦𝘁𝗲𝗽 𝟭. Go to Taplio.

→ Go to "Contacts".
→ Copy-paste your last Linkedin post.
→ Create a new list & export the csv. file.

I selected "Replies" only. But you can add "Likes".

𝗦𝘁𝗲𝗽 𝟮. Open the csv. on excel.

Only keep "position / location / company / followers".

𝗦𝘁𝗲𝗽 𝟯. Open a new ChatGPT-4 chat.

→ Upload your cleaned excel file.
→ Copy-paste my prompt to get a data analysis.
→ Add your own context in the context bracket.


___

𝗣𝗿𝗼𝗺𝗽𝘁

Act like a professional data analyst with over 20 years of experience in data analysis.

Here’s my information between angle brackets:


I am a content creator on Linkedin.

I just shared a CSV. file from my last Linkedin post: it has a list of all the people that engaged with it.

- their position
- their location
- their company
- their amount of followers

I want to become a better content creator on Linkedin. And I want to use data to achieve this goal. I write content about generative AI & how to integrate it into your business.


Drawing from your expertise:

Examine and Analyze the Data: Look through the Excel data thoroughly and identify the main trends and patterns. Provide a detailed overview of the most important findings.

Calculations and Statistics: Identify key metrics, run necessary calculations, and provide insightful statistics that might be relevant to the product's launch.

Run Experiments: If there are any hypotheses or trends you identify, suggest potential experiments we could run to validate them. Outline the experiment design and potential outcomes.

Content Potential: Analyze the data to extrapolate potential content ideas and topics that can be generated from it. Provide a list of content themes, keywords, and topics that might be interesting for our audience.

Structured Approach: Approach this task systematically. Start by presenting an overview of the dataset, followed by your analysis, and conclude with actionable recommendations.

Take a deep breath and work on this problem step-by-step.

پیام رو ترجمش رو نذاشتم تا خودتون ترجمه کنید ، من خودم به شخصه در مرحله برداشتن کلنگ نیستم ،کلنگ رو برداشتم ضربه اول رو زدم ولی احساس میکنم دارم به ضربه ای که زدم نگاه میکنم ی مدت طولانی، باید زودتر تصمیمم رو بگیرم مرحله ی سخت و چالشی هست ، خیلی زیاد ولی باید از پسش بربیام منتظرم موفق بشم و اینجا به اشتراک بذارمش 🥲🤲🏻 (شما هم موفق شدين بهم بگيد اينجا ميزارم تا بقيه انرژي بگيرن مثل من)امیداروم هرکی مثل من در بحران (پایان نامه ) و مسائلی مثل مهاجرت و یادگیری. از پسش بربیاد 😍

This mindset is the key to success...

The Bricklayer Mentality:

In 2002, Charlie Rose interviewed Will Smith on his television show.

During the interview, he tells a story from his childhood about his father asking him and his little brother to rebuild a 16x30 wall on the front of his shop.

The task was understandably daunting for the two boys:

"I remember standing back looking at that wall saying, there's gonna be a hole here, forever."

But a year and a half of daily work later, they completed the wall.

Reflecting on the experience, Will Smith offered a piece of timeless wisdom:

"You don't try to build a wall...You don’t start by saying, I’m going to build the biggest, baddest wall that’s ever been built. You say, I’m going to lay this brick as perfectly as a brick can be laid...you do that every single day, and soon you have a wall."

This is a powerful reminder for life:

No matter how big the task or project may seem at the start, you just have to lay one brick.

The wall may be daunting, but today's brick is all that matters.

Extraordinary results are simply the macro result of tens, hundreds, or thousands of tiny daily actions.

Remember: Small things become big things.

So today and all days, let's lay one brick as perfectly as a brick can be laid...

این پیام برای کسانی هست فردا صبح قرار کانال رو چک کنند !و دنبال يك انگيزه اند 👇🏻


میبینم یک سری ها هم الان چک کردن 😘ماچ به کلتون 😁💐

👇🏻👇🏻👇🏻👇🏻👇🏻