Data world with Mina

آموزش پذیر باش. همیشه تو درست نمیگی. همیشه حق با تو نیست. این جمله سر لوحه من تو کارم، روابطم و خیلی چیزاست.
🌹🌹

🚨Data Science Interview Questions


1.     Multiple Linear Regression?

3.     OLS vs MLE?

4.     R2 vs Adjusted R2?
During Model Development which one do we consider?

5.     Lift chart, drift chart

6.     Sigmoid Function in Logistic regression

7.     ROC what is it? AUC and Differentiation?

8.     Linear Regression from Multiple Linear Regression

9.     P-Value what is it and its significance? What does P in P-Value stand for? What is Hypothesis Testing? Null hypothesis vs Alternate Hypothesis?

10.  Bias Variance Trade off?
11.  Over fitting vs Underfitting in Machine learning?

12.  Estimation of Multiple Linear Regression

13.  Forecasting vs Prediction difference? Regression vs Time Series?

14.  p,d,q values in ARIMA models
      1.     What will happen if d=0
      2.     What is the meaning of p,d,q values?

16.  How to find the node to start with in a Decision tree.

17.  TYPES of Decision trees - CART vs C4.5 vs ID3

18.  Gini index vs entropy

19.  Linear vs Logistic Regression

20.  Decision Trees vs Random Forests

21.  Questions on liner regression, how it works and all
22.  Asked to write some SQL queries

23.  Asked about past work experience

24.  Some questions on inferential statistics (hypothesis testing, sampling techniques)

25.  Some questions on table (how to filter, how to add calculated fields etc)


27.  What certification Have u done?

28.  What is a Confidence Interval?

29.  What are Outliers? How to Detect Outliers?

30.  How to Handle MissingValue?

گوگل با هوش مصنوعی سایت‌های ناشر محتوایی با «سئوی انگلی» را تنبیه می‌کند


گوگل به‌عنوان بزرگ‌ترین موتور جست‌وجوی جهان، همواره تلاش می‌کند تا کیفیت نتایج جستجو را بهبود بخشد و تجربه کاربری را بهینه‌سازی کند. در همین راستا، این شرکت اخیراً تغییرات قابل‌توجهی در الگوریتم‌های خود اعمال کرده که هدف اصلی آن‌ها، مقابله با محتوای بی‌کیفیت و سئو انگلی (parasite SEO) است.

درواقع، سئو انگلی به محتوایی گفته می‌شود که به‌جای تمرکز بر نیازهای کاربران و ارائه‌ی اطلاعات مفید، صرفاً برای بهبود رتبه در نتایج جستجو تولید می‌شود. این نوع محتوا معمولاً کم‌کیفیت، تکراری و فاقد ارزش محسوب می‌شوند و تجربه‌ی کاربری نامطلوبی را برای کاربران ایجاد می‌کند.

یکی‌از نمونه‌های بارز محتوای سئو انگلی، انتشار مقالات و صفحاتی است که ارتباط کمی با موضوع اصلی سایت دارند، اما بیش‌از‌حد از کلمات کلیدی پرکاربرد استفاده می‌کنند. همچنین، تولید انبوه محتواهای تکراری با تغییر جزئی در کلمات و عبارات، از دیگر روش‌های رایج سئو انگلی محسوب می‌شود.

گوگل با به‌روزرسانی‌های اخیر الگوریتم‌های خود، به‌شدت روی شناسایی و کاهش رتبه‌ی این نوع محتوا تمرکز کرده است. غول دنیای جست‌و‌جو با استفاده از هوش مصنوعی پیشرفته، قادر است محتوای باکیفیت را از محتوای بی‌کیفیت تشخیص دهد و سایت‌هایی را که از روش‌های سئو انگلی استفاده می‌کنند با اعمال جریمه، تنبیه کند. همچنین، گوگل به سایت‌هایی که از خدمات تولید محتوا به‌صورت انبوه و بی‌کیفیت استفاده می‌کنند نیز هشدار داده است.

🔶رانش مفهوم یا گذار مفهوم
  (Concept Drift)

تغییر تدریجی مفهوم_Concept Drift در یادگیری ماشین به معنی تغییر ویژگی‌های آماری متغیر مورد مطالعه است به طوری که مدل در طول زمان به صورت پیش‌بینی نشده‌ای تغییر می‌کند. رانش مفهوم باعث می‌شود که پیش‌بینی‌ها با گذر زمان دقت خود را از دست بدهند.

✅ این پدیده می‌تواند باعث کاهش دقت و عملکرد مدل یادگیری ماشین شود، زیرا روابطی که مدل در زمان آموزش یاد گرفته است دیگر با الگوهای داده‌های جدید مطابقت ندارند.
🔶 انواع تغییر مفهوم Concept Drift

1-تغییر ناگهانی: توزیع داده‌ها به طور ناگهانی تغییر می‌کند.
مثال: تغییر ناگهانی در سیاست‌های یک کسب‌وکار که رفتار مشتریان را تحت تأثیر قرار می‌دهد.
2- تغییر تدریجی: توزیع داده‌ها به مرور زمان تغییر می‌کند.
مثال: تغییرات آرام در ترجیحات مشتریان به دلیل روندهای بازار.
3-تغییر دوره‌ای: الگوها در بازه‌های زمانی مختلف تکرار می‌شوند، اغلب به صورت فصلی.
مثال: تغییرات فصلی در روند فروش محصولات. و در این حالت مدل‌های ثابت نمی‌توانند در چرخه‌های تکراری پیش‌بینی دقیقی داشته باشند.
4-تغییر پیوسته: تغییرات تدریجی و مداوم در توزیع داده‌ها.
مثال: تغییر آرام در داده‌های حسگرها به دلیل فرسودگی تجهیزات. که در این حالت مدل به مرور زمان منسوخ می‌شود.
برای مقابله با رانش داده‌ها روش‌های مختلف و متعددی موجود است. برای مثال می‌توان الگوریتم را با استفاده از روش‌های یادگیری آنلاین بر روی داده‌ها برازش کنیم. همچنین با استفاده از راهکارهای آماری و مقایسه‌ی توزیع داده‌ها با روش‌هایی مانند
روش KL Divergence
یا جنسون شنون (Jenson Shannon نمونه‌ای از داده‌های جدید را به صورت دوره‌ای با داده‌های قبلی (که الگوریتم بر روی آن‌ها یادگرفته شده است)، مقایسه کرده تا بفهمیم که آیا داده‌ها دچار رانش شده است یا خیر. با این کار می‌توانیم به صورت دوره‌ای یک مجموعه‌ی داده‌ی آموزشی ایجاد کرده و الگوریتم را هر چند وقت یک بار بر روی داده‌های جدید برازش کنیم.

🔺سایر روشهای مقابله: بازآموزی دوره‌ای مدل Periodic Model Retraining،  به‌روزرسانی مداوم پارامترهای مدل با ورود داده‌های جدید مانند الگوریتم گرادیان نزولی تصادفی (SGD)، آموزش مدل با استفاده از یک پنجره متحرک از داده‌های اخیر Window-based Approaches

#یادگیری_ماشین
#concept_drift
@datalook_ir

کتابخانه های مفید استخراج ویژگی برای سری زمانی


🔸کتابخانه Tsfresh یک کتابخانه قدرتمند است که به صورت خودکار صدها ویژگی از داده‌های سری زمانی استخراج می‌کند. این کتابخانه طیف گسترده‌ای از ویژگی‌های سری زمانی را از معیارهای آماری ساده گرفته تا الگوریتم‌های پیچیده محاسبه می‌کند.
این قابلیت باعث می‌شود که Tsfresh به ویژه برای استخراج جامع ویژگی‌ها بدون نیاز به مداخله دستی بسیار کاربردی باشد.

🔶کتابخانه SKtime یک فریمورک یکپارچه برای یادگیری ماشین با سری‌های زمانی است که شامل قابلیت‌هایی برای استخراج ویژگی نیز می‌باشد.
این فریمورک ابزارهایی برای تبدیل سری‌های زمانی و استخراج ویژگی‌های مرتبط ارائه می‌دهد.

🔺 فریمورک Featuretools یک چارچوب برای مهندسی ویژگی خودکار است که در مدیریت مجموعه داده‌های زمانی و رابطه‌ای بسیار قدرتمند عمل می‌کند.
این ابزار از روش Deep Feature Synthesis استفاده می‌کند تا به صورت خودکار ویژگی‌هایی را از چندین جدول داده مرتبط ایجاد کند و امکان تولید ویژگی‌های پیچیده از روابط وابسته به زمان را فراهم می‌سازد.

✅ کتابخانه Scipy Stats مجموعه‌ای جامع از توابع آماری و توزیع‌های احتمالی ارائه می‌دهد که برای استخراج ویژگی‌های آماری از داده‌های سری زمانی بسیار مفید است.

مجموعه Scipy.signal ابزارهای پردازش سیگنال ارائه می‌کند که برای تحلیل سری زمانی بسیار کاربردی هستند. این ابزارها شامل توابعی برای فیلترگذاری، نمونه‌برداری مجدد، و تحلیل طیفی هستند که می‌توان از آن‌ها برای استخراج ویژگی‌ها در حوزه فرکانس استفاده کرد.

🔸کتابخانه Tsfel یک کتابخانه کاربردی است که به طور خاص برای استخراج ویژگی از داده‌های سری زمانی طراحی شده است.
این کتابخانه طیف گسترده‌ای از ویژگی‌های سری زمانی را در حوزه‌های مختلف (آماری، طیفی، زمانی) ارائه می‌دهد، که آن را به ابزاری متمرکز و کارآمد برای وظایف مهندسی ویژگی سری‌های زمانی تبدیل می‌کند.

✅ کتابخانه Feature-engine یک کتابخانه عمومی برای مهندسی ویژگی است که شامل قابلیت‌هایی قابل استفاده برای داده‌های سری زمانی می‌باشد.
اگرچه این کتابخانه به طور خاص برای سری‌های زمانی طراحی نشده است، اما تکنیک‌هایی برای تبدیل متغیرها و روش‌های کدگذاری ارائه می‌دهد که می‌توانند در زمینه‌های مرتبط با سری زمانی مفید واقع شوند.
@datalook_ir