Как вкатиться упороться в статистику

Идем еще на один следующий этап движения по нашему роадмапу вкатывания в Data Science. Если ранее мы рассматривали теорию вероятностей, то сейчас переходим к дисциплине, которая нам пригодится намного чаще. Потому что обычно мы всегда работаем с неопределенностями.

Давайте не будем долго тянуть - просто предположим, что теорию вероятностей мы уже изучили. Го сразу к темам:

1. Описательная статистика и визуализация данных

Тут следует рассмотреть меры центральной тенденции (среднее, медиана, мода), а также меры разброса (дисперсия, стандартное отклонение, квартили, квантили, перцентили и интерквантильный размах). Дополнительно рассмотреть выбросы и по желанию понять, что такое центральный момент распределения. По визуализации существует столько нюансов, поэтому стоит просто пробежаться по верхам (столбчатые диаграммы, гистограммы, боксплоты, скаттерплоты).

2. Выборки и генеральная совокупность

Знать, что такое генеральная совокупность и чем она все же отличается от выборки, и как у них из-за этого отличаются статистические оценки. Сюда докидываем Power Analysis. Также надо понимать про требования к оценкам и доверительные интервалы к ним.

3. Статистические гипотезы и тесты

Уметь формулировать гипотезы, определять уровень значимости и понимать, при чем тут p-value (еще знать определение!). Далее уже можно переходить к ошибкам I и II рода, оценивать мощность критерия. Изучить параметрические тесты (t-тест, z-тест, F-тест) и непараметрические тесты (хи-квадрат, тест Манна-Уитни, критерий Вилкоксона). Дополнительно к этому обязательно пройтись по статмоделям!

4. Анализ зависимостей

Изучить корреляции(коэффициент Пирсона, Спирмэна и ранговые корреляции) и уметь их применять. То же самое относительно регрессионного анализа (линейная и логистическая регрессии для одномерного и много мерного случаев). По возможности изучить предпосылки Гаусса-Маркова. Ну а дальше можно удариться в дисперсионный анализ (ANOVA), факторный анализ, кластерный анализ
и даже временные ряды.

Если есть желаение, то можно пойти и дальше в байесовскую статистику, но это скорее предмет еще одного отдельного разговора, я думаю тут есть специалисты покруче меня.

✏️ Курсы:

▫️Курс математической статистики от Райгородского

▫️Курс по прикладной статистике от Академии Аналитиков Авито

▫️Курс по матстату от Филиппа Ульянкина с кодом тут

▫️Основы статистики от института биоинформатики (опять Толя Карпов!) 1, 2, 3

▫️Математическая статистика от CSC

▫️Курс с применением ТВ и статистики в Python от нашего леопарда Глеба Михайлова

▫️Курс от матпрофи

✏️ Ресурсы:

▫️Хорошая интерактивная книга по статистике от коллег из HSE UX LAB на языке R

▫️Задачи по статистике на матбюро

▫️Семинары по статистике от Поступашек (ноутбуки тут)

▫️Канал, где чел поясняет за разные моменты в статистике и ML

▫️По желанию дальше можно изучить дружелюбную эконометрику

▫️Lessons in Statistical Thinking

✏️ Почитать:

▫️Сборник задач и упражнений по матстату

▫️Книга с неплохим введением в статистику

▫️Севастьянов. Курс теории вероятностей и математической статистики

▫️Jaynes E.T. Probability Theory: The Logic of Science

▫️Montgomery D.C., Runger G.C. Applied Statistics and Probability for Engineers, 7th Ed. Нашел пятое

▫️Sheskin D.J. Handbook of Parametric and Nonparametric Statistical Procedures, 5th Ed

▫️Neuhauser М. Nonparametric Statistical Tests: A Computational Approach

✏️ К собесам:

▫️Все, что я скидывал для подготовки к ТВ

▫️Если вы не понимаете, для чего нужна статистика на работе, то попробуйте прочесть вот эту статью от ребят из X5

▫️Статья про распределения во всех возможных вариациях

▫️Для жестких Practical Guide To Quantitative Finance Interviews

▫️Задачки по теории вероятностей и статистике в ноутбуках

▫️Анки-карточки, чтобы заботать статистические термины

«Статистики не бывает без "нового уровня неопределённости", про который обычно говорят как невозможность прямого анализа "генеральной совокупности"...»

@asisakov_channel

#statistics