This is Data

Сегодня хочу поделиться с вами одной классной техникой, которой я пользуюсь, когда нужно принять сложное решение. Она не даёт 100% ответа, но помогает логически разложить решение и взвесить все плюсы и минусы.

Эта техника называется «квадрат Декарта» и была придумана Рене Декартом – французским философом, физиком, математиком и основателем аналитической геометрии.

Обычно, когда мы сталкиваемся с необходимостью принять решение, мы сосредотачиваемся только на одной или двух его особенностях, игнорируя другие важные критерии. Мы задаём себе вопрос: «Что будет, если это произойдёт?» Но этого недостаточно.

Квадрат Декарта похож на классический метод учёта плюсов и минусов, но он позволяет увидеть общую картину и учесть не только позитивные и негативные последствия, но и эффекты от бездействия.

Работать с квадратом Декарта просто:
✔️Делим лист на четыре части.
✔️Вписываем в каждую часть один из вопросов.
✔️Даём подробные ответы.

Вопросы такие:
1️⃣ Что случится, если это произойдет? Здесь мы перечисляем плюсы от принимаемого решения.
2️⃣ Что случится, если это НЕ произойдет? Здесь плюсы, которые получим, если не примем решения.
3️⃣ Что НЕ случится, если это произойдет? Описываем минусы от принимаемого решения, то есть возможные негативные последствия.
4️⃣ Что НЕ случится, если это НЕ произойдет? Этот вопрос относится к потерям, которые мы понесём, если откажемся от решения.

Важно записать как можно больше эффектов, чтобы иметь полную картину. Не стоит полагаться на память.

Квадрат Декарта – универсальный инструмент, который можно использовать в любых сферах: от бытовых задач до управленческих решений. Он не даёт готового ответа, но позволяет представить все выгоды и риски в структурированном виде. Решение формируется на основе этой информации.

❗️И самое главное – если решение принято, отбрасываем все сомнения и без колебаний двигаемся вперед. Это позволяет нам сохранить энергию и сосредоточиться на достижении поставленных целей, не растрачивая силы на бесполезные раздумья.

#опыт

Обычно я читаю около 10 новых статей за неделю и только самое лучшее и интересное идет в дайджест, чтобы сэкономить вам время.
Если понравилось – поставь ❤️

Один из наших коллег-аналитиков опубликовал конспект по всей теории A/В- тестирования в Collab-ноутбуке. Записи основаны на материалах курса по теории и практике А/В тестирования от компании EXPF. Конспект содержит основы статистики, ускорение A/В, ratio-метрики и много чего еще. К некоторым разделам автор подкинул полезных ссылок. Но помните, что конспект – это краткие выжимки. Он пригодится тем, кто уже владеет темой и хочет освежить знания. Если ты новичок, то лучше начни с учебника или курса.

На Хабр залетел начинающий автор с шикарной статьей на тему сегментации и кластеризации временных рядов. Автор применила ML анализ для исследования социальных явлений и событий. В качестве источника данных она взяла интернет-издание Лента.ру и проанализировала новости за год с разбивкой на категории, такие как экологические проблемы, преступления, оружие. Статья, с одной стороны, является красивым примером научного исследования с применением ML. С другой, она выявляет корреляции между новостями. Например, резкий скачок в категории развития бизнеса и торговли произошел из-за начала продажи новых китайских автомобилей после ноября 2023 года, что повлекло сообщения о развитии автомобильной отрасли в России.

Ежедневно аналитики делают выводы о поведении миллионов пользователей крупных приложений, опираясь на данные лишь небольшой части из них – выборке. Но справедливо ли делать выводы о миллионной аудитории по данным 100 пользователей или стоит собрать данные о 1000 пользователей? Чтобы дать ответ на вопрос, автор на Хабр смоделировал тысячу A/A, A/B и A/B/C/D тестов и показал, как параметры эксперимента и статистические критерии влияют на выводы о всей совокупности. В статье вы найдете полезные ссылки для новичков и профи.

#дайджест

Сегодня разберем построение пирамиды метрик. Оно занимает 6 шагов. Первые четыре лучше прорабатывать всей командой в Miro, созвав представителей бизнеса, маркетинг, владельца продукта, аналитиков, тех лидов и др. Последние шаги предоставьте аналитикам.

1️⃣ Постановка бизнес-цели. Возможно, вас интересует привлечение инвестиций или монетизация. Постарайтесь правильно определить цель. Она – залог хорошо подобранных метрик.

2️⃣ Брейншторм метрик. Мы перечисляем уже имеющиеся метрики и задаем себе вопрос: что еще мы хотим отслеживать? Отмечайте на доске, какие метрики вы уже отслеживаете, а какие нет. Так мы закладываем скоуп будущих работ.

3️⃣ Классификация. Теперь мы раскладываем метрики по пирамиде и определяем их иерархию. Для этого внутри каждого слоя мы выбираем NSM и декомпозируем ее.

Классификация показывает гиперфокус и слепые пятна. Гиперфокус – это переизбыток похожих по смыслу метрик в одном из слоев. Чтобы избавиться от него, мы выбираем один наиболее подходящий показатель и отбрасываем другие.

Слепое пятно – это слой пирамиды, на котором почти нет метрик. Часто оно выпадает на продуктовые слои качества и ценности. В этом случае команде нужно заняться поиском «боли» пользователя, которую снимает продукт, и после подобрать метрики к найденному решению.

4️⃣ Ревью. Мы проходимся по метрикам в пирамиде и задаем проверочные вопросы по типу является ли метрика хорошей или на что она влияет. Метрики, провалившие опрос, покидают доску.

5️⃣ Анализ метрик. Аналитики изучают распределение каждой метрики по пользователям, ее ретроспективную динамику и связь с другими метриками. Анализ подсвечивает, как на самом деле пользователь взаимодействует с продуктом. Зная это, вам будет проще объяснить аномалии на графиках.

6️⃣ Документирование и внедрение. Пирамиду важно задокументировать, а каждую метрику представить в виде SQL-кода. Аналитики должны договориться, как именно будут считать каждую метрику. Последним наступает черед визуализации: аналитики обновляют старые и создают новые дашборды.

#метрики

Милый котенок-аналитик в очках, а вокруг дашборды с графиками.

Именно такой промпт я использовал чтобы сгенерировать эту картинку в YandexART. Получилось прикольно, ведь примерно так мы и выглядим 😃

Yandex AI Rendering Technology (YandexART) — диффузионная нейросеть, которая создаёт изображения в ответ на текстовые запросы. Она обучалась на примере 330 миллионов картинок с описанием, знает российский культурный код и использует особый алгоритм распознавания текстов, чтобы точнее понимать пожелания пользователей.

Модель формирует изображения методом каскадной диффузии: сначала генерирует картинки и кадры в соответствии с запросом пользователя, а затем поэтапно увеличивает их разрешение, насыщая деталями. Это позволяет создавать более реалистичную и детализированную графику. Подробнее о качестве и особенностях обучения YandexART можно прочитать на Хабре.

Понедельник. Утро. Дайджест – в ленте.

Время бизнеса с жесткой иерархией прошло. Сегодня выживают только гибкие компании с адаптивной системой управления. Agile-подход изменил и финансовую организацию бизнеса. Теперь руководители продуктовых и функциональных команд должны сами планировать свои финансовые показатели и нести ответственность за доходы, расходы, прибыль/убыток и инвестиции. Денис Дубовцев, автор книги «Профессия финансист» рассказал, как экологично поделить ответственность за финансовые показатели продукта внутри компании. Например, нужно автоматизировать систему создания финансовых отчетов, обсуждать цифры после каждого закрытого месяца и на основе их корректировать запланированные показатели.

Бизнес-секреты рассказали, что такое проект и как им управлять. Причем не важно, мы говорим о разработке продукта или освоении новой профессии. Проект – это набор шагов на пути к достижению результата (например, готового продукта или приема на работу). Статья, в первую очередь, будет полезна начинающим руководителям. Она рассказывает про 5 процессов управления проектом – инициация, планирование, реализация, мониторинг и контроль, завершение. В статье также разбираются популярные методы управления: Waterfall, Scrum и Kanban. Автор дает советы, когда важно делегировать задачу и как перераспределять ресурсы. В конце – список полезных книг и статей.

Разведочный анализ данных (EDA) – это подход к анализу наборов данных с целью обобщить их основные характеристики. Процесс энергозатратный, но крайне полезный. Он позволяет максимально вникнуть в данные, выбрать ключевые переменные, обнаружить отклонения и аномалии. Важный инструмент метода – визуализация данных. Можно ли пропустить EDA и перейти сразу к выводам? Почти всегда нет. Автор на Хабре пояснила несколько статистических феноменов (например, квартет Энскомба и парадокс Симпсона), при которых полный анализ всех переменных – единственный способ избежать ложных выводов.

#дайджест

Чем живут продуктовые и дата-аналитики

Ребята из NEWHR Data наконец-то опубликовали результаты масштабного исследования рынка русскоязычных продуктовых и дата-аналитиков. Респонденты (в основном опытные аналитики грейдов middle и выше) ответили на десятки вопросов.

В числе прочего:

🔹 Как изменились их зарплаты за прошлый год;
🔹 В каких компаниях хотят и не очень хотят работать;
🔹 Что поменялось в приоритетах кандидатов и их взглядах на рынок за последние три года;
🔹 Что ценят в работодателях и считают «хорошей аналитической культурой»;
🔹 Чем занимаются в своей повседневной работе;
🔹 В каких странах живут и хотели бы жить.

Есть любопытные инсайты. Всегда интересно посмотреть, чем живут твои коллеги 🤓

По традиции понедельников – подборка классных статей.

Несмотря на то, что многие специалисты (включая меня) делятся опытом и знаниями, начинающим аналитикам этого мало. Нужна дорожная карта, чтобы из информационного компота человек сформировал систему предмета в голове. Чтобы помочь юным падаванам, опытный продуктовый аналитик предложил отличный роадмап по профессии. Автор прописал каждый шаг обучения: от освоения технической базы до постижения аналитической культуры. Мой совет: не распыляйтесь. Если вы выберите этот роадмап, то следуйте ему до конца.

Специалисты по контекстной рекламе из Ingate попросили ChatGPT сегментировать аудиторию по методу 5W. В основу модели заложены 5 вопросов, ответы на которые дают понимание целей и интересов аудитории: What, Who, Why, When, Where. Затем ребята выделили микросегменты и подобрали персонализированные креативы под каждое ядро ЦА и так смогли снизить CPL в несколько раз. Этот кейс пример того, как часть задач аналитиков переходит в руки нейросетей. Авторы статьи поделились готовым алгоритмом запросов к чату и показали оформление каждого шага. Главное – проверять данные, собранные нейросетью.

Автор блога на Medium (VPN) поделился гайдом для подсчета продуктовых и UX метрик. Он выделил список обязательных метрик и объяснил, как их находить. А также рассказал, чем отличаются UX метрики от чисто продуктовых. Главная задача таких метрик – выявлять недостатки в удобстве использования продукта и помогать расставлять приоритеты в проектных инициативах в тех областях, где больше всего возможностей для улучшения. Наконец, эти показатели говорят вам, насколько успешен продукт.

#дайджест

Каждый мой пост на тему метрик – это ответ на самые частые вопросы продактов:
❓Откуда брать метрики и KPI;
❓Как связать метрики;
❓Как приоритезировать бэклог.

Еще один ответ в копилку – пирамида метрик. Это фреймворк для иерархии и классификации метрик на уровне бизнес-логики. С помощью него СЕО и продакт могут понять, почему буксует продукт, а стартапер – соблазнить инвестора показателями.

Не существует универсальной пирамиды, так как каждая компания конструирует ее под свои цели. Здесь я приведу вариант Елены Серегиной, главного популяризатора и автора пирамиды метрик в России.

Если посмотреть на бизнес также, как психолог Абрахам Маслоу посмотрел на потребности человека, то мы увидим пирамиду целей. Лена выделяет 4 слоя в пирамиде. Каждый слой содержит метрики, количественно характеризующие данный уровень.

Пирамида метрик повторяет пирамиду Маслоу: главное наверху, а рычаги давления внизу. Достичь вершины можно только после проработки нижних слоев. Несмотря на это, объяснить структуру пирамиды проще сверху вниз.

На вершине лежит слой бизнес-целей, от которых зависит стратегия построения всей пирамиды. В нем мы располагаем метрики Revenue, Profit и Market Share. Его подстилает слой маржинальности продукта. Там обитают LTV, ARPU и OPEX.

Средний слой посвящен продукту, а именно как он решает проблему пользователя и как клиент взаимодействует с ним. Оценить продукт можно со стороны лояльности пользователей, его ценности и качества. Причем качество в пирамиде лежит ниже лояльности и ценности, а значит приоритетнее.

Метрики лояльности достаточно универсальны: NPS, Retention, Churn rate, и др. Метрики ценности и качества определить сложнее, так как они полностью зависят от продукта. Есть правило: чем ниже спускаемся по пирамиде, тем меньше универсальных метрик и больше кастомных.

В основании пирамиды лежит слой интерфейса продукта и маркетинга. В нем мы располагаем все аудиторные, временные и маркетинговые метрики, например, CTR и средняя продолжительность сессии.

#метрики

До сих пор пребываю в шоке после ужасного теракта. Сначала не хотел делать дайджест, но делать надо, ведь именно страха и апатии от нас и добиваются. В эти выходные общество показало небывалый пример единения, мы стали сильнее.
Вечная память погибшим🙏
——
Yandex Cloud расширяет возможности работы с данными. Во-первых, провайдер запустил Yandex MetaData Hub. Он объединяет функции управления метаданными для интеграции баз данных и подключения к ним. Во-вторых, в Yandex DataLens появятся два тарифа: Community для небольших проектов и некоммерческого использования и Business для корпоративного внедрения и бизнес задач. В-третьих, команда повысила общий уровень безопасности управляемых баз данных. Теперь пользователи смогут более детализировано отслеживать аудитные логи в Audit Trails.

Все обсуждают статью Сергея Тихомирова, ex Head of Product Яндекс Практикум, о сути экосистемы продуктов. Сергей объяснил, что лежит в основе нее и почему супераппы или платформы – еще не экосистема. Чтобы назвать набор продуктов экосистемой, должны быть соблюдены условия:
1. Продукты объединены платформой единого профиля пользователя;
2. Между продуктами существует передаточная ценность – эффект увеличения ценности от одного продукта экосистемы за счет передачи в него информации из другого (например, авторизационных данных VK ID).
Благодаря статье понимаешь, почему в современных реалиях разработка экосистемы на российском рынке – ключевая стратегия развития компаний.

Сегодня бизнес ищет способы максимизировать работу data команды и измерить рентабельность инвестиций в нее. Автор блога Towards Data Science на Medium (VPN) предложила полезный фреймворк – Пирамида окупаемости инвестиций в данные (Data ROI Pyramid). В основе расчета Data ROI лежат 3 показателя: инвестиции в данные, ценность дата продукта и время простоя данных. В статье даны формулы для расчета каждого из них. Фреймворк актуален руководителям команд аналитиков для отчетов CEO. Редко можно встретить алгоритм расчета Data ROI, а тут целый фреймворк.

#дайджест

Дополню пост о древе метрик книгой, которая научит вас находить KPI и строить иерархии.

📚 KPI Checklists: Develop Meaningful, Trusted KPIs and Reports Using Step-by-step Checklists
Автор: Bernie Smith

Берни Смит, владелец компании Made to Measure KPIs, изобрел метод KPI-деревьев в 2007 году. Автор ничего не говорит о NSM, зато учит правильно определять стратегическую миссию продукта. Именно она лежит на вершине иерархии. Это перекликается с фреймворком Полярной звезды: в нем мы формулировали цель продукта в виде емкой фразы, а затем искали метрику, которая измеряет движение к цели.

Книга наполнена краткими объяснениями и чек-листами. Главы расскажут, как сформулировать миссию продукта, понять его KPI и определяющие их метрики, как подготовить отчет и дэшборд, а также справиться со сложностями на каждом этапе.

Если хочется быстро понять суть метода, то вот краткий гайд по построению KPI-дерева на сайте Made to Measure KPIs.

🔗Купить книгу на английском можно на Амазоне. На русский язык книга не переводилась.

#книга

Хочу поделиться с вами впечатлениями от посещения домашнего митапа по продуктовой аналитике, который не так давно прошел в новом офисе Tinkoff.

Сейчас, когда крупные конференции по аналитике на паузе, такие мероприятия – прекрасная возможность познакомиться с комьюнити, обменяться идеями и получить ценные знания.

На митапе ребята из Авито.Работа, рассказали как команда аналитиков использует аналитику для оценки актуальности объявлений, что напрямую влияет на выручку компании.

Также было интересно узнать, как ЦИАН применяет непересекающиеся эксперименты и псевдо-тесты для оценки событийных метрик.

Но особенное впечатление оставил рассказ о решении от Tinkoff, которое помогает аналитикам экономить время, а самой компании оставаться data-driven (всегда было интересно посмотреть, какие решения они применяют, особенно в условиях санкций).

Делюсь ссылкой на видео и презентации. Надеюсь, они окажутся для вас такими же полезными, как и для меня.

Блинов поели🥞, пора приступать к работе.

При визуализации данных мы должны помнить о ее главной цели – донести знание до аудитории. Это заставляет нас залезать в шкуру пользователя дашборда и задумываться о том, как он воспринимает графики. Восприятию могут помешать перегруз графиков ненужными деталями, неправильные акценты или их отсутствие, а также изображение голых данных без контекста. В блоге Towards Data Science на Medium (VPN) Мария Мансурова, Data&Product Analytics Lead, рассказала, как разглядеть дьявола в деталях и помочь аудитории увидеть главное.

На Хабре я нашел большой, крутой туториал, посвященный кластеризации в ML. Приключение на 34 минуты. Автор рассказывает все, о чем вы боялись узнать спросить. Статья разбирает принцип работы популярных алгоритмов кластеризации от простых к более продвинутым: K-Means, методы агломеративной и спектральной кластеризаций, DBSCAN и Affinity Propagation. Автор показывает их упрощённые реализации с нуля на Python и дает дополнительные источники в конце каждого раздела, чтобы вы могли забрести в самые дебри.

Aha moment – это тот момент, когда пользователь понимает, как продукт решает его проблему или удовлетворяет потребность. Это набор действий, после которых человек осознает ценность продукта. Он начинает пользоваться продуктом чаще, становясь лояльным клиентом. Мало кто задумывается об Aha moment при развитии продукта. И зря. Когда продакт знает Aha moment продукта и использует его, он влияет на метрики Activation и Retention. Автор блога на Medium (VPN) в деталях разбирает суть Aha moment и предлагает гайд, как определить его за 3 шага:

1️⃣ Разговор с пользователями (постоянными и ушедшими);
2️⃣ Сбор данных и поиск паттернов;
3️⃣ Выявление и тестирование возможного поведения.

#дайджест

После нахождения NSM самое время построить древо метрик.

Древо или иерархия метрик – это фреймворк для иерархии и классификации метрик, которые выстраиваются от ключевой метрики продукта (NSM).

Цель фреймворка:
🔹держать фокус на значимых метриках;
🔹определить слабые места;
🔹внедрять фичи, развивающие продукт в желаемом направлении.

Алгоритм построения:
1️⃣ Начинаем «с головы», то есть с нахождения NSM. Я рассказал один из способов выше, а также поделился полезной книгой.
2️⃣ Далее определяем 3-5 входных метрик или KPI, которые напрямую влияют на NSM: если KPI растут, то растет и NSM. Они образуют I уровень иерархии. Если вы нашли свою NSM, то скорей всего уже знаете KPI продукта.
3️⃣ Чтобы подобрать «дочерние» метрики II уровня, к каждому KPI задаем вопрос: Какие показатели влияют на значение метрики?
4️⃣ Этот же вопрос мы задаем к метрикам на уровне II и определяем метрики уровня III. В зависимости от сложности продукта продолжайте раскопки до уровня IV-V.

В итоге мы получаем перевернутое дерево, в котором вышележащие метрики ветвятся на определяющие их дочерние. Древо строится согласно концепции MindMap: каждая мысль на карте порождает новые идеи, логически вытекающие из нее.

Советы:
✔️Хорошее древо – это то, где вышележащая метрика зависит только от своих дочерних метрик. Важно учесть все дочерние показатели.
✔️Не стоит напрямую связывать дочерние метрики с несколькими родительскими – так вам будет сложно принимать решения. Лучше выделить одну значимую связь, а остальные обозначить пунктиром.
✔️Помним про характеристики хорошей метрики. Она всегда сравнима, понятна, измеряема, управляема и мотивирует улучшить себя.

Теперь опробуем фреймворк в действии. Откройте бэклог и соотнесите ваши идеи с метриками в иерархии. Для наглядности пишите идеи в комментариях к названию метрики, на которую повлияет новый функционал. Чем ближе к вершине лежит метрика, тем больше вероятность того, что фича выстрелит. Всегда фокусируемся на метриках, а не фичах.

#метрики

Пару недель назад побывал на митапе от агентства АЭРО на тему «Иерархия метрик как основа data-driven подхода».

СРО Миша Зотов и DA-тимлид Егор Лысянский рассказали о своем опыте, подходах к внедрению метрик, из чего состоит основа иерархии и как взаимосвязаны натуральные и синтетические метрики.

Было интересно! Эта тема захватывает меня все больше и уже завтра ждите новый пост про #метрики.

Я нашел интересное исследование метрики TTV (Time-to-Value). Автор опросил компании разного калибра, что они знают о метрике, как считают ее и как используют данные. Исследование полно инсайтов. Например, оказалось, что около 70% опрошенных никак не отслеживают TTV. Главная причина – компании не знают, как ее считать. Это не удивительно. Для расчетов команде нужно однозначно сформулировать ценность для клиента (value), которую порой сложно стандартизировать. С другой стороны, те, кто отслеживают метрику, понимают под TTV разные вещи, путая ее то с Activation, то с AHA moment. Сам же автор определяет ее так: TTV – это время от конца Acquisition до конца Activation, за которое пользователь становится лояльным клиентом.

А вы знали, что около 45% выручки от покупок в приложении (in-app purchase, IAP) измеряются неточно? Так утверждает автор статьи в блоге Appsflyer. Он выделяет 7 подводных камней при расчете IAP, например:
🔹мошеннические транзакции;
🔹дупликация данных;
🔹возвраты покупок;
🔹отложенные транзакции, которые не всегда заканчиваются оплатой покупки.
Многие из названных проблем характерны для любых проектов, в которых есть оплата. Статья подсвечивает темные места при расчете выручки и рассказывает, как проконтролировать их. Чем точнее вы измеряете IAP, тем лучше показатели ROMI и ROAS.

Интересный пример визуализации климатических данных от Яндекса. Команда изучила исторические данные сервиса Яндекс Погода и выяснила, какие климатические изменения произошли в России с середины прошлого века. Исследователи изучали погоду по регионам и отдельно – по городам-миллионникам. Результаты однозначны: в России тоже потепление. В целом температура в последнее десятилетие была на 2,2 °C выше, чем в 1950–1979.

#дайджест