В своём втором посте я хочу рассказать о кейсе адаптации процесса между отделом UA и Creative Production (CP).
🧶Дано:
- Отдел CP, который выдаёт 5 креативов в неделю.
- Креативы выдаются по пятницам.
- UA (в моём лице) запускает по 5 креативов в неделю.
- Запуски проходят в пятницу (легаси).
- Оценка креативов проходит левой пяткой правой ноги.
😱 Проблема:
Запуски в пятницу растягивают срок оценки креативов. Для корректной оценки мне нужны метрики 7 дня. Т.е. полную когорту 7 дня по первым 7 дням я увижу только через 7 + 7 + 1 + 1 (когда закроется последний день долёта метрик) = 16 дней (точнее НА 16 день). Иными словами, в воскресенье. В реальности первые выводы я могу делать в понедельник.
Но понедельник - это время митингов и планов на неделю. Время на полноценную оптимизацию нет. Итого всё сдвигается на вторник. Грузом накапливается долг креативов с прошлой недели. Т.е. каждую неделю +5 крео. Что делать?
Как бы поступили Вы?
1️⃣ Оставить как есть. Оно же работает.
2️⃣ Забить на полную когорту 7 дня. Давайте принимать решение например в пятницу (т.е. на 7 + 5 + 1 + 1 = 14 день).
3️⃣ Попросить СР отдавать креативы в среду/четверг.
4️⃣ Принимать решение по более ранним метрикам.
5️⃣ Не смотреть на пост-инстальные метрики - только CTR, IR, cpi.
6️⃣ Запускать креативы не в пятницу, а позже.
Что сделал я:
Сначала пришёл в CP и попросил выдавать креативы в среду/max четверг. Итог: отказ. Циклы продакшена в отделе построены по 5-дневным спринтам. И выдать первый спринт раньше не представляется возможным. Ждать 4 дня = растягивать продакшен тех же 5 крео на 5 + 4 = 9 рабочих дней и тратить время впустую.
Посмотрев на список решений я понял, что варианты 1, 3 и 6 всё равно приводят к накоплению долга крео. А значит в будущем всё равно придётся менять процесс. А это крайне сложно - менять один и тот же процесс дважды в течение короткого времени.
Вариант 1 я не рассматривал как рабочий. Вариант 2 и 5 я не смогу аргументировать. Оставался вариант 3. Но мне в любом случае нужна полная подневная динамика - т.е. каждый день жизни креатива с пятницы по воскресенье.
ЧТО ДЕЛАТЬ???
💡Я решил посмотреть, насколько исторически коррелируют динамика метрик 3 дня (ROAS3, CPPU3, c2p3) с аналогичными метриками 7 дня. Пару часов в Tableau и вуаля - практически полное отсутствие аномалий. Креативы, которые выбились в топ по спенду на 3 день - не умирают позже. Что выбивалось вперёд на 3 день в ~97% случаев было в топе и позже по опорным метрикам также.
💡Осталось решить вопрос с креативным долгом. Всё оказалось проще. Давайте запускать креативы во вторник/среду и оценивать в четверг/пятницу.
Соединяем 💧 и 🔥
ПОЛУЧИЛИ
- отсутствие креативного долга (креативы запускались во вторник/среду на следующую неделю после пятничного релиза).
- накопившийся хвост разгребли за месяц. Просто попросил CP уделить чуть больше внимания другим тайтлам на 4 недели, сохраняя темпы запуска по 5 креативов в неделю.
- оценку проводил по 4 полным дням опорных метрик 3 дня (как - расскажу отдельно).
- в отделе CP ничего не поменялось - они через 4 недели полностью вернулись к предыдущему темпу.
В результате:
🟢 UA - есть запас времени на запуск и оценку.
🟢 СР - сохранили удобный темп.
🟢 При этом не пожертвовали качеством тестов.
Все в ➕➕➕
Процесс должен работать для повышения эффективности людей, а не ради процесса ☝️
🧶Дано:
- Отдел CP, который выдаёт 5 креативов в неделю.
- Креативы выдаются по пятницам.
- UA (в моём лице) запускает по 5 креативов в неделю.
- Запуски проходят в пятницу (легаси).
- Оценка креативов проходит левой пяткой правой ноги.
😱 Проблема:
Запуски в пятницу растягивают срок оценки креативов. Для корректной оценки мне нужны метрики 7 дня. Т.е. полную когорту 7 дня по первым 7 дням я увижу только через 7 + 7 + 1 + 1 (когда закроется последний день долёта метрик) = 16 дней (точнее НА 16 день). Иными словами, в воскресенье. В реальности первые выводы я могу делать в понедельник.
Но понедельник - это время митингов и планов на неделю. Время на полноценную оптимизацию нет. Итого всё сдвигается на вторник. Грузом накапливается долг креативов с прошлой недели. Т.е. каждую неделю +5 крео. Что делать?
Как бы поступили Вы?
1️⃣ Оставить как есть. Оно же работает.
2️⃣ Забить на полную когорту 7 дня. Давайте принимать решение например в пятницу (т.е. на 7 + 5 + 1 + 1 = 14 день).
3️⃣ Попросить СР отдавать креативы в среду/четверг.
4️⃣ Принимать решение по более ранним метрикам.
5️⃣ Не смотреть на пост-инстальные метрики - только CTR, IR, cpi.
6️⃣ Запускать креативы не в пятницу, а позже.
Что сделал я:
Сначала пришёл в CP и попросил выдавать креативы в среду/max четверг. Итог: отказ. Циклы продакшена в отделе построены по 5-дневным спринтам. И выдать первый спринт раньше не представляется возможным. Ждать 4 дня = растягивать продакшен тех же 5 крео на 5 + 4 = 9 рабочих дней и тратить время впустую.
Посмотрев на список решений я понял, что варианты 1, 3 и 6 всё равно приводят к накоплению долга крео. А значит в будущем всё равно придётся менять процесс. А это крайне сложно - менять один и тот же процесс дважды в течение короткого времени.
Вариант 1 я не рассматривал как рабочий. Вариант 2 и 5 я не смогу аргументировать. Оставался вариант 3. Но мне в любом случае нужна полная подневная динамика - т.е. каждый день жизни креатива с пятницы по воскресенье.
ЧТО ДЕЛАТЬ???
💡Я решил посмотреть, насколько исторически коррелируют динамика метрик 3 дня (ROAS3, CPPU3, c2p3) с аналогичными метриками 7 дня. Пару часов в Tableau и вуаля - практически полное отсутствие аномалий. Креативы, которые выбились в топ по спенду на 3 день - не умирают позже. Что выбивалось вперёд на 3 день в ~97% случаев было в топе и позже по опорным метрикам также.
💡Осталось решить вопрос с креативным долгом. Всё оказалось проще. Давайте запускать креативы во вторник/среду и оценивать в четверг/пятницу.
Соединяем 💧 и 🔥
ПОЛУЧИЛИ
- отсутствие креативного долга (креативы запускались во вторник/среду на следующую неделю после пятничного релиза).
- накопившийся хвост разгребли за месяц. Просто попросил CP уделить чуть больше внимания другим тайтлам на 4 недели, сохраняя темпы запуска по 5 креативов в неделю.
- оценку проводил по 4 полным дням опорных метрик 3 дня (как - расскажу отдельно).
- в отделе CP ничего не поменялось - они через 4 недели полностью вернулись к предыдущему темпу.
В результате:
🟢 UA - есть запас времени на запуск и оценку.
🟢 СР - сохранили удобный темп.
🟢 При этом не пожертвовали качеством тестов.
Все в ➕➕➕
Процесс должен работать для повышения эффективности людей, а не ради процесса ☝️