Доверительный интервал
Допустим у вашего сайта конверсия в покупку была 2%, вы покрасили кнопку «Купить» в красный цвет и конверсия стала 2,2%. Можно ли с уверенностью утверждать что конверсия повысилась?
Джун скажет «да», а мидл спросит «а какой там доверительный интервал?»
На самом деле, чтобы быть уверенным повысилась ли конверсия из за улучшений продукта или это просто случайность, нужно рассчитать доверительный интервал. Конверсия не статичная метрика, она не будет всегда на уровне 2% или 2,2%, она будет прыгать то вверх то вниз. Если считать доверительный интервал до того мы покрасили кнопку, то он был [1,73%;2,27%] — это значит, конверсия в покупку была между 1,73% и 2,27%. Так как конверсия 2,2% входит в этот диапазон, то нельзя утверждать что покраска кнопки улучшила конверсию.
В гугле очень много готовых калькуляторов где можно посчитать доверительный интервал и много статей про то как правильно использовать эту информацию. Советую почитать продактам и интернет-маркетологам.
Тут я настроил свой калькулятор в гугл таблице, который мне помогает считать доверительный интервал и статзначимость. Можете скопировать если будет полезно
Допустим у вашего сайта конверсия в покупку была 2%, вы покрасили кнопку «Купить» в красный цвет и конверсия стала 2,2%. Можно ли с уверенностью утверждать что конверсия повысилась?
Джун скажет «да», а мидл спросит «а какой там доверительный интервал?»
На самом деле, чтобы быть уверенным повысилась ли конверсия из за улучшений продукта или это просто случайность, нужно рассчитать доверительный интервал. Конверсия не статичная метрика, она не будет всегда на уровне 2% или 2,2%, она будет прыгать то вверх то вниз. Если считать доверительный интервал до того мы покрасили кнопку, то он был [1,73%;2,27%] — это значит, конверсия в покупку была между 1,73% и 2,27%. Так как конверсия 2,2% входит в этот диапазон, то нельзя утверждать что покраска кнопки улучшила конверсию.
В гугле очень много готовых калькуляторов где можно посчитать доверительный интервал и много статей про то как правильно использовать эту информацию. Советую почитать продактам и интернет-маркетологам.
Тут я настроил свой калькулятор в гугл таблице, который мне помогает считать доверительный интервал и статзначимость. Можете скопировать если будет полезно