Почему застройщики не вправе доверять собственной статистике

 

Если вы застройщик, у вас наверняка есть интернет-маркетолог. Он размещает рекламу в интернете, тестирует новые рекламные каналы, отключает неэффективную рекламу. Чтобы понять, правильно ли работает реклама, маркетолог измеряет конверсию. Часто это конверсия трафика в лиды: сколько из всех, кто пришёл на сайт, позвонили или отправили заявку. Всякий эксперимент или увеличит конверсию, или нет. Чем выше конверсия, чем дешевле обходится каждый клиент.

Маркетологу важно понимать, насколько можно доверять собранной статистике и связям между числами. Хороший маркетолог использует две взаимосвязанных переменных: размер выборки и размер эффекта.

Размер выборки — количество событий, которые маркетолог анализирует. Чем больше размер выборки, тем больше доверия к статистике, которую получает маркетолог в эксперименте. Если вы смотрите конверсию посетителей в лиды, то количество посетителей, которых вы получите, и будет выборкой.

  • Вот размещаете вы контекстную рекламу в Яндекс.Директе. Приходит по рекламе 30 000 посетителей — это и есть выборка.

Размер эффекта показывает, на сколько процентов изменилась метрика — например, выросла конверсия в лиды. Если вам важно увидеть малейшее изменение в конверсии, например, на 0,1%, — это маленький эффект. Маркетолог обязан убедиться, что конверсия изменилась именно из-за эксперимента и что это не случайное совпадение. Для этого ему придётся собрать большую выборку.

Люди покупают квартиры куда реже, чем смартфоны или одежду в интернет-магазинах, поэтому за месяц в интернет-магазин приходит 10 000 000 посетителей, а на ваш сайт — 30 000. При конверсии в лиды в 2% интернет-магазин получит 200 000 лидов, а вы — 600.

  • Привёл маркетолог на сайт 30 000 посетителей, причём уже тёплых, конверсия в лиды — 2%, как у хорошего интернет-магазина. Берём специальный калькулятор для статистики и считаем, как должна меняться конверсия при такой выборке, чтобы результат не был случайным совпадением.
  • Выборки хватит, чтобы увидеть статистически достоверный результат, только если конверсия в лиды вырастет на 31,9%. Была 2% — должна стать 2,638%. В результате эксперимента вы должны получать с 30 000 посетителей не 600 лидов, а 791.

Проверьте, на каких данных ваш маркетолог принимает решения. Одна из самых частых ошибок маркетологов — нехватка выборки.

  • Пришёл к вам маркетолог и говорит: «Раньше мы получали по рекламе 50 000 посетителей и конверсию в 2%. Я изменил кампанию так, что за те же деньги увеличил конверсию этих 50 000 на 10%. Я молодец, потому что мы приросли в лидах: на 100 лидов больше благодаря новой рекламе».
  • На самом деле не факт: чтобы утверждать статистически достоверно, что новая реклама сработала, при конверсии в 2% и её изменении на 10% маркетологу нужна выборка в 90 000, а не 50 000.

Нехватка выборки не означает, что ваш маркетолог плохо сработал. Вам просто не хватает данных, чтобы верить взаимосвязи между изменением рекламы и увеличением трафика. Может, и правда реклама повлияла на трафик, а может, это только совпадение. ¯\_(ツ)_/¯ Подождите и соберите больше статистики.

Не принимайте решения на малых числах. Это как ставить почку на красное после того, как оно выпало трижды подряд.

Поделиться
Отправить
Запинить
Популярное