AIN.UA » БизнесКак приоритезировать маркетинговые эксперименты и построить устойчивый процесс Growth Marketing: уроки от HubSpot
EN

Как приоритезировать маркетинговые эксперименты и построить устойчивый процесс Growth Marketing: уроки от HubSpot

1521

Ярослав Степаненко, сооснователь Growth Marketing Stage, подготовил материал о маркетинговых экспериментах и использование для этого HubSpot на основе доклада Дэвида Ли Кима, Senior Growth Marketing Manager в HubSpot.

Ярослав Степаненко. Фото тут и на главной — Growth Marketing Stage

Уроки от HubSpot по построению процессов роста и приоритезации экспериментов

Представьте себе, вы обнаружили, что ваш бизнес или какой-то его сегмент ваших платящих клиентов перестал активно развиваться. Логичный шаг с вашей стороны — провести исследование относительно того, как вы можете преодолеть плато в развитии и увеличить свою прибыль.

Вы начинаете читать десятки блог-постов и приходите к тому, что за окном 2019 год, все стремительно трансформируют классический маркетинг в growth marketing и нужно проводить больше маркетинговых экспериментов.

Далее вы гуглите «маркетинговые эксперименты», чтобы посмотреть, что работает, а что — нет, формируете 20 экспериментов, которые вам нужно запустить, и стартуете.

Спустя неделю вы просматриваете KPI, и… ничего не изменилось. Никаких всплесков трафика, улучшения качества лидов, нет прироста новых пользователей и дохода. Другими словами: воронка продаж осталась на том же уровне.

Потом, снова копнув в исследование, вы узнаете, что на самом деле большинство экспериментов не срабатывает и нужно продолжать пытаться и запускать их больше и больше.

Проходит еще немного времени, снова смотрите на результаты экспериментов и…. Ни один из них не приводит к положительной динамике роста.

Что происходит?

Очень часто, когда компании разворачивают свои маркетинговые усилия в сторону проведения экспериментов, они пытаются копировать успешные кейсы других бизнесов, что приводит к проведению экспериментов ради их проведения.

Как построен процесс маркетинговых экспериментов в HubSpot

HubSpot — это крупная, быстрорастущая компания с множеством продуктов и команд, поэтому проведение экспериментов — весьма сложный процесс. В его основе лежит функционирование команды роста (growth team), ключевой задачей которой является проведение экспериментов на основе собственных данных и собственных гипотез.

Команда роста в HubSpot управляет и несет ответственность за всю воронку продаж: от момента, когда пользователь впервые сталкивается с продуктами HubSpot (зачастую бесплатными) до момента оплаты (монетизации пользователя).

Итак, углубимся в то, как команда HubSpot думает об экспериментах и процессе их приоритезации (какие эксперименты стоит проводить а какие — нет).

Зачем проводить эксперименты?

Есть несколько очень точно определенных целей, ради достижения которых команда роста в HubSpot проводит маркетинговые эксперименты:

  • улучшить взаимодействие пользователя с продуктом;
  • увеличить число людей, подписавшихся на бесплатные версии продукта;
  • поощрять пользователей за активное использование продукта;
  • стимулировать пользователей переходить на платные версии продукта.

Проведение контролируемых экспериментов позволяет быстро замечать и реагировать на улучшения или ухудшения ключевых метрик и принимать решения на основе как качественных, так и количественных данных.

Как нужно думать об экспериментах?

  • Думать целостно:

По большому счету, эксперименты проводятся по двум причинам: для оптимизации конверсии и чтобы узнать, как новые переменные влияют на общую картину производительности.

В обоих случаях, экспериментальную когорту необходимо отслеживать целостно.

Например, если мы хотим улучшить конверсию в регистрации, то при проводимом эксперименте нам необходимо также смотреть и на процент активации и монетизации когорты. Если же мы работаем над улучшением уровня монетизации, необходимо также анализировать процент удержания (retention) и оттока пользователей (churn rate) из анализируемой когорты.

  • Думать гипотезами:

Маркетинговый эксперимент должен базироваться на гипотезе, основанной на глубоком понимании пользователя.

Твердая и понятная гипотеза дает опору для обсуждений и определений, какие именно эксперименты нужно запустить для решения той или иной проблемы.

В HubSpot есть правило — перед стартом эксперимента нужно иметь четкий и ответ на вопрос: «Что должно оказаться истиной/быть доказанным, чтобы эксперимент мог быть определен как успешный?»

Применяйте это правило при запуске своих экспериментов. 

Документация

Документация играет важную роль в процессе экспериментов. Работа над детальным описанием эксперимента заставляет нас ответить на вопросы:

  • Зачем/почему мы проводим тот или иной эксперимент?
  • Какой результат мы ожидаем получить?
  • Стоит ли проводить именно этот эксперимент сейчас?

Так выглядит документация по экспериментам команды роста в HubSpot.

Она всегда включает в себя следующее:

  • исследования, проведенные при подготовке к эксперименту;
  • гипотезы, на которых базируются эксперименты;
  • конечные цели эксперимента;
  • графики, которые которые визуализируют результаты;
  • и ответ на тот самый вопрос — «Что должно оказаться истиной/быть доказанным, чтобы эксперимент мог быть определен как успешный?».

Документация должна быть: легкодоступной для всех сотрудников компании и легкой в управлении для тех сотрудников, которые с ней работают. Для решения этих двух задач HubSpot использует Airtable. Этот инструмент хорошо подходит для того, чтобы сделать документацию максимально открытой для сотрудников компании, а также имеет шаблоны запуска и управления экспериментами.

ВАЖНО: Маркетинговый эксперимент — это серия итераций, а не разовый процесс. Поэтому следует регулярно возвращаться к документации как для ее наполнения, так и для изучения прогресса самого эксперимента.

Процесс

Как и в случае с документацией, следует использовать итеративный процесс для определения и приоритезации экспериментов. Последовательность итераций описана ниже.

Формулировка гипотезы

Глядя на то, как проводят эксперименты другие компании, процесс не кажется сложным. Но копирование только навредит. Если ваш эксперимент не основан на гипотезе о собственном продукте и пользователе, то это, в лучшем случае, беспорядочные активности без четкой цели.

Итак, стоит всегда начинать с формирования гипотезы, которая утверждает, что мы считаем будет правдой о наших клиентах/для них. Эта гипотеза должна лежать в основе всех идей эксперимента, которые мы брейнштормим, и общего дизайна нашего эксперимента.

Брейншторм

Первое правило продуктивного брейншторма — не бывает глупых идей. Это должны понимать все участники сессии и делиться своими идеями, не опасаясь быть подвергнутыми критике. Другими словами — ноль ограничений в идеях.

А вот что послужит хорошим фильтром идей, так это, опять таки, — гипотеза и четко определенные метрики, которые вы хотите улучшить в рамках эксперимента:

Чем точнее сформулирована гипотеза и расписаны улучшаемые метрики, тем лучше будут условия для мозгового штурма и тем меньше будет нерелевантных идей.

Например, представьте, что вы менеджер продукта в Spotify и хотите увеличить количество проданных билетов на местные концерты. Вероятно, вы составите список нескольких путей, которые ведут к желаемому действию — бронированию билета:

  • Открыть письмо о ближайшем концерте >>> совершить клик чтобы узнать детали концерта >>> купить билет.
  • Прослушать песню в Spotify >>> просмотрите страницу исполнителя >>> просмотрите вкладку Концерты артистов >>> кликнуть на предстоящий концерт >>> купить билет.
  • Пользователь интересуется местными концертами >>> открывает Spotify >>> кликает на вкладку Концерты >>> переходит в просмотр предстоящих концертов >>> покупает билет.

Рассматривая только эти три пути, сессия мозгового штурма может быть основана на привлечении большего количества людей к:

  • открытию имейлов о ближайших концертах + совершение клика (click through).
  • просмотру вкладки Концерты.
  • кликам на предстоящие концерт, чтобы получить более подробную информацию.

При этом сценарии веб-сайт, на котором можно приобрести билет, — это сторонний сервис, такой как Ticketmaster, которую Spotify не может контролировать.

Следующим шагом после сеанса мозгового штурма стоит обсудить все полученные идеи и определить список экспериментов, которые кажутся уместными для них. 

У каждой идеи должен быть ответственный человек (DRI), который отвечает за исследование эксперимента.

Проведение исследования

На этапе исследования вам необходимо углубиться в данные и понять имеет ли идея смысл. 

Исследование формирует скелет для документации по экспериментам потому что оно формирует вашу гипотезу и ее цель, помогает спрогнозировать результат эксперимента и дать определение того, когда он может считаться успешным. 

Что включает в себя исследование?

В HubSpot исследования для эксперимента могут включать использование Amplitude для сбора продуктовых инсайтов, создание отчетов в Google Analytics, анализ предыдущих экспериментов и проведение интервью с пользователями. Процесс исследования всегда будет выглядеть по-разному в зависимости от вашего бизнеса и инструментов, которые вы используете.

Качественное исследование поможет определить потенциальное влияние конкретной улучшенной метрики на бизнес в целом. В процессе исследования вы также можете начать продумывать новые эксперименты и прорабатывать оценку того, сколько усилий потребуется для запуска эксперимента.

Усилия стоит оценивать по, как минимум, таким критериям::

  • Выравнивание с другими командами
    • Какая часть работы повлияет на другие команды?
    • Сколько команд вам нужно вовлечь?
  • Получение бай-ин
    • На сколько высоко влияние на весь продукта и на какое количество покупателей повлияет эксперимент?
    • Кто должен согласиться, что это точно стоит делать?
  • Технические ограничения
    • Насколько сложными могут оказаться технические проблемы?
    • Нужно ли «копаться» в репозитории других команд?

Имея эту оценку, вы сможете решить, например: «Этот эксперимент не имеет смысла. Потенциал низкий, и он требует слишком больших усилий». Или наоборот: «Мы обязательно должны провести этот эксперимент. Усилия минимальны, а потенциальное влияние на метрику очень сильное».

Определение цели

На этом этапе вы просто указываете, почему вы проводите выбранный эксперимент. Это может быть, например, улучшение отдельного показателя, что приведет к улучшению показателей воронки продаж, а значит — к увеличению $$$.

Создание эксперимента

Как только вы прояснили гипотезу, следует переходить к  разработке эксперимента, проведение которого определит верна ли гипотеза.

Создание эксперимента включает в себя определение и создание следующего:

  • Количество используемых переменных;
  • Создание копи и дизайна;
  • Аудитория, на которую «выкатываться» эксперимент;
  • Как будет отслеживаться и измеряться эксперимент;
  • Как долго будет проводится эксперимент, и определения момента достижения статистической значимости.

Имейте в виду, что неудачный эксперимент не обязательно означает, что гипотеза неверна. Есть несколько способов проверить гипотезу. Один неудачный эксперимент может просто означать, что конкретная гипотеза ложна в конкретном случае.

Оценка результата

Как уже упоминалось выше, эксперименты обычно проводятся для улучшения отдельно взятых показателей. И не составляет труда объяснить, как эксперимент может улучшить простую метрику, такую ​​как частота кликов, например. Но влияние эксперимента всегда должно быть привязано к росту бизнеса ($$$).

В примере с улучшением частоты кликов, нужно иметь понимание приводит ли это к большему количеству $$$? Если да, то на сколько?

Примеры проведения оценки результата

  • Если наша гипотеза верна, мы ожидаем 10-процентное улучшение показателя кликов по кнопке «узнать больше». Предполагая, что все остальные точки конверсии остаются постоянными, мы ожидаем, что это приведет к еще 20 покупкам в неделю. При средней цене продажи в $50, это означает $4000 MRR (monthly recurring revenue) в месяц.

Если вы работаете над такими метриками как регистрация новых пользователей в продукте с моделью Freemium, то пример ниже может быть релевантен:

  • Если наша гипотеза верна, мы ожидаем 5% улучшения заполнение формы на странице регистрации. Предполагая, что трафик на страницу остается неизменным, мы ожидаем, что это приведет к еще 100 регистрациям в день.

Если у вас есть больше данных, таких как скорость перехода с бесплатной версии в платную и средняя цена продажи, вы можете спрогнозировать доход.

Как выглядит успех?

По мере того, как вы проходите процесс проведения исследования и создания эксперимента, легко утратить фокус с того, почему мы хотели запустить эксперимент в первую очередь.

В экспериментальной документации у вас всегда должен раздел, который количественно определяет успех. Например, успех может быть как улучшение отдельного показателя на определенный процент или получения ответа на конкретный вопрос.

Экспертная оценка

После того, как эксперимент проведен и задокументирован, стоит поделится результатами и собрать обратную связь с коллегами.

Вы можете получать такие вопросы (будьте готовы иметь ответы на них):

  • Какие данные у нас есть, чтобы поддержать эту гипотезу? Почему мы верим, что это правда?
  • Как достижение этой цели помогает нам сделать шаг к достижению целей компании?
  • Как мы будем отслеживать эффективность? Есть ли другой, менее ресурсоемкий способ проверки гипотезы?
  • Это лучший показатель для измерения успеха?
  • Это предсказание реалистично?

Обратная связь команды всегда важна. Тем не менее, всегда стоит сосредотачиваться на эксперименте, а не на бесконечном обсуждении мелочей. Такой риск всегда есть.

Запуск

Из проведенного исследования и обсуждения вы получаете представление о потенциальном воздействии и усилиях, необходимых для запуска эксперимента.

Затем вы проводите эксперимент и… 🤞

Проведение анализа

Как только эксперимент завершен, ответственный за него сотрудник должен провести анализ данных и продемонстрировать результаты команде, которая участвовала ​​в эксперименте.

ВАЖНО: избегайте неправильного использования анализа данных при поиске паттернов данных, которые могут быть представлены как статистически значимые. Этот процесс известен как p-hacking.

Чтобы избежать p-hacking, важно:

  • Иметь скрупулезный процесс создания эксперимента (описан выше)
  • Определить как долго мы будем проводить эксперимент

какой объем выборки нам нужно собрать

  • Быть на 100% прозрачными при анализа данных

Несколько методов p-hacking включают в себя:

  • Прекратить сбор данных после получения желаемого результата (где p <0,05)
  • Исключить точки данных, чтобы получить данные для отображения желаемого результата (где р <0,05)
  • Преобразовать данные, чтобы получить желаемый результат, где (р <0,05)

О p-hacking написано несколько полезных историй:

Зачитывание экспериментов

В HubSpot есть правило — команды встречаются каждую неделю, чтобы обсудить результаты экспериментов и следующие шаги.

Каждый рассказывает о своем эксперименте, повторяя гипотезу, цель эксперимента, почему было решено провести этот эксперимент, результаты, полученные знания и следующие шаги.

Команда изучает данные и тратим время на обсуждение возможных последствий результатов.

Эти встречи — один из самых сильных источников новых идей для следующих экспериментов.

Автор: Ярослав Степаненко, сооснователь Growth Marketing Stage.

Заметили ошибку? Выделите ее и нажмите Ctrl+Enter, чтобы сообщить нам.

Смотреть комментарии

Комментарии | 0

  • Продавать в интернете
  • Безопасность номера
  • Съемки на YouTube

Поиск

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: