Многим компаниям важно расти и привлекать аудиторию, не увеличивая бюджет. Один из способов добиться этого — выдвигать и тестировать гипотезы, с помощью результатов улучшать продукт, экспериментировать с креативами и коммуникацией.
В этом заключается смысл Test & Learn — эффективной культуры тестирования. Рассказываем, почему она важна в современном мире и как внедрить ее в свою компанию.
Test & Learn: что нужно знать
Test & Learn — важная часть трансформации digital-маркетинга. Она помогает непрерывно тестировать и совершенствовать на основе данных маркетинговую и продуктовую стратегии компании.
Важность Test & Learn признают многие крупные компании. В Google все изменения проходят тщательное тестирование, чтобы результат был максимально полезным. Например, в 2019 году для Google Поиска было проведено 464 065 экспериментов, по результатам внедрили более 3620 изменений.
Система интернет-бронирования Booking.com проводит более чем 25 000 тестов в год1. По словам Джефа Безоса, руководителя крупнейшей в мире e-commerce платформы Amazon, «эксперименты — ключ к инновациям. Результаты часто не совпадают с вашими ожиданиями, поэтому вы узнаете так много нового».
Из чего состоит хорошая культура тестирования
На успех компании влияют не только инструменты и технологии. Важно то, как именно компания их использует и как принимает решения1,2. Эффективные решения принимаются на основе данных, и помогает в этом правильно выстроенная культура тестирования.
Тестирование — важный процесс, который необходимо внедрить в практику. Причем он должен стать регулярным: в компаниях с развитой культурой тестирования исследования проводят постоянно, а не только когда возникает проблема.
Эксперименты полезны, даже если вы не получили желаемого ответа. Всегда можно обновить гипотезу, а предшествующий результат использовать как базу для дальнейших исследований. Такой подход помогает не складывать результаты на полку, а использовать для постоянного развития.
На чем строится хорошая культура Test & Learn?
- Делайте эксперименты доступными
В компаниях с развитой культурой тестирования каждый сотрудник с четко сформулированной гипотезой может провести эксперимент. Бюрократию нужно минимизировать.
Систематизировать процедуру тестирования поможет шаблон. Это специальная форма, которую сотрудники смогут заполнить перед началом эксперимента. В ней они будут фиксировать, почему и зачем проводят эксперимент, какие выдвигают гипотезы, какие ранее были исследования на эту тему, как следует поступить в случае каждого результата. И четко сформулировать свое видение для других.
- Поощряйте любопытство сотрудников
Любой результат эксперимента важен, даже отрицательный. Не стоит расценивать его как неудачу — из него можно сделать выводы и использовать в дальнейших исследованиях. Чем больше сотрудники экспериментируют, тем лучше для компании.
- Принимайте решения на основе данных
Иногда мнение лидера считается решающим. Но в эффективной культуре на первый план выходят данные. Внедрите тестирование в процессы внутри компании и выстройте общую стратегию, которая будет опираться на результаты экспериментов. Помните: данные важнее мнений, даже если речь о мнении CEO.
А что с бюджетированием?
Тестирование — необходимый постоянный процесс. Он позволяет получать новые инсайты, подтверждать или отвергать гипотезы, а значит ресурсы на него стоит закладывать как часть регулярного плана. Рекомендуем распределять средства согласно правилу 70\30:
Как проводить тесты
Гипотеза: выдвигаем и правильно формулируем
Основная часть культуры Test & Learn — тестирование гипотез. Гипотеза — это предположение, которое может быть доказано или опровергнуто в ходе эксперимента. Она должна быть четкой, проверяемой, логичной и опираться на данные.
Чтобы выдвинуть гипотезу, можно оценить текущую ситуацию и устроить мозговой штурм. Или задать себе вопрос «Что мы знаем о X?» и запросить информацию о предыдущих экспериментах.
Особенно важна формулировка гипотезы. От нее зависит, какой вы получите результат. Укажите, что вы проверяете и как именно хотите это сделать. Когда вы закончите эксперимент, должно быть понятно, доказали вы гипотезу или опровергли.
Метрики: тестируйте одну, наблюдайте за всеми
В процессе тестирования сконцентрируйтесь на конкретной метрике. Она должна четко отвечать на вопрос, заданный в гипотезе. К примеру, если изучаете метрику Revenue, не смещайте фокус на Profitability.
Параллельно с основной метрикой рекомендуется наблюдать за остальными. Они помогут найти важные инсайты и получить более широкую картину. Например, ответить на вопрос, не приведет ли оптимизация одного KPI к ухудшению других метрик.
Команда: важно разнообразие
Важную роль в процессе тестирования играет состав команды. Она должна быть небольшой, но экспертной. Приглашайте сотрудников с разной экспертизой: как правило, монофункциональные команды не слишком эффективны. Рекомендуемая эффективная связка — менеджер продукта, аналитик и маркетолог.
Результаты: как использовать
Следующий шаг — применение результата на практике. Если результаты вас устраивают, внесите корректировки в продукт или стратегию.
Помимо целевого использования, все результаты экспериментов должны стать базой для будущих исследований. В дальнейшем это поможет усовершенствовать гипотезу и продолжить тестирование на новом уровне, а также сравнить результаты тестов через какое-то время.
Отличным решением станет создание базы данных по экспериментам с возможностью поиска. Так сотрудники будут больше знать о внедренных изменениях. Они смогут эффективно формулировать свои гипотезы и развивать культуру тестирования.
Делитесь знаниями с другими отделами. Если отделы изолированы и не обмениваются информацией, может возникнуть рассогласование в работе и коммуникации. Рассказывайте о ваших результатах на встречах, публикуйте в корпоративном журнале и рассылайте сотрудникам, которые заинтересованы в новых возможностях.
Как тестировать и анализировать: инструменты Google
Эффективно внедрять и использовать культуру тестирования помогают разные фреймворки и инструменты. Например, ниже представлен фреймворк тестирования, который используют в Google:
Инструменты Google помогают упростить и автоматизировать работу с тестами.
Brand Lift поможет понять, как видеореклама на YouTube влияет на восприятие бренда потребителями практически в режиме реального времени.
Conversion Lift — аналог Brand Lift, но для оценки конверсий. Он показывает, как выросло количество просмотров сайта, конверсий и установок после того, как пользователи увидели вашу рекламу.
GeoX помогает измерить инкрементальную ценность рекламы, сравнивая поведение разных регионов. В тестовых регионах запускается кампания или усиливается ее интенсивность. Затем в тестовых и контрольных группах сравниваются результаты по цене за целевое действие (CPA) или рентабельности инвестиций (ROAS).
С инструментом «Проекты кампаний и эксперименты» вы сможете тестировать настройки кампании без ущерба для эффективности рекламы. Создайте проект с такими же настройками, как у вашей кампании, изменяйте их и смотрите, как это влияет на эффективность. Экспериментальные объявления показываются пользователям так же, как и обычные, но на выбранную вами долю трафика.
Как развивать культуру Test & Learn:
- Сделайте эксперименты постоянной и обязательной составляющей своей культуры. Только систематизированный подход к тестированию поможет компании развиваться.
- Сделайте тестирование доступным для каждого, у кого есть четкая гипотеза. Поощряйте интерес сотрудников к поиску новых решений.
- Формируйте базу знаний и используйте ее для взвешенного принятия решений.