АБ-тестирование - все, что вы хотели знать. Часть первая

Николай Просто из компании «Template Monster» рассказал про А/Б-тестирование и привел яркие, запоминающиеся примеры. Материал нужный, полезный, поэтому мы расшифровали вебинар, проиллюистрировали его и предлагаем вашему вниманию.

Что такое А/Б-тестирование?

начнем с теории

Как обычно создаются визуальные образы на сайте, в баннерах, email-рассылках? Мы можем посмотреть, как у конкурентов. Можем исходить из своего опыта. Или же мы ничего в этом не понимаем и отдаем на откуп дизайнеру, кто вроде бы должен за это отвечать. "Сделай мне красиво, чтобы аккуратненько" - знакомо?

Правильно ли это? Что эти люди, или ваши конкуренты знают о вашей целевой аудитории?

Если у вас какие-то массовые товары, то эта ситуация приемлема. Если это специализированный сегмент (возможно, это товары в B2B-сегменте), тогда это очень сложно. Что дизайнер знает о помповых насосах, например, и какие ожидания у клиента, когда он приходит на страничку посвященную этим самым насосам? Поэтому лучше всего сразу спросить у своей целевой аудитории.

Вы можете задать этот вопрос большому количеству людей одновременно и получить ответ в виде их действий - то есть провести то самое А/В тестирование.

Так что же тестировать?

Если вы точно понимаете, что у вас есть аудитория и вы отточили свой продукт, в некотором роде, наладили бизнес-процессы, вы можете приступать к тестированию. На первом этапе вы как маркетолог имеет право и обязаны тестировать вот такие элементы:

вы можете дополнить список

- вы можете тестировать и менять заголовки, текст, количество визуальных элементов на странице; - тестируйте элементы бизнес-предложений: это цена, карточки товаров, возможно, это специальные офферы или акции; - конечно же, тестируйте изображения. Для тестирования изображений вам нужно понимать, чего ваша целевая аудитория и кого хочет видеть (кому-то нужны котики на карточке товара, кому-то нужно детализированное изображение, возможно, это будет слегка одетая женщина.)

Все постулаты по тестированию абсолютно справедливы для как элементов страниц сайта, точно так же для баннеров, для писем, для контекстной или баннерной рекламы, то есть если вы, например, не занимаетесь сайтом вы отвечаете только за контекстную рекламу, то это не означает, что вы не должны тестировать отклик на изменяемые заголовки или на применяемые изображения.

Каким образом тестировать?

Пример: у вас есть содержимое страницы и на ней большая кнопка «Заказать». Эта кнопка ведет на страницу корзины и в раздел для оформления заказа. У вас конверсия всего 2% - вы меняете всего-навсего текст кнопки с «Заказать» на «Купить сейчас» и получаете конверсию 4% или 0,5%.

Таким образом, через несколько операций изменения слова всего с одной кнопкой, как, например, «Совершить покупку», «Оплатить» и так далее вы получаете максимально возможный и минимальный уровень конверсии, замеряете это все на различных аудиториях, получаете результат, который вас устраивает, и меняете текст кнопки навсегда на тот, который показал наибольшую конверсию. Позднее будет еще несколько примеров того, как проводятся тестирования, там сможем разобрать их детальнее.

список сервисов для тестирования

Если вы никогда до сегодняшнего дня не занимались тестированием, то обратите внимание на англоязычные инструменты Optimizely.com и Unbounce.com, они платные, не очень дорогие, но очень качественные. Почитать про них можно в сети, они помогают с тем, как правильно настраивать тестированием, дают инструменты для тестирования, возможные варианты лендингов, их частей и так далее.

Но если вы никогда до сегодняшнего дня этим не занимались и хотите просто попробовать, как эта штука работает, то вам подойдет Google Analitics.

Вам, кроме этих трех инструментов, возможно, понадобится Яндекс.метрика или любой другой англоязычный инструмент для отслеживания поведения пользователей на вашем сайте – так называемой тепловой карты, чтобы вы точно понимали, как и куда кликают пользователи и как и на что они смотрят в тот момент, когда они находятся у вас на сайте.

Потому что самая важная наша ошибка – мы смотрим на наш продукт и на бизнес-процессы либо нашими глазами в тот момент, когда мы создаем всю эту историю, либо глазами какого-то маленького количества покупателей, когда мы можем посмотреть на уже завершенные транзакции.

Нам же нужно, если мы четко понимаем, для кого мы продаем (а без этого понимания бизнеса не будет) на все это посмотреть глазами человека, которому мы все это продаем. И тестирование позволяет посмотреть этими глазами.

Примеры разных тестов

Несколько вариантов кейсов, которые мы проводили внутри нашей компании: на странице есть 3 кнопки – синяя, зеленая, оранжевая.

Кнопки тестируют многие

Вот зеленая отвечала за то, чтобы продукт до покупки на 30 дней получали бесплатно. И то похоже на то, что я говорил и раньше – в какой-то момент мы решили потестировать и посмотреть, какой текст и как конвертит посетителей вот в эти бесплатные 30-дневные периоды использования сайта. Вот, например, текст «Протестировать бесплатно» давал 5, 8 процентов конверсии, а «Моя демоверсия» всего 4,57%. Этим хитрым образом мы дошли до того, что словосочетание «Заказать бесплатный тест» дает нам 6,46% процентов конверсии.

Теперь моделируем такую ситуацию: у нас есть начальное значение Допустим, 4.57 с текстом «Моя демоверсия» и конечная наилучшая «Заказать бесплатный тест» (6.46%). Если мы хотя бы по 5 тысяч человек приводим на проект ежедневно, то на месяц это получается на 150 тысяч примерных посетителей около 6 800 зарегистрированных демоверсий против 9 690, то есть 6 800 против 9 690.

Это значит, что если, например, все эти 5 тысяч человек обходились вам по 10 центов (вы вели их из контекста или еще из какого-то платного канала), то с одним текстом у вас стоимость регистрации 2,2 доллара, а при тексте «Заказать бесплатный тест», это всего 1.5 доллара. !!! Вы заменили текст на кнопке и сэкономили уже на таком не очень большом для международного, даже локального, проекта пятитысячном уровне неплохие деньги.

Второй вариант тестирования. У нас есть партнерская программа – мы зовем туда всех, у кого есть сайты и кто хочет продавать наши шаблоны.

Как правило чем проще форма, тем лучше. Но мы проверим

И у нас была форма регистрации партнеров (на презентации): там была «крутилка» вверху, потом шел блок с «фишками», потом – с контактами, блок отзывов и затем регистрационная форма. И вот в регистрационной форме около 15 полей – все обязательные для заполнения, которые веб-мастер должен был заполнить.

И мы подумали и решили: а давайте упростим эту форму и сделали ее такой: сам лендинг разбился на 3 экрана (с людьми, кусками пирога и перечислением «фишек»), а внизу 1 поле для заполнения емэйла – для того, чтоб зарегистрироваться в программе.

Как вы думаете, какой вариант показал лучшую конверсию?

Если я вам скажу, что после того, как человек ввел электронный адрес, он попадал на другую страницу и там были все те же самые поля, которые были на первом варианте, и ему пришлось все их заполнять? Неожиданно. Какой вариант показал большую эффективность?

Результат: вариант с 1 полем, а потом подсунутыми человеку другими полями на 293% оказался лучше, почти в несколько раз. Никто изначально в этот вариант не верил – все говорили, что введенное «мыло» на первом степе, а потом необходимость водить и заполнять еще 20 приведет к тому, что люди будут уходить.

Результат был неожиданным

А так вот оказалось, что наша аудитория обладает некой клиповостью мышления и им нужно подсунуть некий крючок, и если уж они ввели «мыло», ну ладно, фиг с вами: что-то вроде того, что он уже приложил усилия и уходить не хочет. Мы не поверили и запустили этот тест снова, на большей аудитории – и он снова показал точно такой же результат, так что в этом варианте не бойтесь упрощать так, чтоб первый шаг для клиента был максимально простым, а уже потом потихоньку другое.

всегда верьте точным измерениям

знаменитый кейс

При проведении предвыборной компании Обамы тестировали изображения и кнопки: 4 варианта кнопок и 3 варианта изображений, причем потом они запускали смешанный тест, когда пересекались разные варианты кнопок с разными вариантами изображений. Им, конечно, было над чем экспериментировать – была бешеная посещаемость, финальное соединение кнопки и фона оказалось на 40% лучше, чем все остальные.

экономия существенная

И тут вот включается простая арифметика, но уже больших чисел – там было порядка 310 тысяч, получается 24 варианта страниц: 4 кнопки и 6 медиа, причем в некоторых случаях фоном было видео, можно было сразу проиграть видео, получается в среднем на каждый вариант мы получали по 13 тысяч человек – в принципе это приличное число, этого достаточно, чтобы получить какие-то статистически значимые результаты.

Вариант 11 – это превосходство от базового в 46%. Финальная статистика была, что с помощью сайта около 10 миллионов человек подписались в течение всей кампании. Если бы не проводилось A/B тестирование, то разница с получаемым результатом была бы примерно в 2 миллиона 800 тысяч подписчиков. Провели подсчеты, что каждое письмо, которое в рамках кампании отсылалось подписчикам, приносило 21 доллар пожертвований. Получается, что если бы эти умножить 2 800 000 на 21 доллар, то это вышло бы около 58-60 миллионов недополученных вот на таком простом действии – сочетании кнопки и фона.

Первые выводы про А/B тестирование

Следует отметить, что A/B тестирование никогда нельзя останавливать, это как бы процесс в доменной печи. Если в ней прекратить какие-то процессы, то ее можно выкидывать, потому что запуск сопоставим с ее стоимостью. Точно так же с A/B тестированием.

Если вы раз уже вступили в эту воду, вы оттуда никогда не выберетесь, вы будете постоянно пытаться улучшать, менять текст на кнопочке, саму форму, какие-то элементы, добавлять текст, смотреть, как реагируют на то и на другое, и вы в сети всегда найдете огромное количество примеров того, как проводятся эти тестирования.

Но очень важно понимать: то, что сработало у кого-то другого, не обязательно сработает у вас.

От редакции: у этого рассказа есть вторая часть - про то, что не все тесты нужны и хороши. Подписывайтесь на рассылку блога, и вы ничего не пропустите!