А/Б тестирование в email маркетинге Вебинар WebPromoExperts #335

Сегодня мы с вами обсудим достаточно интересную тему (она кажется простой на первый взгляд, но на самом деле не так проста) — это А/В-тестирование в разрезе емейл-маркетинга. Возможно, кто-то сталкивался с А/В-тестированием сайтов, А/В-тестированием при запуске рекламы. Сейчас активно запускается А/В-тесты для email-рассылок. Для того, чтобы создать мощную емейл-стратегию для своих клиентов, без А/В-тестирования не обойтись любому бизнесу.

Сейчас поговорим о специфике этого канала, как следует тестировать, как не следует, и нужно ли это вообще.

Цели А/В-тестирования для емейл-рассылок

Очень часто мы хотим что-либо отправить своим клиентам, но не знаем, какой будет их реакция, и боимся попасть в спам, быть непонятыми.

Проверить новые идеи на жизнеспособность

Возможно, у вас сложилась ситуация, когда вы хотите сделать ребрендинг, что-либо поменять в концепции, в подходе к клиентам, в обращении к клиентам, проверить абсолютно новую идею, которая, может быть, даже кажется сумасшедшей. Вот в такие моменты вас выручит А/В-тестирование.

Как оценить предполагаемую эффективность емейл-рассылки?

Здесь ситуация такова. Если, например, вы занимаетесь аудитом своего бизнеса, хотите мониторить, понимать, какие у вас будут результаты в конце месяца, в конце сезона — тогда А/В-тестирование вам просто необходимо. Вы будете понимать текущую ситуацию и постараетесь улучшить ее.

Это очень важный момент и одна из основных целей А/В-тестирования в принципе.

Не угодить в спам

Если у вас есть база контактов, на которую вы давно не отправляли письма, и вы боитесь, что клиент о вас не вспомнит... Или же боитесь, что клиенты нажмут «В спам», потому что вы долго не писали... Вот в таких случаях и используют А/В-тестирование. Вы можете на небольшом сегменте своей базы проверить реакцию и таким образом понять — заходит или не заходит данная идея именно для ваших клиентов в данный момент. И уже исходя из результатов, сможете на это повлиять.

Как правильно провести А/В-тестирование

Что важно для А/В-тестирования? Тестировать следует исключительно в одинаковых условиях. Мало кто это понимает, но А/В-тестирование действительно будет эффективным и понятным, если вы будете проводить тесты в одинаковых условиях.

Тестировать следует один параметр, максимум — несколько, и то в отдельных случаях. Мы стараемся идти только по одному параметру, в основном, и проверять, насколько людям он зашел, следует ли менять что-либо именно в этом сегменте.

Что тестировать в емейл

Во-первых, имя отправителя. Это очень важно, ведь это первое, на что обращают внимание люди, когда получают письма. Иногда, когда мы просто меняем имя отправителя, открываемость увеличивается, а вместе с ней кликабельность и узнаваемость бренда.

Тема письма — тоже немаловажный фактор для теста.

Прехедер письма — это некое продолжение темы. Тоже важный момент, который цепляет внимание люди. Он очень сильно влияет на открываемость писем.

Оформление текста и ссылок. Тоже важный момент, который следует тестировать.

Формулировка месседжа — прекрасный объект для теста.

Определенный информационный блок в письме. Какой он должен быть, как его лучше оформить — тестируем.

Обращение к подписчику. Это тоже немаловажно. Особенно, если у вас есть его имя, почему бы не обратиться к нему по имени?

Можно также тестировать определенную идею, если вы желаете в рассылку ее внедрить или попробовать.

Дизайн кнопки, блока, фона письма, других элементов. Но чтобы это был один элемент.

Какие задать условия для тестирования

Если смотреть в панели SendPulse, как это происходит у нас.

А/В-тестирование. В левой панели мы видим графу, заходим туда и можем создать А/В-тест своего письма. У нас в базе по умолчанию даются параметры для сравнения — это открытие (как мы видим на слайде) и переходы.

Т.е. либо по открытиям письма, либо по переходам с письма мы можем понять, какой вариант релевантен, какой более эффективен, и отправить его на большую часть базы.

Но есть еще такой момент — вы можете отправить вариант-победитель автоматически. По умолчанию у нас задано пять часов, т.е. через пять часов система сама решит по кликам или по открытиям (вы должны ранее выбрать этот параметр), что сработало лучше, и, соответственно, письмо уйдет на большую базу контактов. Как вы это зададите, так это и решит система. Но!

Я рекомендую вам, во-первых, отправлять решающий вариант не менее чем через два часа, лучше даже через 3-4-5 часов. Есть такая тенденция. что за первые пару часов письмо людям может и не прийти (особенно, если база новая и отправка идет впервые). Либо письмо не успели открыть. А тогда вы можете ошибиться при выборе лучшего варианта письма. А/В-тестирование не делается спустя полчаса, спустя час и даже полтора. Нужно как минимум три-четыре часа. И то, смотря какое еще время суток. Если утреннее, то можно и больше, если вечернее, можно чуть меньше.

И поэтому я рекомендую отправлять тестирование вручную.

Сравнивать по открытиям и переходам — это, конечно, хорошо, но бывают случаи, когда нужно обращать внимание совсем на другие параметры.

Результаты тестов выглядят примерно вот таким образом. Мы можем посмотреть:

Мы можем разделить в А/В-тестировании от двух вариантов и более, протестировать тему письма, начинку письма и много других элементов. И отправить в итоге лучшую рассылку на большую часть базы.

Также мы можем выбирать, на какой процент базы отправлять. Это может быть тестирование на 5 % и 5 % (соответственно, вместе десять) и после — на 90 % базы отправить уже итоговую рассылку, которая, по вашему мнению, будет самой удачной. Но тут тоже есть свои нюансы. Далее я расскажу, сколько процентов базы выбирать в том или ином случае.

Например, выбрали мы по результату этого теста с клиентом первый вариант. Здесь было достаточно много переходов, открытий, и мало людей отписалось (что немаловажно). Было решено, что отправляем вариант-победитель № 1.

С чего начать тестирование

Во-первых, следует определить цель А/В-тестирования — вы хотите проверить эффективность, протестировать новую идею или еще что-либо. Когда определена конкретная цель А/В-тестирования, следует к нему приступать.

Запустить тест.

И что немаловажно, проанализировать эти данные и использовать их для дальнейшего результата. И советую не полагаться на систему, а мониторить и смотреть самим, какие есть открытия и переходы. И соответственно, по данной цели анализировать ситуацию и отправлять самим то, что вам кажется наиболее эффективным.

Что касается цели. Рассмотрим примеры наших комплексных клиентов, которым мы делаем емейл-маркетинг под ключ.

Рассмотрим такую цель, как проверка реакции клиентов на месседж.

Примеры

Пример 1.

Была поставлена такая задача: проверить реакцию клиентов на восприятие названия компании на русском и английском языках. Клиент склонялся к тому, что компанию лучше воспринимают на английском языке, т.к. о ней наслышаны, она не новая и база достаточно большая. Но решили проверить, как будет заходить название на русском языке. И вот был проведен следующий тест.

Имя отправителя было написано на английском — SmartAgent и на русском — СмартАгент.

Тема письма была одинаковой, только поменяли один элемент — SmartAgent (англ.) на СмартАгент (русск.): «Только посмотрите, что говорят риелторы, которые уже подключились к сервису СмартАгент». Это было письмо с отзывами.

30 % базы получили вариант первый, другие 30 % получили вариант второй. Это достаточно большой процент. Почему именно так? Во-первых, тестировалась идея, и хотелось захватить как можно больше потенциальных клиентов и проверить, как это влияет на открываемость писем, насколько люди помнят, узнают и могут воспринимать название компании на английском и на русском языке. И это не единственный клиент, для которого мы тестировали письма подобного плана — очень многих волнует этот вопрос, особенно, если компания работает не только на российском рынке, а целится и в другие. Волнует, как в той или иной стране воспринимается английское и русское название. И это лучше всего показало А/В-тестирование.

Результаты были следующими. Английский вариант (это письмо было отправлено на регионы Москвы и Питера) — 15,28 % и 25,59 % — русский вариант. Т.е. разница была значительная.

Стало очевидным, что следует выбрать второй вариант и теперь рассылки стали уходить под брендом «СмартАгент», т.е. на русском языке. И поскольку в теле письма упоминается «СмартАгент» (на русском), название в самом письме также заменили на русское. Это тоже тестировалось, именно в контенте. И люди охотнее кликали и задавали в дальнейшем какие-либо вопросы менеджерам, когда видели, что с ними общаются специалисты компании «СмартАгент».

Пример 2.

Задача: проверить реакцию клиентов на обращение. Немаловажный момент: если у вас, например, есть база, и в ней есть имена, может быть, даже имена и отчества — это очень здорово. И это можно использовать в рассылках с помощью переменных.

Итак, возвращаемся к примеру 2.

Уже было решено, что имя отправителя используем на русском в данной ситуации. И были такие темы писем: «Скидка для риелторов 36 %. Начните свой год успешно!». Это была январская первая рассылка от компании. И второе письмо, отличающееся всего лишь одной буквой: «Скидка для Риелторов (с большой буквы) 36 %. Начните свой год успешно!». Здесь тестировалось, во-первых, обращение. Даже в теме письма. И таким образом, словом «Риелторов», написанным с заглавной буквы, мы пытались выделить и зацепить тех, к кому обращаемся, акцентируя на том, что это послание предназначено именно для них. Мы хотели проверить — будет ли это письмо отличаться от других писем, которые попадают людям в почту, и рассмотрит ли, увидит ли получатель обращение, написанное с большой буквы. Казалось бы, это мелочь, всего лишь одна буква, но на самом деле это хорошо сработало.

Вариант был отправлен на базу контактов — 25 % на 25 %. Уже для этой проверки выбрали сегмент, потому что это был хоть и менее значимый тест, но все-таки он был нужен.

И результаты были следующие: «для риелторов» (с маленькой буквы) — 17,98 % открытий, а «для Риелторов» (с большой буквы)— 23,51 %. И потом менеджеры спрашивали у пользователей, почему они открыли письмо. Некоторые ответили, что заметили это письмо, потому что к ним обратились таким необычным способом. Плюс письмо как-то выгодно выделилось среди десятков других писем. В принципе, как мы понимаем, всем, у кого есть подписки на профессиональные рассылки, корреспонденции приходит много. Например, мне приходит десяток писем по емейл-маркетингу каждый день, если не больше. У риелторов, соответственно, точно так же. И чтобы как-то выделиться на общем фоне, мы применили вот такую фишку. В принципе, она хорошо сработала. Теперь к риелторам, если мы снова сталкиваемся с такой формулировкой, обращаемся, написав «Риелтор» с большой буквы.

Пример 3.

Проверка новых идей на жизнеспособность.

Очень важный момент в рассылках. И сейчас рассмотрим одну из идей и один из примеров, которые мы делали.

Задача была такая: проверить что лучше сработает в информационной рассылке — креатив или расчет, скидка или подарок.

Я еще раз выделю то, что рассылка — информационная, что люди привыкли расценивать ее, как полезную рассылку, что там ничего не продается: мы просто открываем, читаем, узнаем что-то новое для себя. Но так получилось, что в новогодней рассылке у нас были скидки, подарки, и в информационной рассылке от партнеров мы сделали также блок для скидок, подарков.

Имя отправителя — команда SendPulse. Это имя мы тоже тестировали очень долго и в итоге решили, что пока в информационной рассылке лучше использовать этот формат, поэтому имя отправителя «Команда SendPulse» у нас неизменно.

Темы письма были следующими. Первая была более креативная, т.е такая, какую пользователи привыкли получать: «Радовать! Хотим мы дайджестом вас радовать!», вторая имела продающий формат — «Предновогодние скидки, подарки и полезные материалы от SendPulse и партнеров!». Мы хотели отследить, насколько эффективным будет первый и второй формат. Насколько люди привыкли к первому и как быстро перейдут ко второму. Результаты были следующими:

Варианты были отправлены на базу контактов — 20 % и 20%. Процентное соотношение взяли среднее. Напомню, что в А/В-тестировании в любом сервисе, на любой платформе тесты проводят в случайном порядке, т.е. не так, что выбираются первые десять пользователей и последние десять пользователей, которые могут подгрузиться в базу, как новенькие, так и опытные пользователи. Соответственно, если подгружаются новые и старые, и мы делим таким образом контакты, то результаты будут нерелевантны, поэтому следует тестировать рандомно. Вот тогда результаты будут эффективными. И вот рандомно был выбран такой процент пользователей — 20 и 20. Результаты open rate смотрите на слайде.

Информационные рассылки открывают реже. Продающие с кричащими темами — чаще. И разница была такая — 15,53 % и 18,24 %.

Хочу напомнить, что это была прежде всего информационная рассылка. Скидки, подарки — это было в данном случае второстепенно. И это партнерская рассылка, в которой ценились клики на некие мероприятия, которые устраивают наши партнеры. Они следят в аналитике у себя и у нас на сервисе. Мы отправляем им позже статистику, сколько людей кликало на то или иное мероприятие. И вот люди, которые привыкли получать информационные рассылки именно в таком формате, но получили еще плюс подарки и полезные материалы, все равно кликали вот таким образом.

Та часть людей, которая привыкла получать дайджесты в таком формате, кликала больше, а те люди, которые к этому не привыкли, увидели продажную рассылку и их это оттолкнуло. Хоть и результат open rate был выше, но результат по кликабельности оказался ниже. И соответственно, мы выбрали лучший результат по кликабельности и отправили рассылку с первым вариантом, потому что нам в данном случае были важны клики.

Пример 4.

Увеличить эффективность емейл-рассылки. Важная цель А/В-тестирования.

Пример: нужно было протестировать контент рассылки и понять, что продаст лучше — скидка по промо-коду, к которой привыкли клиенты, или скидка по промо-коду плюс напоминание о ней через неделю.

Такого формата (с напоминанием) клиенты еще не пробовали. Обычно продавали сходу. Давали скидку на сутки, люди покупали, и на этом дело заканчивалось. Но решили попробовать и такой формат. Это гибрид А/В-тестированной рассылки, потому что она длилась не один день, и параметр одинаковых условий был несколько нарушен. Если мы отправляем рассылку в понедельник и во вторник, то мы уже нарушаем условия.

Вот так выглядел контент письма. В первом варианте была просто кнопка «Воспользоваться промо-кодом». Это компания, которая продает дипломные работы, курсовые, рефераты на заказ и их выполнение. Во втором варианте протестировали две кнопки, хотя, говорят, что две — это менее эффективно, нужно всегда одну, но решили попробовать. Иногда две кнопки намного лучше работают с напоминанием, например, как здесь, и с горячей продажей, нежели, чем просто продать сразу.

Получились следующие варианты кнопок: в первом случае — «Воспользоваться промо-кодом», во втором — «Воспользоваться промо-кодом и напомнить о скидке через неделю».

Варианты кнопок были отправлены на базу контактов — 30 % на 30 %. Почему такой большой процентаж? Потому что мы хотели проверить данную идею, как ее вообще воспримут пользователи, и запускать ее дальше или не запускать.

Результат продаж за 24 часа имел следующие показатели: в первом случае — 8 продаж за 24 часа, во втором — всего лишь 3 продажи.

Но когда мы отправили через неделю письмо с напоминанием, в первом случае люди (без напоминания) сделали еще 2 заказа, во втором случае — 11 (с напоминанием). Никогда не стоит отметать этот вариант. Возможно, у подписчиков не было на тот момент финансовой возможности, может быть, зарплату выплатили только через неделю, может быть, они еще не созрели к этому. А вы дали это предложение ограниченно. Всегда продумывайте вариант с напоминанием и, возможно, в вашем случае это эффективно сработает. Дайте время подумать, созреть — иногда это очень важно.

Соответственно, мы выбрали второй вариант. И в дальнейшем использовали именно его.

Пример 5.

Важная цель — не угодить в спам.

Этот момент интересует очень многих наших клиентов, особенно, если на базу давно не запускались рассылки. Если люди сомневаются, воспримут ли их клиенты в таком формате. Возможно, это собранная база от менеджеров, с каких-либо выставок. Клиенты о вас помнят, но в формате емейл они, возможно, вас не узнали, забыли о вас или не ожидали, поэтому могли автоматически нажать «В спам». Лучше всего запускать на новую или на старую базу рассылки по частям. Безусловно, одна из главных целей здесь — не попасть в спам.

Рассмотрим на примере 5.

Задача: запустить реактивационную рассылку с минимальным процентом попадания в спам.

Реактивационная рассылка — это рассылка на базу контактов, на которую давно не отправлялись письма, т.е. это некая реактивация. Также можно выбрать людей, которые перестали реагировать на письма от трех месяцев и дольше.

Вы выделяете сегмент людей, которые не открывали ваши письма в течение 3-6 месяцев, и отправляете им достаточно сильное реактивационное письмо. Такое вы могли видеть у себя в почте, если долго не открывали какие-либо рассылки. Типичные примеры: «Вы о нас забыли». Возможно, письмо в шутливом формате или наоборот — в более серьезном. Когда вы, допустим, не зашли на какой-либо вебинар, на который зарегистрировались, вам могут прислать письмо со словами: «Мы удаляем вас из вебинарной комнаты, потому что вы не зашли к нам». Но сейчас речь идет не об этом формате, это реактивационная рассылка на базу пользователей, которые давно не получали от вас письма. И задача стояла такая — минимальный процент попадания в спам. Это было очень важно, потому что база состояла из лояльных клиентов, которых не хотелось терять.

Темы писем были похожи. «Приглашаем Вас на курсы профессиональной переподготовки и повышения квалификации» — это первая тема, вторая — «Приглашение на курсы профессиональной переподготовки и повышения квалификации внутри письма» и третья — «Дистанционное обучение для учителей, воспитателей и руководителей образовательных организаций».

Соответственно, отправлены были варианты на базу по 10 % контактов, потому что для начала хотелось на минимальных процентах проверить, как заходит рассылка.

Результаты open rate были следующими. Хорошо сработал второй вариант — приглашение на курсы и уточнение с подробностями внутри письма. Это сработало хорошо, и уже хотелось отправить рассылку со вторым вариантом. Но…

Смотрим результаты кликабельности. Первая рассылка была в этом плане лидером. И тут появился повод задуматься об отправке первой рассылки. Но есть еще один важный момент. В панели сервиса указывается количество отписавшихся людей, и также можно зайти и посмотреть, сколько людей нажимали на кнопку «Спам».

Процент нажатия на «Спам» в первом случае составил 0,45 %, во втором — 0,67 % и в третьем — 0,6 %. Многовато спама, и в итоге мы предпочли первый вариант. Но ценилась сохранность этого клиента, а не то, как он сейчас отреагирует и купит. Именно поэтому первый вариант стал оптимальным в данном случае.

Как не делать А/В-тест

А сейчас поговорим, как не делать А/В-тест. Лучше не делать А/В-тест, чем делать его вот так.

Тестировать абсолютно разные начинки писем.

Я смотрю по клиентам нашего сервиса. Иногда мониторю, как проводились последние А/В-тесты у совершенно случайно попавшихся людей, которые пытались что-то проверить у себя. Очень распространенная ошибка — когда тестируют абсолютно разный контент в письмах.

Это абсолютно неверный подход.

Если вы описываете в одном письме одну идею, а в другом — другую, эти идеи разными пользователями будут восприниматься по-разному, и результат тестирования будет искажен. Например, вы можете отправить тестовую рассылку (как часто ошибочно делают): одна рассылка — информационная, другая — продающая. И вы тестируете, вас больше читают или у вас больше и лучше покупают. Это неправильно. Лучше сделать тест именно информационной рассылки и протестировать какой-то один параметр. Например, какие статьи более интересны в данном формате. Или же провести второй А/В-тест по продающим рассылкам в формате: что лучше продается, что более интересно. Т.е. форматы эти абсолютно разные и тестировать их нужно отдельно.

Тестировать письма в разные дни недели.

Например, отправлять письма в понедельник и во вторник. Почему это неправильно?

Занятость пользователей в начале недели (например, в понедельник) и в середине может негативно отразиться на open rate. При этом одинаковые условия не будут соблюдены, и результат тестирования будет будет неверным.

Тестировать нужно в один день недели и использовать только один параметр, который вы проверяете. Это очень важно. То есть отправляя тестовую рассылку в разные дни недели (в пятницу, а потом в субботу или в воскресенье), правильных результатов вы не получите.

Push-уведомления

По такому же принципу можно тестировать и браузерные пуш-уведомления, которые абсолютно бесплатно предоставляет наш сервис. Это весьма интересный инструмент для повышения продаж. Попробуйте, если до сих пор еще не попробовали. Очень рекомендую.

Пуш-уведомления работают в браузерах Chrome, Safari и т.д. Возможно, вы уже подписаны на них и получаете такие сообщения. Это очень хороший инструмент.

Его тестирование проходит по тому же принципу. Видите, можно выбрать процентное соотношение и после докрутить результат и отправить его на всю базу.

Надеюсь, вам эта информация была полезна, и вы будете тестировать по одному параметру, в одинаковых условиях и понимать цель своего тестирования, для того, чтобы достигать эффективных результатов.

Полезные материалы от спикера:

Запись вебинара:

Презентация: