A/B тестирование: Что это такое, как его провести и примеры

A/B-тестирование (AB test) – это метод сравнения двух версий веб-страницы, электронного письма или другого маркетингового актива на основании одной переменной (одного изменяющегося элемента) с целью оптимизации эффективности его работы и улучшения важных для бизнеса показателей.

Например, если вы проводите A/B-тестирование своего лендинга на основе заголовка, вам необходимо создать две версии одной и той же посадочной страницы, которые будут отличаться только заголовками. Затем каждую из версий вам необходимо показать половине посетителей вашего сайта: первой половине – версию с первым заголовком, второй половине – версию со вторым заголовком.

Таким образом вы можете сравнить две вариации вашей посадочной страницы.

Коэффициент конверсии и поведение посетителей сайта (время, проведенное на странице, bounce rate и другие) покажут вам, какая из версий оказалась более эффективной.

С помощью A/B тестирования тестируют эффективность множества вещей: изменения в интерфейсе сайта, качество вашего копирайтинга, расположение элементов на странице, цену вашего продукта, заголовки писем или страниц, рекламные креативы и другое. Но самое распространенное применение этого инструмента – это для оптимизации конверсии на сайте.

Создание веб-сайта или запуск email-маркетинговой кампании – это лишь первый шаг в продвижении вашего бизнеса.

Но как только вы проводите подобные маркетинговые активности или запускаете инструменты привлечения новых клиентов (сайт, воронка продаж, SMM), вам необходимо знать, насколько эффективны ваши действия.

Рано или поздно вам будет важно узнать, насколько хорошо работает ваш сайт, email-рассылка или реклама.

Ведь не исключен вариант, что, например, ваш сайт мешает продажам, а не стимулирует их, потому что, например, вводит людей в заблуждение и нивелирует их интерес к вашему продукту.

A/B-тестирование позволяет узнать, какие слова, фразы, изображения, видео, отзывы и прочие элементы работают лучше всего. И как показывает практика, даже самые простые изменения могут повлиять на коэффициент конверсии, повысить количество продаж и тем самым увеличить вашу прибыль.

Например, один популярный тест показал, что CTA-кнопка красного цвета была эффективней зеленой на 21%. Другими словами на красную кнопку кликали на 21% чаще, чем на зеленую.

 

Если столь незначительное изменение смогло заставить людей нажимать на кнопку чаще, уверен, вы захотите узнать, как другие элементы вашей страницы влияют на конверсию, трафик и другие показатели.

Я часто сталкиваюсь с взаимозаменяемостью терминов «сплит-тест» и «А/В-тестирование». На самом деле это два разных типа тестов.

А/В-тестирование – это сравнение двух версий с одним измененным элементом. Например, две одинаковые посадочные страницы, с разными призывами к действию или заглавными изображениями.

В свою очередь, сплит-тестирование (split-testing) предполагает сравнение двух совершенно разных исходных. Например, сравнение двух лендингов, которые предлагают один и тот же товар, но делают это с использованием разного описания, разных видео или картинок и разной ценой.

Лично я предпочитаю все же А/В-тестирование, потому как хочу знать, какие именно элементы действительно влияют на итоговые показатели. К примеру, если я сравниваю две совершенно разные версии одной и той же страницы, как я узнаю, что конкретно привело к лучшей конверсии и что стало причиной разных показателей – цвет кнопки, заглавное фото, цена или описание?

Статистика и данные, которые вы собираете при помощи А/В-тестирования, получены от фаворитов, претендентов и вариаций. Каждая версия маркетингового актива предоставляет вам информацию о посетителях вашего сайта.

Ваш фаворит – это маркетинговый актив (веб-страница, email, рекламное объявление на Facebook и пр.), который уже показал хорошие результаты или же вы ожидаете от него таковых.

Вы тестируете его, сравнивая с претендентом, который являет собой вариацию фаворита с единственным отличием (тот самый измененный элемент).

По окончании А/В-тестирования вы либо получаете нового фаворита, либо делаете вывод, что действующий фаворит не сдал позиций. Затем вы создаете новые вариации, чтобы снова проверить ими своего фаворита.

Многие думают, что одного А/В-тестирования вполне достаточно. На самом же деле вы должны проводить подобные тесты постоянно. Только так вы сможете оптимизировать ваши лендинги, а вместе  ними и рекламные объявления под предпочтения своей аудитории.

Некоторые элементы вашего маркетингового арсенала влияют на конверсию больше, чем другие. К примеру, изменение одного слова в тексте email-рассылки, вероятно, не окажет большого влияния на конверсию или кликабельность ваших ссылок в письмах (CTR).

В то время как заглавное фото на лендинге и то, что на нем изображено может оказать значительный эффект на уровень конверсии.

А поскольку вы ограничены во времени и ресурсах (как и все предприниматели), лучше направить усилия на наиболее значимые элементы вашего сайта или на другого маркетингового актива.

И чтобы дать вам четкое представление о том, на чем нужно сосредоточиться в первую очередь, я расскажу о десяти самых эффективных элементах, которые стоит сделать частью вашего А/В-тестирования.

1. Заголовки страниц и копирайтинг в целом

Заголовок – первое, что видят люди, попадая на вашу главную страницу или лендинг. Если он сразу же не привлечет внимания посетителей, они не станут тратить время, читая, что написано ниже.

Другие аспекты копирайтинга не менее важны, т.к. они тоже влияет на уровень конверсии. Что написано на вашей СТА-кнопке? Какой у вас анкорный текст для ссылки с СТА?

Протестируйте абзацы разной длины и разные формулировки для убеждения клиентов. Какой подход к продажам предпочитает ваша аудитория – жесткий или более мягкий? Что им «заходит» лучше – сухой язык статистики или юмористическая подача?

2. Призыв к действию

Ваш призыв к действию подсказывает читателям, что им нужно сделать прямо сейчас. СТА должен побудить их согласиться на ваше предложение на том основании, что оно слишком ценно, чтобы отказаться от него.

Изменение даже одного слова в вашем CTA может повлиять на коэффициент конверсии. Другие параметры, такие как цвет самой кнопки, ее размер, форма или контрастность также влияют на эффективность.

Только не нужно вносить изменения одновременно в несколько параметров, запуская А/В-тестирование. Если вы хотите проверить цвет кнопки, не меняйте в тот же момент и текст на кнопке или ее расположение. Так вы не узнаете, что именно повлияло на изменения.

3. Изображения, аудио и видео

Я свято верю в омниканальный маркетинг. Вы никогда не сможете охватить всю вашу целевую аудиторию только при помощи, например, только SEO-оптимизированного текста и органики. Поэтому я всегда советую использовать и другие форматы контента: подкасты, инфографику и видеоролики.

Если вы располагаете видеотекой, сравните эффективность видео-отзывов против текстовых; сравните текстовое описание продукта и описание в виде инфографики.

Если у вас еще нет своего видеоканала или ресурсной страницы, и вы используете стоковые изображения, даже они могут повлиять на результаты А/В-тестирования.

Например, если на вашей странице размещена фотография человека, указывающего на заголовок или СТА, это естественным образом привлечет внимание пользователей к этому элементу. Если же взгляд направлен в другую от СТА-кнопки сторону, внимание пользователей может также пройти мимо.

 

Экспериментируйте с разными форматами и видом ваших медиа активов. Они помогут вам понять, на что лучше всего реагирует ваша аудитория.

4. Заголовок письма

Заголовок электронного письма напрямую влияет на процент открытия писем (open rate). Если подписчика не зацепил заголовок, письмо, вероятнее всего, отправится прямиком в корзину.

Поэтому А/В-тестирование заголовка увеличит ваши шансы на то, что вы найдете тот вариант, который заставит людей чаще открывать ваши письма.

5. Глубина содержания

Кто-то предпочитает качественно преподнесенную информацию, дающую базовый обзор темы. В то время как другие заинтересованы в глубоком погружении, предлагающем подробное исследование и объяснение. К какой категории относятся ваши целевые клиенты?

Протестируйте глубину содержания и уровень подробности описания, создав два варианта описания вашего ключевого предложения. Один будет значительно длиннее другого и даст более глубокое понимание темы.

Глубина содержания влияет на SEO, а также на показатели времени, проведенного на странице и коэффициент конверсии. А/В-тестирование позволяет найти идеальный баланс между ними.

Это относится не только к информационному контенту, такому как на страницах блога, но и к посадочным страницам сайта.

Некоторые продукты или услуги понятны без подробностей. Другие же нуждаются в детальном объяснении.

6. Социальное доказательство

Знаете ли вы, что 70% потребителей, принимая решение о покупке, полагаются на отзывы других покупателей и мнения из онлайн-обзоров?

Преподнесенное правильно, социальное доказательства на ваших посадочных страницах (как и на страницах товаров и прочих маркетинговых активов) могут значительно повысить конверсию.

Проведите тест, где сравните вариацию с отзывами и без. Также стоит экспериментировать с форматом этих отзывов.

К примеру, можно протестировать эффективность социального доказательства в виде рейтинга с текстовыми отзывами против видео-отзывов.

7. Упоминания в СМИ

Согласитесь, приятно, когда ваша компания, продукт или услуга упоминаются в солидной публикации. И даже не так важно, какой это ресурс – онлайн-платформа или печатное издание.

И вы, безусловно, хотите, чтобы люди знали о том, что о вас пишут на других платформах. А для этого вы должны преподносить эту информацию четко и эффективно. И делать это можно по разному.

Для этого проведите А/В-тестирование разных форматов презентации ваших упоминаний в СМИ. На что реакция лучше – просто название публикации, логотип издания или цитата из опубликованной статьи, которая показывает ценность вашего продукта?

8. Email-рассылка

Кроме оптимизации сайта, с помощью А/В-тестирования можно легко проверить эффективность вашей email-рассылки и ее отдельных элементов. Просто отправьте половине подписчиков версию А, а второй половине – версию В.

Как я уже говорил, даже самые незначительные изменения могут весьма значительно сказаться на конверсии.

Допустим, вы запустили А/В-тестирование заголовка (темы) письма, которое продлился 20 дней. Каждое из тестируемых вариантов увидели 8000 человек. В результате вы видите, что версия B превосходит версию A на 72%, так как ее письма с заголовком B октрывают на 72% чаще, чем письма с заголовком А. С такими данными вы точно знаете, что нашли тот самый элемент, влияющий на процент октрытия писем.

Вывод основывается на трех фактах:

• вы изменили только один элемент;
• равное количество людей видели оба варианта;
• тест длился достаточное количество времени, и достаточно много людей видело каждый из вариантов, чтобы получить статистическую значимость.

На самом деле А/В-тестирование – это не сложно. Но прежде чем вы приступите, составьте стратегию.
Начните с гипотезы: какая версия вашей веб-страницы или другого маркетингового актива, по вашему мнению, будет эффективнее? Почему вы так считаете?

Также можно начать с вопроса «почему моя посадочная страница не приносит продаж?» Трафика много, а по СТА-кнопке нет кликов и конверсия сайта остается низкой? В этом случае внесение изменений поможет вам собрать больше данных о пользовательском опыте посетителей вашего сайта (user experience).

Я категорически не рекомендую запускать А/В-тестирование без четкого понимания особенностей вашей целевой аудитории и особенностей поведения посетителей сайта.

Что вы знаете о посетителях вашего сайта? Какой пол и возраст преобладает? Какие девайсы они используют при визите на ваш сайт? Какая глубина просмотра и какие страницы посещают чаще?

Чтобы найти ответы на эти вопросы, используйте Google Analytics для отслеживания трафика, реферальных источников и другой ценной информации.

Кроме этого, чтобы лучше понять поведение людей во время сеанса на сайте, можно запустить тепловые карты, карты скроллинга и другой софт, чтобы увидеть, как посетители взаимодействуют с вашим сайтом.

Запись сеанса отдельного посетителя также будет полезна. Она даст вам точное понимание того, что делает посетитель на конкретной странице сайта, что привлекает его внимание, а что не нравится или вводит его в заблуждение.

Запускать А/В-тестирование можно только тогда, когда вы уже знаете реакции клиента на вашу текущую маркетинговую стратегию, выявили аспекты, которые требуют улучшения и можете составить некоторые гипотезы по повышению эффективности вашей страницы.

Тогда тестирование действительно будет эффективным и может привести к повышению уровня конверсии и увеличению вашей прибыли.

Именно так это работает.

Запуск А/В-теста: пошаговый алгоритм

1. Выберите, что будете тестировать

Начните с одного элемента, который будете проверять. Убедитесь, что он имеет отношение к метрике, требующей улучшения.

Например, если ваша цель – сгенерировать большее количество лидов (регистраций), сфокусируйтесь на аспекте, который непосредственно влияет на конверсию (цена, СТА, фото и описание товара).

2. Установите цели

Чего вы хотите достичь с помощью А/В-тестирования? Улучшить конверсию? Увеличить продажи или время пребывания пользователя на странице? Повысить глубину просмотра сайта или кликабельность конкретного баннера?

Для начала сосредоточьтесь только на одной метрике. Ничто не мешает вам протестировать затем и остальные. Фокусируясь на одном аспекте в рамках одного теста, вы получите более точные данные.

3. Проанализируйте исходные данные

Начните с анализа своих исходных данных, используя бесплатный инструмент Google Analytics. В каком состоянии находится показатель, который вы хотите улучшить?

Это и есть ваша отправная точка. Именно этот аспект вы и будете тестировать и сравнивать новые показатели с исходными.

4. Выберите страницу, которую будете тестировать

Начните с наиболее важной страницы для показателя, который вы хотите улучшить.

Это может быть ваша домашняя страница или посадочная с высоким показателем посещаемости. В любом случае, это должна быть страница, которая имеет высокое влияние на ключевой показатель.

5. Выберите элементы, которые будут тестироваться

Определитесь, с помощью каких элементов вы будете тестировать своего фаворита (текущий вариант или вариант с наибольшим потенциалом). Помните, это уже существующий контент, который вы будете немного видоизменять, чтобы увидеть, улучшаются ли ваши показатели.

Затем выберите, в каком порядке вы будете их тестировать. Начните с элементов, которые, по вашему мнению, с большей вероятностью повлияют на целевой показатель (метрику).

6. Создайте вариацию

Теперь создайте вариацию своего фаворита – претендента. Измените только тот элемент, который вы выбрали на предыдущем этапе и внесите только одно изменение.

Если вы тестируете СТА-кнопку, измените что-то одно: цвет, текст, размер или положение кнопки. Все остальное должно остаться без изменений.

7. Выберите инструменты для А/В-тестирования

Выбирать инструмент А/В-тестирования необходимо, исходя из того, что именно вы тестируете. Если это email-рассылка, используйте встроенные инструменты тестирования, которые предоставляют большинство email-провайдеров.

Если это посадочная страница, вы можете это сделать с помощью Google Analytics или более специализированным сервисов CrazyEgg или Optimizely, которые предлагают более детальные настройки для проведения экспериментов. И это их главные преимущества.

8. Создайте тест

В зависимости от используемого инструмента, вы можете значительно влиять на параметры теста или вносить лишь небольшие правки.

К примеру, вам, возможно, понадобиться указать длительность тестирования, устройства, с которых хотите собирать данные, местоположение пользователей и тому подобное. Но не все сервисы предлагают такой уровень кастомизации тестов, поэтому это не всегда можно настроить.

Размах ваших «полномочий» напрямую зависит от типа выбранного вами инструмента.

9. Собирайте данные

На этом этапе вы – в режиме ожидания. Запускайте тест, собирайте данные и ждите результатов.

Главное не начинайте делать поспешных выводов и менять что-то на ходу. 

Дождитесь окончания теста.

10. Анализируйте данные A/B-тестирования

По окончанию теста, проанализируйте отчеты из Google аналитики, сравните результаты двух вариаций путем сравнения величины ключевого показателя в обоих случаях. Какая из вариаций привела к лучшей эффективности?

Делайте выводы, основываясь на том, какой вариант победил: фаворит или претендент.

Приблизившись к лучшему пониманию предпочтений своей аудитории, можете начинать этот 10-шаговый процесс заново, уже с новой вариацией.

Потому что A/B тестирование – это беспрерывный процесс. Даже высокие показатели эффективности можно улучшить путем экспериментов.

A/B-тест должен длиться ровно столько, сколько необходимо для того, чтобы его результаты достигли статистической значимости и имели достаточную надежность, чтобы использовать их для принятия решений.

В большинстве случаев продолжительность А/В-тестирования имеет куда меньшее значение, чем его статистическая значимость (statistical significance).

Если вы проводите его в течение шести месяцев, но за это время страницу посетили только десять пользователей, вы не получите объективных данных. Слишком маленькая выборка, чтобы сделать какие-то выводы.

Однако, А/В-тестирование должно быть достаточно продолжительным, чтобы исключить вариант конвергенции результатов. Это происходит, когда вначале появляется существенная разница между двумя вариациями, но со временем уменьшается. Такое случается из-за изменений в предпочтениях людей в течении дня или недели.

Если вы увидели конвергенцию в процессе тестирования, можно сделать вывод, что новая вариация не оказала существенного влияния на показатель, который вы отслеживаете.

А/В-тестирование дает хорошие результаты в течение нескольких недель при условии наличия стабильного трафика.

Но в конечном итоге, стремитесь получить высокую статистическую значимость результатов, будь то путем более долгой длительности теста или большим количеством трафика/показов вариаций.

Для оценки достоверности ваших данных и оценки того, насколько сильно можно полагаться на результаты тестов, можно воспользоваться простым калькулятором для выявления победителя на основе результатов эксперимента или калькулятором уровня достоверности результатов вашего теста.

Если p-value меньше 0.05, то показатель достоверности выше 0.95. А это значит, что результаты вашего эксперимента можно считать статистически значимыми. Таким образом, на их основе можно делать уверенные выводы и внедрять изменения.

Если p-value больше 0.05, значит выявить явного победителя среди вариаций в рамках теста не удалось.

Этот показатель не нужно считать вручную и совсем не обязательно заморачиваться о его значении. Просто проведите тест и воспользуйтесь калькулятором. Хотя если вы проводите эксперимент с помощью специальных сервисов, то программа сама все за вас посчитает.

Ваша цель – не просто хаотично тестировать разные варианты, постоянно собрать как можно больше данных о ваших пользователя с помощью А/В-тестирования и продолжать улучшать свои показатели. Сколько посетителей «получила» каждая из вариаций? На сколько процентов победитель обошел проигравшую вариацию?

К примеру, разница в 4% указывает на то, ваша аудитория не отдает явного предпочтения одной из вариаций.

Однако, отрыв в 40% дает вам ценные сведения об элементе, который вы тестировали и, скорее всего, выявляет явного победителя.

После окончания теста, анализа результатов и имплементации изменений, приступайте к новому поиску возможных точек роста, создавайте гипотезы, проводите новые тесты и продолжайте повышать эффективность вашего сайта и остальных маркетинговых активностей.