5 ошибок, которых следует избегать при AB-тестировании вашего дизайна

AB-тестирование может помочь улучшить дизайн вашего веб-сайта. Даже минимальное изменение кнопки призыва к действию ( призыв к действию ) может увеличить ваши продажи на 35,6%. Выполнив AB-тестирование , вы можете убедиться, что вносимые вами изменения в дизайн приводят к лучшим результатам.

Как веб-разработчик, пытающийся создавать эффективные веб-сайты, вы, вероятно, уже знаете о AB-тестировании , но если вы впервые слышите о AB-тестировании (также известном как сплит-тестирование), вам следует сначала прочитать эту вводную статью: Введение в сплит-тестирование веб-сайта.

Хотя AB-тестирование может показаться неудовлетворительным упражнением — особенно в большом количестве Есть полезные инструменты, такие как Optimizely , Google Analytics Content Experiments и Visual Website Optimizer — есть некоторые распространенные ошибки, которые могут привести к нежелательным результатам.

Эти ошибки AB-тестирования могут привести к катастрофе, поскольку они потенциально снижают коэффициент конверсии страницы.

Если вы сделаете ошибки в тестах AB , которые я обсуждаю ниже, это, по крайней мере, приведет к тому, что вы не получите наиболее полных данных, которые могут потребоваться для принятия обоснованного проектного решения. 

Ошибка №1: использование AB-тестов , когда они не нужны

AB-тесты , лучше всего использовать, когда вам нужно проверить разницу между две версии одной и той же переменной.

Например, если вы хотите знать, чаще ли люди нажимают на ваши гиперссылки, когда они подчеркнуты или нет, вы можете создать две версии веб-сайта: одну версию с подчеркнутыми ссылками ( версия A) и второй версии, в которой ссылки не подчеркнуты ( версия B ). Проверяемая переменная — это внешний вид текста гиперссылки (подчеркнутый или не подчеркнутый).

В этом случае вы может эффективно использовать AB-тесты , чтобы проверить, какая версия лучше.

Но чтобы протестировать более одной переменной, вы должны использовать Multivariate Tests (MVT)

Продолжая пример с гиперссылкой, используйте многовариантные тесты, если вы хотите найти наилучшую комбинацию следующих трех переменных:

Стиль текста : подчеркнутый или подчеркнутый; Цвет текста : синий, оранжевый или зеленый; Стиль текста : полужирный, курсив или простой.

В приведенном выше примере есть 18 ( 2x3x3 ) различных версий, которые вы должны протестировать для достижения наилучших результатов.

Зачем вам 18 разных версий? Дело в том, что на конверсию страницы может повлиять взаимодействие всех трех переменных.

Зеленые ссылки, например, могут показать лучшие результаты, чем синие, только если зеленые ссылки выделены жирным шрифтом, а не подчеркнуты . Однако зеленые ссылки будут работать хуже, чем синие, если зеленые ссылки выделены курсивом и подчеркнуты.

Но при многовариантном тестировании вы должны разделить трафик между тестируемыми версиями, поэтому я рекомендую использовать этот метод тестирования только в том случае, если сайт уже тестируется, достаточно хорошо посещается. В противном случае тест займет слишком много времени, чтобы получить надежные результаты.

На сайтах с низким трафиком следует использовать AB-тестирование . Это будет наиболее практичный выбор, когда у вас мало просмотров страниц.

Ошибка №2: игнорирование размера выборки

Итак, вы выполнили AB-тест на своем сайте.

Два часа спустя вы получаете статистически достоверные результаты, показывающие, что версия проекта с синей кнопкой с призывом к действию показала увеличение числа зарегистрированных пользователей на 300%.

Вы прыгаете. рады новому открытию и собираются внести изменения на всем сайте.

Не гоните лошадей!

Потому что, поскольку пробный период слишком короткий, указанный выше результат представляет слишком мало посетителей.

Тем из вас, кто не знаком со статистикой, стоит пояснить, что размер выборки в в данном случае это означает количество посетителей, участвующих в тесте.

Несоответствующий размер означает, что размер выборки статистически слишком мал, чтобы обеспечить точное представление всей генеральной совокупности (в данном случае совокупность означает посетителей веб-сайта).

Если у вас 50 000 посетителей в месяц на вашем сайте, проверка 30 посетителей (что составляет всего 0,06% ваших ежемесячных посетителей) не даст хороших результатов.

Положительный результат Результат в таких случаях может быть списан как случайный или случайный.

Когда вы вносите изменения в свой веб-сайт на основе недостаточной выборки, вы быстро видите, что коэффициент конверсии вашего веб-сайта не увеличивается по сравнению с вашими ожиданиями.

Еще хуже: в некоторых случаях может снизиться . Почему? Если размер выборки был недостаточно велик, улучшение, которое вы видите в результате периода тестирования, могло быть случайным, и возможно, что версия, которая показывает улучшение, на самом деле хуже при достаточном размере выборки.

Чтобы избежать этой ловушки, вам необходимо определить подходящий размер выборки для вашего теста. Это можно сделать с помощью калькулятора продолжительности бесплатного тестирования из Visual Website Optimizer.

Этот инструмент сообщит вам, сколько дней тестирования вам нужно. бежать, чтобы получить надежные результаты. При расчете учитывается количество версий, которые вы хотите протестировать, посещаемость вашего сайта, текущий коэффициент конверсии вашего сайта и т. д.

Ошибка № 3: сосредоточение внимания на одном показателе для показателей сайта

Существует несколько целей конверсии, которые можно использовать для измерения успеха кампании, например CTR , количество новых посетителей вашего веб-приложения, процент отказа от корзины и т. д.

Вы часто обнаруживаете, что существует корреляция между разными целями и показателями, поэтому использование данных из тестов AB для улучшения одного показателя может отрицательно повлиять на другие важные показатели. 

Например, использование версии проекта, которая увеличивает CTR кнопки с призывом к действию, также может одновременно повлиять на количество новых клиентов.

Иногда полезно внести изменение в дизайн, которое снижает один показатель, если оно значительно увеличивает другой важный показатель, например, снижение CTR не так уж плохо, если оно значительно увеличивает количество новых клиентов.

Вам необходимо досконально понимать каждую метрику, на которую может повлиять изменение, чтобы вы могли принимать обоснованные проектные решения на основе ваших проектных приоритетов.

Ошибка №4. Не сегментируйте свои тесты

Один из пользователей нашего Визуального оптимизатора веб-сайтов выполнял тест, чтобы увидеть, как изменится конверсия страницы, если некоторые элементы навигации будут удалены.

Сегментировал тест для тестирования только новых пользователей страницы.

Такой подход полностью оправдан, поскольку он был сервис потокового видео, аналогичный Netflix . Итак, большое количество вернувшихся пользователейсайт уже был клиентами.

Поскольку владелец сайта больше всего интересовался преобразованием новых посетителей в клиентов, сегментирование AB-тестирования было отличной идеей.

В этом случае В этом случае тестирование всех посетителей сайта было бы неправильным.

Это исказит результаты, поскольку тестирование всех посетителей будет означать получение данных, которые будут включать посетителей, которые уже совершили " fork " конверсии и были клиентами.

Сегментируйте свои AB-тесты , если это улучшит ваши результаты.

Ошибка № 5: выбор эстетики важнее результатов

Это выбор, с которым дизайнеры сталкиваются в первую очередь, когда начинают AB-тестирование своей работы.

Гипотетический сценарий (перерисован для обсуждения): дизайнер считает, что выбранная им фотография продукта идеально сочетается с дизайном. Выполняет AB тест, чтобы убедиться, что это правильное дизайнерское решение.

Создает 2 версии для тестирования: одну с фотографией продукта (версия A) и одну без фотографии (версия B).

Дизайнер обнаружил, что кнопка" Купить "получает больше кликов в версии B, а не в версии с фотографиями.

Но версия B выглядит « некрасивой » для дизайнера.

Что ей теперь делать? Игнорировать результаты и оставить изображение цветка позади, использовать другое изображение или принять важное дизайнерское решение и переосмыслить дизайн, чтобы он выглядел лучше без изображения?

Когда вы освоитесь с тестированием, вы узнаете, как сбалансировать эстетический дизайн с тестовыми данными.

Иногда веб-сайт может выглядеть не так хорошо, как вам хотелось бы, но если это не выглядит абсолютно ужасно, выберите проект, который работает лучше.

Наконец, веб-сайт — это инструмент. Цель веб-сайта — не в том, чтобы красиво выглядеть, а в достижении конкретных целей, таких как увеличение онлайн-продаж или просмотров страниц.

Независимо от того, как выглядит ваш проект, используйте версию, которая лучше всего поддерживает цель страницы.