Чтобы не упустить важные показатели, в этом случае тестирование нужно проводить несколько месяцев. А это противоречит сути А/В-тестирования — все таки А/В-тесты являются инструментом для быстрого внедрения улучшений. Это замедлит получение статистически значимых данных.
Недавно мы проводили А/B-тест с помощью бесплатной версии Varioqub. Инструмент доступен в интерфейсе Яндекс Метрики в разделе «Эксперименты». Поэтому на реальном примере расскажем, какие действия необходимо выполнить до, во время и после теста. Для расчёта статистической значимости на основе результатов теста уже тоже придумали калькулятор. После завершения исследования мы можем проанализировать результаты.
Сервис «Оптимизация» позволяет проверять эффективность пяти вариантов страницы за один тест. Используя его, можно проводить A/B/n-тестирование, то есть проверять сразу несколько гипотез вместо двух. Проверить гипотезы можно с помощью статистических тестов. Он помогает работать с небольшими объемами данных, допустим, для среднесуточных значений.
Это методика экспериментального сравнения двух или более вариантов (версий) одного и того же объекта с целью выяснить, какой из них дает лучший результат. Объектом может быть сайт, страница веб-формы или любой другой элемент маркетингового инструмента. Калькулятор выдает размер выборки для каждого варианта. Остается только умножить это значение на 2 (т. к. мы тестируем два варианта) и разделить на количество визитов исследуемого трафика, которое у нас регистрируется в среднем за день. Если в день 100 визитов, то длительность эксперимента составит 35 дней. Пробуй, ошибайся, учись и снова пробуй — только такой подход в итоге приводит к результатам.
Доступен по подписке от $39 за 5 тысяч посетителей до $390 за 200 тысяч пользователей в месяц. Например, можно попробовать пройти опросник-самоотчёт Кеттелла, основанный на теории психолога Рэймонда Кеттелла. Типология используется при составлении портрета личности отдельного человека, при поиске подходящей профессии или в подборе персонала.
Сможете создавать подходящие инструменты для проведения A/B-тестов для разных продуктов, используя Python. Нельзя завершать сплит-тестирование раньше, чем был достигнут размер выборки. Метод A/B-тестирования используют для исследования рекламы, воронок продаж, сайта. Разберём, как работает A/B-тестирование, на примере.
Иначе может получиться так, что отдельный сегмент аудитории будет видеть только один вариант — и результат будет недостоверным. Лучше использовать специальные сервисы — они распределяют трафик автоматически. Также в анализе можно запросить отчет о достоверности результатов из Google Optimize. Этот показатель доступен уже во время исследования, но если в процессе сервис показывает более низкие значения, прерывать эксперимент не стоит.
CTR (click-through rate) — показатель кликабельности. Он отражает, как часто пользователи переходят по ссылкам. Например, при CTR 3% три человека из ста перешли по ссылке. В постановке целей добавляют основную метрику, изменения которой будут отслеживаться. Как мы уже рекомендовали ранее, добавьте отслеживание дополнительных значений — их изменения тоже можно использовать в отчете и для составления дальнейших гипотез. Также в гипотезе важно выделять, какой показатель должен измениться.
Как сказано выше, коэффициент конверсии страницы A составляет 2%. Если на странице B этот показатель составил 2,5%, значит изменение конверсионной кнопки с голубого на красный цвет действительно увеличило эффективность лэндинга. Поэтому маркетолог дальше ищет способы совершенствования страницы с помощью A/B-тестирования. При этом a/b testing это в качестве контрольной выступит уже страница с красной конверсионной кнопкой. Таким образом в ходе теста сравнивается вариант «A» и вариант «B», и целью является определение лучшего из двух протестированных вариантов. Чтобы сплит-тест показал достоверные, а не случайные результаты, его нужно проводить определенное время.
Прежде чем начинать срочно всё менять на странице, составьте план тестов, ориентируясь на показатели Яндекс.Метрики и Google Analytics, а также на цели, которые вы планируете достичь. В проведении тестов вам могут помочь специальные сервисы, о которых мы рассказали далее. Возможно, сейчас с посетителей сайта вы получаете 5$, а можете получать 10, но пока не догадываетесь об этом. Чтобы узнать, какая стратегия может зарабатывать больше, как именно этого добиться и где потолок – проводятся тесты.
К примеру, изменение одного слова в тексте email-рассылки, вероятно, не окажет большого влияния на конверсию или кликабельность ваших ссылок в письмах (CTR). А/В-тестирование – это сравнение двух версий с одним измененным элементом. Например, две одинаковые посадочные страницы, с разными призывами к действию или заглавными изображениями. После этого на сайте Google Optimize появится кнопка ОК, запускающая эксперимент. Она поможет сделать первые выводы о вносимых изменениях и их эффективности.
Начните с наиболее важной страницы для показателя, который вы хотите улучшить. Именно этот аспект вы и будете тестировать и сравнивать новые показатели с исходными. Как я уже говорил, даже самые незначительные изменения могут весьма значительно сказаться на конверсии. К примеру, можно протестировать эффективность социального доказательства в виде рейтинга с текстовыми отзывами против видео-отзывов. Это относится не только к информационному контенту, такому как на страницах блога, но и к посадочным страницам сайта. Заголовок – первое, что видят люди, попадая на вашу главную страницу или лендинг.