Чтобы не упустить важные показатели, в этом случае тестирование нужно проводить несколько месяцев. А это противоречит сути А/В-тестирования — все таки А/В-тесты являются инструментом для быстрого внедрения улучшений. Это замедлит получение статистически значимых данных.
Недавно мы проводили А/B-тест с помощью бесплатной версии Varioqub. Инструмент доступен в интерфейсе Яндекс Метрики в разделе «Эксперименты». Поэтому на реальном примере расскажем, какие действия необходимо выполнить до, во время и после теста. Для расчёта статистической значимости на основе результатов теста уже тоже придумали калькулятор. После завершения исследования мы можем проанализировать результаты.
Как проводить A/B-тесты
Сервис «Оптимизация» позволяет проверять эффективность пяти вариантов страницы за один тест. Используя его, можно проводить A/B/n-тестирование, то есть проверять сразу несколько гипотез вместо двух. Проверить гипотезы можно с помощью статистических тестов. Он помогает работать с небольшими объемами данных, допустим, для среднесуточных значений.
- Теперь перейдем к тому, зачем нужны такие тесты и как их проводить.
- Одной из главных причин проведения A/B тестов является необходимость узнать, какие изменения влияют на поведение потребителей и как они отражаются на конверсии.
- В Яндекс Метрике, если выводимый показатель статистически значимый, он окрашивается в красный или зеленый цвет.
- Например, с его помощью они могут понять, как доработать сервис, чтобы он нравился пользователям.
- Для подключения понадобится аккаунт Google Analytics.
Это методика экспериментального сравнения двух или более вариантов (версий) одного и того же объекта с целью выяснить, какой из них дает лучший результат. Объектом может быть сайт, страница веб-формы или любой другой элемент маркетингового инструмента. Калькулятор выдает размер выборки для каждого варианта. Остается только умножить это значение на 2 (т. к. мы тестируем два варианта) и разделить на количество визитов исследуемого трафика, которое у нас регистрируется в среднем за день. Если в день 100 визитов, то длительность эксперимента составит 35 дней. Пробуй, ошибайся, учись и снова пробуй — только такой подход в итоге приводит к результатам.
Для чего нужно тестирование?
Доступен по подписке от $39 за 5 тысяч посетителей до $390 за 200 тысяч пользователей в месяц. Например, можно попробовать пройти опросник-самоотчёт Кеттелла, основанный на теории психолога Рэймонда Кеттелла. Типология используется при составлении портрета личности отдельного человека, при поиске подходящей профессии или в подборе персонала.
Сможете создавать подходящие инструменты для проведения A/B-тестов для разных продуктов, используя Python. Нельзя завершать сплит-тестирование раньше, чем был достигнут размер выборки. Метод A/B-тестирования используют для исследования рекламы, воронок продаж, сайта. Разберём, как работает A/B-тестирование, на примере.
Идеи, эффективность которых стоит обязательно проверить с помощью A/Б-тестирования
Иначе может получиться так, что отдельный сегмент аудитории будет видеть только один вариант — и результат будет недостоверным. Лучше использовать специальные сервисы — они распределяют трафик автоматически. Также в анализе можно запросить отчет о достоверности результатов из Google Optimize. Этот показатель доступен уже во время исследования, но если в процессе сервис показывает более низкие значения, прерывать эксперимент не стоит.
CTR (click-through rate) — показатель кликабельности. Он отражает, как часто пользователи переходят по ссылкам. Например, при CTR 3% три человека из ста перешли по ссылке. В постановке целей добавляют основную метрику, изменения которой будут отслеживаться. Как мы уже рекомендовали ранее, добавьте отслеживание дополнительных значений — их изменения тоже можно использовать в отчете и для составления дальнейших гипотез. Также в гипотезе важно выделять, какой показатель должен измениться.
Как запустить A/B-тестирование сайта в сервисе Varioqub
Как сказано выше, коэффициент конверсии страницы A составляет 2%. Если на странице B этот показатель составил 2,5%, значит изменение конверсионной кнопки с голубого на красный цвет действительно увеличило эффективность лэндинга. Поэтому маркетолог дальше ищет способы совершенствования страницы с помощью A/B-тестирования. При этом a/b testing это в качестве контрольной выступит уже страница с красной конверсионной кнопкой. Таким образом в ходе теста сравнивается вариант «A» и вариант «B», и целью является определение лучшего из двух протестированных вариантов. Чтобы сплит-тест показал достоверные, а не случайные результаты, его нужно проводить определенное время.
Прежде чем начинать срочно всё менять на странице, составьте план тестов, ориентируясь на показатели Яндекс.Метрики и Google Analytics, а также на цели, которые вы планируете достичь. В проведении тестов вам могут помочь специальные сервисы, о которых мы рассказали далее. Возможно, сейчас с посетителей сайта вы получаете 5$, а можете получать 10, но пока не догадываетесь об этом. Чтобы узнать, какая стратегия может зарабатывать больше, как именно этого добиться и где потолок – проводятся тесты.
Собирайте информацию из ваших инструментов аналитики
К примеру, изменение одного слова в тексте email-рассылки, вероятно, не окажет большого влияния на конверсию или кликабельность ваших ссылок в письмах (CTR). А/В-тестирование – это сравнение двух версий с одним измененным элементом. Например, две одинаковые посадочные страницы, с разными призывами к действию или заглавными изображениями. После этого на сайте Google Optimize появится кнопка ОК, запускающая эксперимент. Она поможет сделать первые выводы о вносимых изменениях и их эффективности.
Сервис A/B-теста Realroi.ru
Начните с наиболее важной страницы для показателя, который вы хотите улучшить. Именно этот аспект вы и будете тестировать и сравнивать новые показатели с исходными. Как я уже говорил, даже самые незначительные изменения могут весьма значительно сказаться на конверсии. К примеру, можно протестировать эффективность социального доказательства в виде рейтинга с текстовыми отзывами против видео-отзывов. Это относится не только к информационному контенту, такому как на страницах блога, но и к посадочным страницам сайта. Заголовок – первое, что видят люди, попадая на вашу главную страницу или лендинг.
Recent Comments