для чего используются a b инструменты для работы с данными
A/B тест — это просто
A/B тестирование — это мощный маркетинговый инструмент для повышения эффективности работы вашего интернет-ресурса. С помощью A/B тестов повышают конверсию посадочных страниц, подбирают оптимальные заголовки объявлений в рекламных сетях, улучшают качество поиска.
Мне часто приходится сталкиваться с задачами организации A/B тестирования в различных интернет-проектах. В этой статье хочу поделиться необходимыми базовыми знаниями для проведения тестов и анализа результатов.
Зачем нужны А/B тесты?
Итак, представим ситуацию, наш проект запущен в жизнь, на нем собирается трафик, пользователи активно используют ресурс. И в один прекрасный день мы решили что-то поменять, например, разместить всплывающий виджет для удобства подписки на новости.
Наше решение — это интуитивное предположение о том, что пользователям ресурса станет проще подписываться на новые материалы, мы ожидаем повышения числа подписчиков.
Наши предположения и гипотезы строятся на основе личного опыта и наших взглядов, которые совсем не обязательно совпадают со взглядами аудитории нашего ресурса. Другими словами, наше предположение вовсе не означает, что после внесения изменений мы получим желаемый эффект. Для проверки таких гипотез мы и проводим A/B тесты.
Как проводим тесты?
Идея A/B тестирования очень проста. Пользователи ресурса случайным образом делятся на сегменты. Один из сегментов остается без изменений — это контрольный сегмент “A”, на основе данных по этому сегменту мы будем оценивать эффект от вносимых изменений. Пользователям из сегмента “B” показываем измененную версию ресурса.
Чтобы получить статистически значимый результат, очень важно исключить влияние сегментов друг на друга, т.е. пользователь должен быть отнесен строго к одному сегменту. Это можно сделать, например, записав метку сегмента в cookies браузера.
Для снижения влияния внешних факторов, таких как рекламные кампании, день недели, погода или сезонность, замеры в сегментах важно делать параллельно, т.е. в один и тот же период времени.
Кроме того, очень важно исключить и внутренние факторы, которые также могут существенно исказить результаты теста. Таким факторами могут быть действия операторов call-центра, служба поддержки, работа редакции, разработчики или администраторы ресурса. В Google Analytics для этого можно воспользоваться фильтрами.
Число пользователей в сегментах не всегда удается сделать равным, в связи с этим метрики, как правило, выбираются относительные, т.е. без привязки к абсолютным значениям аудитории в сегменте. Нормирование осуществляется либо на число посетителей, либо на число просмотров страниц. Например, такими метриками могут быть средний чек или CTR ссылки.
Одной из причин делить аудиторию непропорционально может быть существенное изменение в интерфейсе. Например, полное обновление устаревшего дизайна сайта, изменение системы навигации или добавление всплывающей формы для сбора контактной информации. Такие изменения могут привести как к положительным, так и к отрицательным эффектам в работе ресурса.
Если есть опасение, что изменение может иметь сильное негативное влияние, например, привести к резкому оттоку аудитории, то, на первом этапе, имеет смысл тестовый сегмент делать не очень большим. В случае отсутствия негативного эффекта, размер тестового сегмента можно постепенно увеличить.
Что улучшаем?
Если вы собираетесь провести A/B тестирование на своем ресурсе, то наверняка у вашего проекта уже сформированы основные показатели, которые необходимо улучшить. Если таких показателей еще нет, тогда самое время о них задуматься.
Показатели прежде всего определяются целями проекта. Ниже приведу несколько популярных метрик, которые используются в интернет-проектах.
Конверсия
Конверсия вычисляется как доля от общего числа посетителей, совершивших какое-либо действие. Действием может быть заполнение формы на посадочной странице, совершение покупки в интернет-магазине, регистрация, подписка на новости, клик на ссылку или блок.
Экономические метрики
Как правило, эти метрики применимы для интернет-магазинов: величина среднего чека, объем выручки, отнесенный на число посетителей интернет-магазина.
Поведенческие факторы
К поведенческим факторам относят оценку заинтересованности посетителей в ресурсе. Ключевыми метриками являются: глубина просмотра страниц — число просмотренных страниц, отнесенное к числу посетителей на сайте, средняя продолжительность сессии, показатель отказов — доля пользователей, покинувших сайт сразу после первого захода, коэффициент удержания (можно считать, как 1 минус % новых пользователей).
Одного показателя не всегда достаточно для оценки эффекта от вносимых изменений. Например, после изменений на сайте интернет-магазина средний чек может уменьшиться, но общая выручка вырасти за счет повышения конверсии посетителя в покупателя. В связи с этим, важно контролировать несколько ключевых показателей.
Анализ результатов
Отлично, ключевые показатели определены, тест запущен и мы получили первые данные. В этот момент, особенно если данные соответствуют нашим ожиданиям, возникает соблазн сделать поспешные выводы о результатах тестирования.
Торопиться не стоит, значения наших ключевых показателей могут меняться день ото дня — это значит, что мы имеем дело со случайными величинами. Для сравнения случайных величин оценивают средние значения, а для оценки среднего значения требуется некоторое время, чтобы накопить историю.
Эффект от внесения изменения определяют как разность между средними значениями ключевого показателя в сегментах. Тут возникает следующий вопрос, насколько мы уверены в достоверности полученного результата? Если мы еще раз проведем тест, то какова вероятность того, что мы сможем повторить результат?
Ниже на картинках приведены примеры распределения значений показателя в сегментах.
Графики распределения характеризуют частоту появления того или иного значения случайной величины в выборке. В данном случае все значения распределены вокруг среднего.
На обеих картинках средние значения показателя в соответствующих сегментах одинаковы, картинки отличаются только разбросом значений.
Данный пример хорошо иллюстрирует, что разности средних значений недостаточно для того, чтобы считать результат достоверным, необходимо также оценить площадь пересечения распределений.
Чем меньше пересечение, тем с большей уверенностью мы можем сказать, что эффект действительно значим. Эта “уверенность” в статистике называется значимостью результата.
Как правило, для принятия положительного решения об эффективности изменений уровень значимости выбирают равным 90%, 95% или 99%. Пересечение распределений при этом равно соответственно 10%, 5% или 1%. При невысоком уровне значимости существует опасность сделать ошибочные выводы об эффекте, полученном в результате изменения.
Несмотря на важность этой характеристики, в отчетах по A/B тестам, к сожалению, часто забывают указать уровень значимости, при котором был получен результат.
Кстати, на практике примерно 8 из 10 A/B тестов не являются статистически значимыми.
Стоит отметить, что чем больше объем трафика в сегментах, тем меньше разброс среднесуточных значений показателя. При небольшом трафике из-за большего разброса значений случайной величины потребуется больше времени для проведения эксперимента, но в любом случае это лучше, чем вовсе не проводить эксперимент.
Оценить значимость результатов
Для сравнения случайных величин математики придумали целый раздел под названием проверка статистических гипотез. Гипотез всего две: “нулевая” и “альтернативная”. Нулевая гипотеза предполагает, что разница между средними значениями показателя в сегментах незначительна. Альтернативная гипотеза предполагает наличие существенной разницы между средними значениями показателя в сегментах.
Для проверки гипотез существует несколько статистических тестов. Тесты зависят от характера измеряемого показателя. В общем случае, если мы считаем среднесуточные значения, можно воспользоваться тестом Стьюдента. Этот тест хорошо зарекомендовал себя для небольших объемов данных, т.к. учитывает размер выборки при оценке значимости.
В качестве примера приведу сравнение средней длительности сессии в сегментах на одном из ресурсов, для которых я проводил эксперимент: studentttest.xls.
Тест Стьюдента — универсален, его можно применять как для измерений конверсии, так и для таких количественных показателей как средний чек, средняя глубина просмотра или время, проведенное пользователем на сайте.
В случае, если вы измеряете только конверсию, то вы имеете дело с бинарной слуайной величиной, которая принимает только два значения: посетитель “сконвертировался” и “не сконвертировался”. Для оценки статистической значимости в этом случае можно воспользоваться он-лайн калькулятором.
Инструменты
Для организации теста необходим инструмент, позволяющий разметить аудиторию по сегментам и посчитать значения ключевых показателей отдельно в каждом сегменте.
Если ваши ресурсы позволяют, то такой инструмент можно реализовать самостоятельно на основе анализа логов действий пользователей. Если ресурсы ограничены, то стоит воспользоваться сторонним инструментом. Например, в Google Analytics есть возможность задавать пользовательские сегменты.
Существует ряд сервисов, которые позволяют полностью автоматизировать процесс тестирования, например, тотже Google Analytics Experiements, примеры других сервисов можно найти в обзоре.
А/В-тестирование: зачем нужно и как помогает бизнесу
Давайте разберёмся, что такое A/B-тестирование, какие бизнес-задачи решает, а также рассмотрим примеры тестов для разных отраслей. Адаптированный перевод гайда по A/B-тестам от компании VWO.
Куратор факультета «Аналитика и Data Science» Нетологии
Что такое A/B-тестирование
Сколько посетителей сайта — столько у бизнеса возможностей для роста. Поэтому важно привлекать новых клиентов и укреплять отношения с существующими. Воронка конверсии определяет, получит ли сайт хороший трафик и сможет ли вовлечь больше пользователей.
Компании заинтересованы в том, чтобы посетители совершали на сайте целевые действия. То, насколько это удаётся, измеряется коэффициентом конверсии.
Чем лучше оптимизирована воронка, тем выше конверсия.
A/B-тестирование — это способ оптимизации воронки сайта. Иногда его называют сплит-тестированием. Вы показываете два варианта одной веб-страницы разным сегментам посетителей и анализируете, какой вариант приводит к наилучшей конверсии. Выигрышный вариант поможет оптимизировать сайт и достичь лучших результатов.
Метрики уникальны для каждого сайта. Для электронной коммерции это может быть продажа продукта, а для b2b — генерация качественных лидов.
A/B-тестирование — один из компонентов процесса оптимизации коэффициента конверсии (CRO), с помощью которого собирают качественные и количественные оценки пользователей. Полученные данные используют для изучения потенциальных клиентов и оптимизации воронки конверсии.
Какие задачи бизнеса решают A/B-тесты
Электронная коммерция борется с брошенными корзинами, b2b страдают от некачественных лидов, а СМИ и издательства наблюдают низкую вовлечённость читателей. На показатели конверсии влияют распространённые проблемы: «утечки конверсии», потеря клиента на этапе оплаты и другие.
Давайте посмотрим, как A/B-тестирование поможет избавиться от этих проблем.
Решают проблемы пользователей
Посетители приходят на сайт с конкретной целью: больше узнать о продукте или услуге, что-то купить, изучить тему или просто поглазеть. При этом пользователи с разными целями сталкиваются с общими проблемами. Например, кнопка «Купить» расположена неудобно и её сложно найти. Такие нюансы формируют негативный пользовательский опыт (пользоваться сайтом неудобно) и влияют на конверсию.
Данные, собранные с помощью инструментов анализа поведения посетителей — тепловые карты, Google Analytics и опросы, — помогут определить болевые точки посетителей.
Это актуально для всех сфер, будь то электронная коммерция, туризм, SaaS, образование, СМИ или издательский бизнес.
Обеспечивают лучшую окупаемость инвестиций (ROI)
Маркетологи знают, каким дорогим бывает качественный трафик. A/B-тестирование позволяет эффективно использовать существующий трафик и помогает повысить конверсию без затрат на привлечение нового. Иногда даже незначительные изменения влияют на конверсию.
Уменьшают показатель отказов
Для оценки эффективности сайта важно отслеживать показатель отказов. Люди покидают сайт по разным причинам: слишком много вариантов товара, несоответствие ожиданиям и другие. Поскольку сайты различаются по аудиториям и целям, нет универсального надёжного способа определения показателя отказов.
Но решение есть: в каждом случае поможет A/B-тестирование. Можно протестировать несколько вариантов расположения элементов на сайте и найти оптимальное решение.
Тестирование помогает улучшить пользовательский опыт — сделать так, чтобы посетителям сайта было удобнее им пользоваться. Люди проводят больше времени на сайте ⟶ показатель отказов уменьшается.
Снижают риски при изменениях
Рекомендуем вносить небольшие и последовательные изменения вместо того, чтобы одновременно делать редизайн всей страницы. Так снизится вероятность ухудшения коэффициента конверсии.
A/B-тесты позволяют получать хороший результат и при этом вносить лишь небольшие изменения, что приводит к увеличению ROI.
В качестве примера приведём изменения в описании продукта. Вы можете сделать A/B-тест, когда нужно удалить или обновить описание продукта и не знаете, как посетители будут реагировать на это.
Другой пример модификации с низким риском — добавление новой функции. A/B-тест поможет сделать результат внедрения более предсказуемым.
Изменения без тестирования могут оказаться успешными, но могут и не окупиться. В отличие от вполне определённого результата, который достигается с помощью тестирования и внесения соответствующих изменений.
Обеспечивают статистически значимые улучшения
A/B-тестирование полностью основано на данных и не оставляет места для догадок. Поэтому можно легко определить «победителя» и «проигравшего» на основе статистически значимых улучшений: показателей времени на странице, число запросов пробников, количество брошенных корзин, CTR.
Помогают улучшить дизайн
Редизайн может быть разным: от небольших изменений цвета до полного изменения сайта. Решение об изменениях важно принимать на основании данных A/B-тестов.
Улучшение дизайна — непрерывный процесс. Если что-то изменили на сайте, протестируйте элементы, которые остались нетронутыми, и убедитесь, что используете лучшую версию ✌
Примеры A/B-тестов
Медиа и издательское дело
Издания стремятся увеличивать количество читателей, подписчиков, проведённое время на сайте, количество просмотров на самом сайте и в соцсетях.
Протестируйте разные варианты форм регистрации и подписки, блоков рекомендуемого контента, кнопок социальных сетей и других каналов продвижения.
Зрители Netflix с удовольствием пользуются сервисом. Во многом благодаря тому, что Netflix последовательно и систематически тестирует любое изменение на сайте.
Например, Netflix персонализирует главную страницу так, чтобы пользователю было удобно ориентироваться на ней. Поэтому в зависимости от того, что он смотрел и что ему нравится, зритель на своей главной странице видит те или иные шоу и фильмы в том или ином порядке. Случайные решения не принимаются.
Электронная коммерция
A/B-тестирование помогает интернет-магазинам повысить средний чек, оптимизировать воронку заказа, уменьшить количество брошенных корзин.
Рекомендуем протестировать, как отображается цена товара, доставка, текстовые и цветовые настройки на странице оплаты или оформления заказа, вид обзоров и рейтингов.
Amazon — лидер по оптимизации конверсии. И дело не только в масштабе, но и в стремлении предоставить клиентам удобный сервис.
В конце 90-х после длительных испытаний компания запустила опцию «Заказ в один клик», которая позволяет делать покупки без добавления товара в корзину. Пользователю достаточно всего один раз ввести данные карты и адрес доставки. Для заказа останется нажать на кнопку и ждать доставку. Заказ в один клик оказался настолько удобен, что у клиентов пропало желание заказывать товары на других сайтах.
Это изменение так сильно повлияло на бизнес, что в 1999 году Amazon запатентовала опцию «Заказ в один клик». К слову, в 2000 году лицензию купила компания Apple для своего интернет-магазина.
В Amazon не полагаются на озарения, а тестируют каждое изменение. Воронка продаж компании похожа на воронки других сайтов с той лишь разницей, что все элементы сайта Amazon приведены в лучший вид и соответствуют ожиданиям покупателей. Любая страница, начиная с главной и заканчивая страницей оплаты, содержит только важную информацию и профессионально подводит к следующему этапу воронки продаж.
Давайте рассмотрим пример с корзиной для покупок.
В правом верхнем углу главной страницы Amazon есть небольшой значок корзины, который всегда остаётся в зоне видимости посетителя. Но это не просто иконка корзины или напоминание о добавленных товарах — посетителю предлагается 5 опций:
A/B-тестирование
Туризм
С помощью A/B-тестирования можно увеличить количество заказов, дополнительных покупок и других позиций.
Протестируйте поиск на главной странице, страницу выдачи результатов, рекомендации сопутствующих продуктов, трекер заказа и многое другое.
Большой гайд по A/B-тестированию
В интернете масса информации об A/B-тестированиях, но многие до сих пор проводят их неправильно. Ошибиться действительно легко, поэтому подобные исследования требуют серьезной предварительной подготовки. В этой статье рассматриваются основные аспекты A/B-тестирования, которые необходимо учитывать для эффективного анализа веб-страниц.
Что такое A/B-тестирование?
A/B тестирование (сплит-тестирование) разделяет трафик в соотношении 50/50 между разными версиями страницы. По сути, этот метод — новое название для старой техники, известной как «контролируемый эксперимент».
Для проверки эффективности новых лекарств специалисты проводят сплит-тесты. Фактически, большинство исследовательских экспериментов можно назвать A/B-тестированием. Они включают в себя гипотезу, основной объект исследования, его вариацию и результат, представленный в виде статистических данных.
Вот и все. В качестве примера можно привести простое A/B-тестирование, при котором трафик в соотношении 50/50 делится между основной страницей и ее вариацией:
В случае с оптимизацией конверсии основное отличие состоит в изменчивости интернет-трафика. Внешние переменные легче контролировать в лаборатории. В интернете вы можете уменьшить их влияние, но создать полностью контролируемый тест гораздо сложнее.
Кроме того, тестирование новых лекарств требует определенной степени точности. На кон поставлены жизни людей. С технической точки зрения это значит, что тестирование может продолжаться дольше, так как исследователи должны сделать все возможное, чтобы избежать ошибки первого рода (ложное срабатывание).
Однако, A/B-тестирование веб-ресурсов проводится для достижения бизнес-целей. Оно необходимо для анализа рисков и вознаграждений, разведки и разработки, науки и бизнеса. Поэтому результаты рассматриваются с другой точки зрения, а решения принимаются не так, как у исследователей в лабораториях.
Конечно, вы можете создать более двух вариаций страницы. Исследование с несколькими элементами называют A/B/n-тестированием. Если трафика достаточно, то протестировать можно столько вариантов, сколько вам заблагорассудится. Вот пример A/B/C/D-тестирования с указанием трафика, выделенного для каждой вариации:
A/B/n-тестирование отлично подходит для реализации нескольких вариаций с целью проверки одной гипотезы. Однако, оно потребует больше трафика, поскольку его придется разделять на большее количество страниц.
Несмотря на свою популярность, A/B-тестирования являются лишь одним из видов онлайн-исследований. Вы также можете проводить многовариантные тесты или использовать метод многоруких бандитов.
A/B-тестирование, многовариантные тесты и метод многоруких бандитов: в чем разница?
A/B/n-тестирования — это контролируемые эксперименты, по результатам которых сравниваются коэффициенты конверсий исходной страницы и ее одной или нескольких вариаций.
Многовариантные тесты проводятся на нескольких версиях страницы с целью определить, какие атрибуты имеют наибольшее значение. Как и в случае A/B/n-тестирования, оригинал сравнивается с вариациями. Однако, в каждом варианте используются разные элементы дизайна. Например:
Каждый элемент имеет определенный сценарий использования и оказывает влияние на эффективность страницы. Добиться максимальной отдачи от сайта можно следующими способами:
Вам потребуется привлечь огромное количество пользователей на тестируемую страницу, прежде чем даже рассматривать возможность многовариантного тестирования. Однако, трафика достаточно, для оптимизации сайта следует использовать оба типа исследований.
Большинство агентств отдают предпочтение A/B-тестированию, поскольку их клиенты обычно тестируют значительные изменения (в потенциале сильнее влияющие на страницу). К тому же, их проще проводить.
Метод многоруких бандитов — это A/B/n—тесты, которые обновляются в режиме реального времени на основе эффективности каждой вариации.
По сути, алгоритм многоруких бандитов начинается с отправки трафика на две (или более) страницы: оригинал и ее вариант(ы). Затем он обновляется в зависимости от того, какая из вариаций является наиболее эффективной. В конце концов, алгоритм определяет лучший вариант из возможных:
Одно из преимуществ метода многоруких бандитов заключается в том, что они смягчают потери конверсии, которые вы испытываете при тестировании потенциально худшего варианта. Эта диаграмма от Google хорошо все объясняет:
И у метода многоруких бандитов, и у A/B/n-тестирований имеются сильные стороны. Первый идеально подходит для:
Вне зависимости от того, какой тип тестирования вы применяете, важно стараться повысить шансы на успех. Иными словами, чем чаще вы проводите тесты, тем быстрее увеличится конверсия.
Как улучшить результаты A/B-тестирования
Не обращайте внимания на статьи наподобие «99 вещей, которые можно протестировать с помощью A/B-тестирования». Это пустая трата времени и трафика. Только сам процесс поможет вам увеличить доход.
Около 74% оптимизаторов со структурированным подходом к конверсии также заявляют об улучшении продаж. Остальные попадают туда, что веб-аналитик Крейг Салливан называет «корытом разочарования». (Если только их результаты не испорчены ложными срабатываниями, о которых мы поговорим позже.)
Исследование
Для оптимизации сайта необходимо понять, что и почему делают ваши пользователи.
Однако, прежде чем задумываться о тестировании, укрепите свою стратегию привлечения пользователей и отталкивайтесь от нее. Итак, вам нужно:
Как только вы поймете, чего хотите добиться, можно начать собирать необходимые данные. Для этого мы рекомендуем использовать ResearchXL Framework.
Вот краткий перечень процессов, применяемый в компании CXL:
Эвристический анализ — это одна из лучших практик A/B-тестирования. Даже имея многолетний опыт, тяжело понять, какие именно элементы страницы увеличивают ее эффективность. Однако, можно определить области возможностей. Специалист по UX Крейг Салливан считает:
“По моему опыту, эти паттерны упрощают работу, но не являются прописными истинами. Они направляют и информируют меня, но не дают никаких гарантий».
Не стоит полагаться на паттерны. Также полезно иметь фреймворк. При проведении эвристического анализа стоит оценивать каждую страницу по следующим критериям:
Технический анализ часто упускается из виду. Однако, ошибки (если они есть) убивают конверсию. Вам может казаться, что ваш сайт работает отлично с точки зрения пользовательского опыта и функциональности. Но работает ли он одинаково хорошо с каждым браузером и устройством? Возможно, что нет.
Технический анализ очень эффективен и при этом не очень трудозатратен. Поэтому вам следует:
Следом идет анализ данных систем веб-аналитики. В первую очередь, убедитесь, что все работает. Вы будете удивлены количеством настроек систем веб-аналитики, которые выставлены неверно.
Анализ движения мыши включает тепловые карты, карты скроллинга, аналитику форм и повторы пользовательских сессий. Не увлекайтесь красочной визуализацией карт кликов. Убедитесь, что анализ помогает вам получать информацию, необходимую для достижения целей.
Качественное исследование позволяет понять причины проблем. Многие думают, что оно проще количественного. В действительности, качественное исследование должно быть таким же точным, чтобы предоставлять не менее полезную информацию.
Для этого необходимо проводить:
Наконец, можно использовать пользовательское тестирование. Идея проста: понаблюдайте за тем, как реальные люди используют ваш веб-сайт и взаимодействуют с ним, одновременно с этим комментируя свои действия. Обратите внимание на то, о чем они говорят и что испытывают.
После тщательного исследования конверсии у вас будет много данных. Следующим шагом является расстановка приоритетов для тестирования.
Как расставлять приоритеты гипотез при A/B-тестировании
Существует множество фреймворков для определения приоритетов ваших A/B-тестов. Более того, вы можете делать это на основе собственных методов. Крейг Салливан расставляет приоритеты следующим образом:
По завершении всех шести этапов, описанных выше, вы обнаружите проблемы — как серьезные, так и незначительные. Распределите каждую находку в одну из пяти категорий:
Оцените каждую проблему от 1 до 5 звезд (1 = незначительная, 5 = критическая). При оценке наибольшее значение имеют следующие два критерия:
Создайте электронную таблицу со всеми вашими данными. Вы получите схему сплит-тестирования с выставленными приоритетами.
Мы создали собственную модель приоритизации, чтобы сделать весь процесс как можно более объективным. Она подразумевает обязательное внесение данных в таблицу. Модель называется PXL и выглядит следующим образом:
Скачайте копию этого шаблона для электронной таблицы здесь. Просто нажмите «Файл» > «Создать копию», чтобы получить все необходимое.
Вместо предсказывания эффективности изменения фреймворк задает вам ряд вопросов о нем:
Многие потенциальные тестовые переменные требуют данных для определения приоритетности ваших гипотез. Еженедельные обсуждения, в ходе которых задаются следующие четыре вопроса, помогут вам определить приоритеты тестирования на основе данных, а не мнений:
Оцениваение PXL
Мы используем бинарную шкалу: вы должны выбрать одну оценку из двух. Таким образом, для большинства переменных (если не указано иное) вы выбираете либо 0, либо 1.
Однако, мы также хотим сортировать переменные по важности. Для этого мы специально описываем, какие элементы страницы меняются.
Настраиваемость
Мы создали эту модель, полагая, что вы можете и должны настраивать переменные в зависимости от целей вашего бизнеса.
К примеру, если вы работаете с командой по брендингу или пользовательскому опыту и гипотезы должны соответствовать рекомендациям бренда, добавьте их в качестве переменной.
Возможно, вы работаете в стартапе, двигатель продаж которого работает от SEO. Возможно, ваше финансирование зависит от потока клиентов. Добавьте категорию наподобие «не мешает SEO», чтобы изменить некоторые заголовки или тексты.
Все организации работают по-разному. Настройка шаблона поможет учесть все нюансы и создать оптимальную программу для оптимизации сайта.
Какой бы фреймворк вы ни использовали, сделайте так, чтобы он был понятен каждому члену команды, а также акционерам компании.
Как долго проводить А/Б тесты?
Первое правило: не прекращайте тест только потому, что она становится статистически значимой. Вероятно, это самая распространенная ошибка, которую допускают начинающие оптимизаторы.
Если вы слишком рано остановите тестирование, то обнаружите, что большинство изменений не приводит к увеличению дохода (что и является основной целью).
Обратите внимание на эту статистику, полученную после 1000 A/A-тестов (он проводился для двух идентичных страниц):
Преждевременная остановка тестов увеличивает риски ложных срабатываний.
Определите размер выборки и проводите тестирование на протяжении нескольких недель хотя бы два рабочих цикла подряд.
Как определить размер выборки? Существует много отличных инструментов. Вот как вы можете рассчитать размер выборки с помощью инструмента Эвана Миллера:
В этом примере мы указали, что коэффициент конверсии составляет 3% и мы хотим увеличить этот показатель как минимум на 10%. Этот инструмент утверждает, что каждую вариацию должны посетить 51 486 человек, прежде чем мы сможем взглянуть на уровни статистической значимости.
Помимо уровня значимости существует статистическая сила. Статистическая мощность пытается избежать ошибок типа II (ложные отрицания). Другими словами, она повышает вероятность того, что вы обнаружите наиболее эффективный элемент страницы.
Помните, что 80% мощности является стандартом для инструментов A/B-тестирования. Чтобы достичь такого уровня, вам понадобится либо большой размер выборки, либо грандиозный эффекта, либо более длительный тест.
Волшебных чисел не существует
Во многих статьях указываются магические числа (например, «100 конверсий» или «1000 посетителей») в качестве лучшего момента для остановки тестирования. Однако, математика не имеет ничего общего с волшебством. В действительности все сложнее упрощенной эвристики наподобие этих цифр. Вот что об этом говорит Эндрю Андерсон из Malwarebytes:
«Ваша цель — не определенное число конверсий. Вы должны стремиться собрать достаточно данных для проверки гипотезы на основе репрезентативных выборок и репрезентативного поведения.
Сто конверсий возможны только в самых редких случаях и с невероятно высокой разницей в поведении, но только если выполняются другие требования — такие, как поведение во времени, согласованность и нормальное распределение. При этом риск возникновения ошибки первого рода остается очень высоким».
Итак, вам необходим репрезентативный образец. Как его получить? Проводите тестирование в течение двух экономических циклов, что поможет снизить влияние таких внешних факторов, как:
Будьте осторожны с небольшими выборками. В интернете много тематических исследований, наполненных математическими ошибками.
Как только вы все настроите, не смотрите (и не позволяйте боссу подглядывать) на результаты теста до его окончания. Иначе вы можете сделать преждевременные выводы, «обнаружив тренд».
Регрессия к среднему
Вы часто будете замечать, что результаты сильно различаются в первые несколько дней теста. Впоследствии они сойдутся к среднему значению, поскольку тест продолжается на протяжении нескольких недель. Вот пример статистики сайта электронной коммерции:
Если бы вы завершили тестирование раньше четвертой недели, то сделали бы ошибочный вывод.
Существуют похожая проблема: эффект новизны. Новизна ваших изменений (например, большая синяя кнопка) привлекает больше внимания к варианту страницы. Со временем этот эффект исчезает, поскольку изменение постепенно перестанет быть актуальным.
Можно ли проводить несколько A/B-тестов одновременно?
Вы стремитесь ускорить свою программу тестирования и запустить больше тестов. Однако, можно ли запустить более одного A/B теста одновременно? Это увеличит ваш потенциал роста или исказит полученные данные?
Некоторые эксперты утверждают, что проводить несколько тестов одновременно неправильно. Некоторые говорят, что все в порядке. В большинстве случаев у вас не будет проблем при проведении нескольких одновременных тестов.
Если вы не тестируете действительно важные вещи (например, что-то, что влияет на вашу бизнес-модель и будущее компании), то преимущества от объема тестирования, вероятно, перевесят недостатки ваших данных и случайные ложные срабатывания.
Если существует высокий риск взаимодействия между несколькими тестами, уменьшите количество одновременных тестов и/или дайте тестам работать дольше для повышения точности.
Как настраивать A/B-тесты
После составления списка тестовых идей с расставленными приоритетами необходимо сформулировать гипотезу и провести эксперимент. Гипотезой вы определяете, по какой причине возникает проблема. Кроме того, хорошая гипотеза:
Крейг Салливан предлагает следующий алгоритм для упрощения процесса составления гипотезы:
Есть продвинутая версия этого алгоритма:
Технические вопросы
Настала самая занимательная часть тестирования: вы наконец можете выбрать инструмент для его проведения.
Многие приступают к этому вопросу в первую очередь, но это далеко не самое главное. Стратегия и статистические данные гораздо важнее.
Тем не менее, существуют несколько особенностей инструментов, о которых вы должны помнить. Они делятся на две основные категории: инструменты на стороне сервера или на стороне клиента.
Серверные инструменты отображают код на уровне сервера. Они отправляют рандомизированную версию страницы зрителю без изменений в браузере посетителя. Инструменты на стороне клиента отправляют ту же страницу, но JavaScript в браузере клиента управляет внешним видом исходной страницы и ее вариантом.
К инструментам тестирования на стороне клиента относятся Optimizely, VWO и Adobe Target. Conductrics позволяет использовать оба метода, а SiteSpect использует прокси-сервера.
Что все это значит для вас? Если вы хотите сэкономить время, ваша команда невелика или у вас нет ресурсов для разработки, инструменты на стороне клиента помогут вам быстрее начать работу. Инструменты, работающие на стороне сервера, требуют ресурсов для разработки — однако, как правило, они более надежны.
Хотя настройка тестов немного отличается в зависимости от того, какой инструмент вы используете, зачастую весь процесс очень простой и справиться с ним может любой человек — достаточно просто следовать инструкции.
Кроме того, вам нужно установить цели. Ваш инструмент тестирования будет отслеживать, когда каждый вариант страницы превращает посетителей в клиентов.
При настройке A/B-тестов пригодятся следующие навыки: HTML, CSS и JavaScript / JQuery, а также умение создавать тексты и проектировать новые вариации страниц. Некоторые инструменты позволяют использовать визуальный редактор, но он ограничивает вашу гибкость и контроль.
Как анализировать результаты A/B-тестов?
Итак, вы наконец провели исследование, правильно настроили тест и провели его. Теперь перейдем к анализу. Это не так просто — недостаточно лишь взглянуть на график из вашего инструмента тестирования.
Одна вещь, которую вы всегда должны делать: анализировать результаты своего теста в Google Analytics. Так вы не просто расширяете ваши возможности анализа, но и становитесь более уверенным в своих данных и принятии решений.
Ваш инструмент тестирования может неправильно записывать данные. Если у вас нет другого источника информации, вы никогда не можете быть уверены, стоит ли доверять ли ему. Создайте несколько источников данных.
Что происходит, если нет различий между вариациями? Не торопитесь. Во-первых, осознайте две вещи:
Если вы заметили увеличение эффективности среди постоянных и мобильных посетителей, но не для новых посетителей и пользователей настольных компьютеров, эти сегменты могут компенсировать друг друга, создавая впечатление, что «разница отсутствует». Проанализируйте свой тест по ключевым сегментам, чтобы исследовать эту возможность.
Сегментация данных для A/B-тестов
Сегментирование — это ключ к извлечению выгоды из результатов A/B-тестирования. Несмотря на то, что B может проиграть A в общих результатах, вариация может победить оригинал страницы в определенных сегментах (органический трафик, переходы с Facebook, мобильный трафик и т. д.).
Существует огромное количество сегментов, которые вы можете проанализировать, включая следующие:
В крайнем случае (при условии, что у вас адекватный размер выборки) обратите внимание на эти факторы:
Убедитесь, что у вас достаточный размер выборки в сегменте. Рассчитайте его заранее, и будьте осторожны, если данный сегмент насчитывает меньше 250–350 конверсий за вариацию.
Если ваши действия показали хорошие результаты для определенного сегмента, вы можете переходить к индивидуальному подходу к этим пользователям.
Как заархивировать проведенные A/B-тесты
A/B-тестирование в первую очередь необходимо для сбора информации. Статистически верные тесты, проведенные согласно инструкции, помогут добиться основных целей роста и оптимизации.
Умные компании архивируют результаты тестов и постоянно совершенствуют подходы к тестированию. Структурированный подход к оптимизации дает больший рост и реже ограничивается локальными ограничениями.
Самая сложная часть заключается в следующем: не существует единственного лучшего способа структурировать управление знаниями. Некоторые компании используют сложные встроенные инструменты; некоторые используют сторонние инструменты; а некоторые ходят с Excel и Trello.
Вот три инструмента, созданных специально для оптимизации конверсии:
Статистика, получаемая благодаря A/B-тестам
Знания статистики полезны при анализе результатов A/B-теста. Мы рассмотрели некоторые из них в разделе выше, но это еще не все.
Есть три понятия, которые вы должны знать перед тем, как изучать подробности статистики, получаемой благодаря A/B-тестам:
Что такое P-значение?
Многие используют термин «статистическая значимость» некорректно. Сама по себе она не является сигналом для остановки тестирования. Так что же это и почему она так важна?
Для начала давайте рассмотрим P-значения, в которых также мало кто разбирается. Даже сами ученые порой в них путаются!
P-значение — это величина, характеризующая вероятность ошибки при отклонении нулевой гипотезы (ошибки первого рода). Она не доказывает, что вероятность B выше, чем A. Это распространенное заблуждение.
Подводя итог, можно сказать, что статистическая значимость (или статистически значимый результат) достигается, когда P-значение меньше уровня статистической значимости (который обычно устанавливается равным 0,05).
Односторонние и двусторонние A/B-тесты
Односторонний тест позволяет обнаружить изменение в одном направлении, в то время как двусторонний тест позволяет обнаружить изменение по двум направлениям (как положительное, так и отрицательное).
Не переживайте, если ваше ПО для тестирования поддерживает только один из типов A/B-тестов. При необходимости односторонний тест легко конвертируется в двусторонний и наоборот (однако, сделать это нужно до проведения теста). Единственное отличие заключается в пороговом уровне значимости.
Если в вашем программном обеспечении используется односторонний тест, просто разделите используемое P-значение на два. Чтобы ваш двусторонний тест был достоверен минимум на 95%, установите уровень достоверности на отметке в 97,5%. Если же вы хотите добиться достоверности в 99%, то вам нужно выбрать значение 99,5%.
Доверительные интервалы и предел погрешности
Коэффициент конверсии обозначается не просто как X%. Он указывается примерно в таком виде: X% (± Y). Второе число в этой формуле — доверительный интервал, и он крайне важен для понимания результатов сплит-теста.
Доверительные интервалы используются в A/B-тестировании, чтобы минимизировать риск возникновения ошибки выборки. В этом смысле мы управляем риском, связанным с внедрением нового варианта страницы.
Поэтому, если ваш инструмент показывает что-то наподобие: «Мы на 95% уверены, что коэффициент конверсии составляет X% ± Y%», тогда вам нужно учитывать ± Y% как предел погрешности.
Достоверность результатов во многом зависит от величины погрешности. Если два диапазона конверсии перекрываются, вам необходимо продолжить тестирование, чтобы получить результат, более похожий на правду.
Угрозы внешней валидности
Сплит-тесты усложняет тот факт, что данные не статичны.
Временной ряд можно назвать стационарным, только если его статистические свойства (среднее значение, дисперсия, автокорреляция и т. д.) постоянны во времени. По многим причинам данные веб-сайта не являются стационарными. Следовательно, мы не можем делать те же предположения, что и для стационарных данных. Вот несколько факторов, из-за которых данные могут меняться:
Это лишь некоторые из факторов, которые нужно учитывать при анализе результатов A/B-тестов.
Байесовская и частотная статистика
Многие популярные инструменты позволяют использовать как Байесовский, так и частотный подход к A/B-тестированию. Чем они отличаются?
Говоря простыми словами, в Байесовской статистике гипотезе присваивается вероятность, а в частотной статистике она проверяется без присвоения вероятности.
У каждого подхода есть свои преимущества. Однако, если вы только начинаете постигать азы A/B-тестирования, то беспокоиться о выборе методологии вам нужно в последнюю очередь.
Вывод
A/B-тестирование — это бесценный кладезь информации для всех, кто принимает решения в онлайн-среде. Приложив немного знаний и много усилий, вы сможете уменьшить многие риски, с которыми сталкивается большинство начинающих оптимизаторов.
Углубившись в тему, вы сможете опередить 90% людей, занимающихся веб-аналитикой. Опыт и постоянная практика позволят вам в совершенстве овладеть этим методом исследования. Так что начинайте проводить тесты!