для чего нужен а б тест объявления

Для чего нужен а б тест объявления

В Директе появилась возможность тестировать не только разные варианты объявлений или посадочных страниц — мы запустили эксперименты, которые позволяют на основе статистики сравнивать между собой любые настройки, типы кампаний и даже медиапланы. Новый инструмент А/В-тестирования доступен по запросу — рекламодателям, которые уже уверенно работают с аналитикой, накопили в кампаниях достаточно данных и готовы тестировать разные сценарии работы с рекламой.

UPD: с марта 2020 года эксперименты доступны всем рекламодателям без запроса.

Сравнить эффективность автостратегии и ручного управления ставками, измерить результаты рекламной кампании с показами только на поиске и с размещением на поиске и в сетях — для таких и более сложных тестов в Директе появился специальный инструмент. Для корректной работы потребуются данные — мы рекомендуем проводить эксперимент, если в рекламной кампании не меньше 200 конверсий в месяц. Поэтому открываем доступ к новым экспериментам в Аудиториях и Директе по запросу — пожалуйста, обратитесь к своему менеджеру в Яндексе.

С помощью новых сегментов в Аудиториях и новых отчётов в Директе и Метрике можно узнать, какая реклама эффективнее. Например, эксперименты помогут понять, как размещение в Рекламной сети Яндекса или выбор стратегии влияет на результат размещения, оценить, как влияют показы медийной рекламы на конверсии на сайте, и так далее.

Как устроены эксперименты в Директе

Директ делит аудиторию на случайные непересекающиеся сегменты, так что каждый пользователь попадёт в тестовую или контрольную группу. Размер этого сегмента в виде доли от аудитории вы определяете самостоятельно — от 1 до 99%, сегментов может быть два или больше, причём необязательно выборки должны быть одинаковыми.

Нацелить показы определённых кампаний на экспериментальный сегмент можно в настройках. Экспериментальные сегменты живут параллельно с другими таргетингами, так что если вы настроили показы на женщин 18-25 лет и запускаете тестовый сегмент на 20% аудитории, то в него попадёт 20% женщин 18-25 лет из вашей аудитории.

Как запустить эксперимент

Для правильного эксперимента вам потребуются:

Зайдите в Аудитории под тем же логином, что и в Директе, и создайте новый эксперимент:

В Директе заведите кампании для эксперимента, к каждой из них подключите счётчик Метрики, привяжите к каждой экспериментальный сегмент и нацельте кампании на них.

В примере с тестированием стратегий нужно создать 2 клона первоначальной кампании и поменять стратегии. Тестовые кампании привязываем каждую к своему сегменту. Исходную кампанию останавливаем, а 2 новые кампании — запускаем. Эксперимент заработал!

Подробнее шаги настройки экспериментов описаны в помощи Директа и Аудиторий. Освоить их поможет и обучающее видео.

Важно:

Какие данные анализировать

Переходим к самому интересному. Для анализа понадобятся затраты из Мастера отчётов в Директе и конверсии из Метрики. Именно они помогут понять, какое размещение рентабельнее. Другие показатели — скажем, клики, показы или CTR — в рассмотрении не участвуют.

Выбираем эксперименты в качестве условия фильтрации в Директе:

И смотрим расходы по сегментам из эксперимента:

В отчётах Метрики нужно кликнуть на «Группировки», выбрать нужный эксперимент, а затем в окне кликнуть «Метрики» и выбрать конверсии (то есть достижение целей или Ecommerce действие) в интересующей вас воронке. Например, добавление в корзину, посещение карточки продукта или оформление заказа:

Если экспериментальные кампании занимают малую долю рекламного бюджета (менее 50%) — стоит в фильтрах Метрики указать кампании, участвующие в эксперименте.

Пример: сравнение стратегий

Один из рекламодателей Директа решил сравнить, какая стратегия в кампаниях со смарт-баннерами выгоднее. Для этого аудиторию разделили на две части:

Сегмент A — оптимизация количества кликов.

Сегмент B — средняя рентабельность инвестиций.

Вывод: при том же бюджете вариант с автостратегией принёс на 150% (± 29%) больше конверсий, чем стратегия на сохранение CPС, при этом CPA уменьшился на 60% (± 5%).

Что ещё можно проверять с помощью экспериментов

Сценариев для экспериментов бесконечное множество — всё зависит от ваших задач. Один из самых простых кейсов — тестирование новых продуктов или функциональностей Директа. Чтобы посмотреть, как новый тип объявлений или стратегия работает в вашей тематике, заведите экспериментальную кампанию с новинкой только на небольшую долю аудитории.

Или вы хотите привлечь больше конверсий и рассматриваете два варианта решения этой задачи: поднять ставки на поиске или включить дополнительную кампанию в Рекламной сети Яндекса. Тут тоже поможет эксперимент в Директе.

Третья распространенная задача: у вас есть два медиаплана, которые хочется сравнить, прежде чем направлять бюджет на один из них.

Какой бы сценарий для эксперимента вы ни выбрали, важно соблюдать простые условия:

Придумывайте свои гипотезы, проверяйте их, пробуйте опции, в которых сомневались или с которыми просто пока не знакомы. Эксперименты позволят вам на основе данных оценить, какой вклад в общие результаты размещения даёт брендовая или видеореклама, объявления в РСЯ и на поиске и многое другое — теперь возможности для разных сценариев практически неограничены. О том, как анализировать результаты экспериментов, мы скоро расскажем в продолжении этого материала. Оставайтесь на связи!

Источник

A/B тест — это просто

A/B тестирование — это мощный маркетинговый инструмент для повышения эффективности работы вашего интернет-ресурса. С помощью A/B тестов повышают конверсию посадочных страниц, подбирают оптимальные заголовки объявлений в рекламных сетях, улучшают качество поиска.

Мне часто приходится сталкиваться с задачами организации A/B тестирования в различных интернет-проектах. В этой статье хочу поделиться необходимыми базовыми знаниями для проведения тестов и анализа результатов.

Зачем нужны А/B тесты?

Итак, представим ситуацию, наш проект запущен в жизнь, на нем собирается трафик, пользователи активно используют ресурс. И в один прекрасный день мы решили что-то поменять, например, разместить всплывающий виджет для удобства подписки на новости.

Наше решение — это интуитивное предположение о том, что пользователям ресурса станет проще подписываться на новые материалы, мы ожидаем повышения числа подписчиков.

Наши предположения и гипотезы строятся на основе личного опыта и наших взглядов, которые совсем не обязательно совпадают со взглядами аудитории нашего ресурса. Другими словами, наше предположение вовсе не означает, что после внесения изменений мы получим желаемый эффект. Для проверки таких гипотез мы и проводим A/B тесты.

Как проводим тесты?

Идея A/B тестирования очень проста. Пользователи ресурса случайным образом делятся на сегменты. Один из сегментов остается без изменений — это контрольный сегмент “A”, на основе данных по этому сегменту мы будем оценивать эффект от вносимых изменений. Пользователям из сегмента “B” показываем измененную версию ресурса.

Чтобы получить статистически значимый результат, очень важно исключить влияние сегментов друг на друга, т.е. пользователь должен быть отнесен строго к одному сегменту. Это можно сделать, например, записав метку сегмента в cookies браузера.

Для снижения влияния внешних факторов, таких как рекламные кампании, день недели, погода или сезонность, замеры в сегментах важно делать параллельно, т.е. в один и тот же период времени.

Кроме того, очень важно исключить и внутренние факторы, которые также могут существенно исказить результаты теста. Таким факторами могут быть действия операторов call-центра, служба поддержки, работа редакции, разработчики или администраторы ресурса. В Google Analytics для этого можно воспользоваться фильтрами.

Число пользователей в сегментах не всегда удается сделать равным, в связи с этим метрики, как правило, выбираются относительные, т.е. без привязки к абсолютным значениям аудитории в сегменте. Нормирование осуществляется либо на число посетителей, либо на число просмотров страниц. Например, такими метриками могут быть средний чек или CTR ссылки.

Одной из причин делить аудиторию непропорционально может быть существенное изменение в интерфейсе. Например, полное обновление устаревшего дизайна сайта, изменение системы навигации или добавление всплывающей формы для сбора контактной информации. Такие изменения могут привести как к положительным, так и к отрицательным эффектам в работе ресурса.

Если есть опасение, что изменение может иметь сильное негативное влияние, например, привести к резкому оттоку аудитории, то, на первом этапе, имеет смысл тестовый сегмент делать не очень большим. В случае отсутствия негативного эффекта, размер тестового сегмента можно постепенно увеличить.

Что улучшаем?

Если вы собираетесь провести A/B тестирование на своем ресурсе, то наверняка у вашего проекта уже сформированы основные показатели, которые необходимо улучшить. Если таких показателей еще нет, тогда самое время о них задуматься.

Показатели прежде всего определяются целями проекта. Ниже приведу несколько популярных метрик, которые используются в интернет-проектах.

Конверсия

Конверсия вычисляется как доля от общего числа посетителей, совершивших какое-либо действие. Действием может быть заполнение формы на посадочной странице, совершение покупки в интернет-магазине, регистрация, подписка на новости, клик на ссылку или блок.

Экономические метрики

Как правило, эти метрики применимы для интернет-магазинов: величина среднего чека, объем выручки, отнесенный на число посетителей интернет-магазина.

Поведенческие факторы

К поведенческим факторам относят оценку заинтересованности посетителей в ресурсе. Ключевыми метриками являются: глубина просмотра страниц — число просмотренных страниц, отнесенное к числу посетителей на сайте, средняя продолжительность сессии, показатель отказов — доля пользователей, покинувших сайт сразу после первого захода, коэффициент удержания (можно считать, как 1 минус % новых пользователей).

Одного показателя не всегда достаточно для оценки эффекта от вносимых изменений. Например, после изменений на сайте интернет-магазина средний чек может уменьшиться, но общая выручка вырасти за счет повышения конверсии посетителя в покупателя. В связи с этим, важно контролировать несколько ключевых показателей.

Анализ результатов

Отлично, ключевые показатели определены, тест запущен и мы получили первые данные. В этот момент, особенно если данные соответствуют нашим ожиданиям, возникает соблазн сделать поспешные выводы о результатах тестирования.

Торопиться не стоит, значения наших ключевых показателей могут меняться день ото дня — это значит, что мы имеем дело со случайными величинами. Для сравнения случайных величин оценивают средние значения, а для оценки среднего значения требуется некоторое время, чтобы накопить историю.

Эффект от внесения изменения определяют как разность между средними значениями ключевого показателя в сегментах. Тут возникает следующий вопрос, насколько мы уверены в достоверности полученного результата? Если мы еще раз проведем тест, то какова вероятность того, что мы сможем повторить результат?

Ниже на картинках приведены примеры распределения значений показателя в сегментах.

Графики распределения характеризуют частоту появления того или иного значения случайной величины в выборке. В данном случае все значения распределены вокруг среднего.

На обеих картинках средние значения показателя в соответствующих сегментах одинаковы, картинки отличаются только разбросом значений.

Данный пример хорошо иллюстрирует, что разности средних значений недостаточно для того, чтобы считать результат достоверным, необходимо также оценить площадь пересечения распределений.

Чем меньше пересечение, тем с большей уверенностью мы можем сказать, что эффект действительно значим. Эта “уверенность” в статистике называется значимостью результата.

Как правило, для принятия положительного решения об эффективности изменений уровень значимости выбирают равным 90%, 95% или 99%. Пересечение распределений при этом равно соответственно 10%, 5% или 1%. При невысоком уровне значимости существует опасность сделать ошибочные выводы об эффекте, полученном в результате изменения.

Несмотря на важность этой характеристики, в отчетах по A/B тестам, к сожалению, часто забывают указать уровень значимости, при котором был получен результат.

Кстати, на практике примерно 8 из 10 A/B тестов не являются статистически значимыми.

Стоит отметить, что чем больше объем трафика в сегментах, тем меньше разброс среднесуточных значений показателя. При небольшом трафике из-за большего разброса значений случайной величины потребуется больше времени для проведения эксперимента, но в любом случае это лучше, чем вовсе не проводить эксперимент.

Оценить значимость результатов

Для сравнения случайных величин математики придумали целый раздел под названием проверка статистических гипотез. Гипотез всего две: “нулевая” и “альтернативная”. Нулевая гипотеза предполагает, что разница между средними значениями показателя в сегментах незначительна. Альтернативная гипотеза предполагает наличие существенной разницы между средними значениями показателя в сегментах.

Для проверки гипотез существует несколько статистических тестов. Тесты зависят от характера измеряемого показателя. В общем случае, если мы считаем среднесуточные значения, можно воспользоваться тестом Стьюдента. Этот тест хорошо зарекомендовал себя для небольших объемов данных, т.к. учитывает размер выборки при оценке значимости.

В качестве примера приведу сравнение средней длительности сессии в сегментах на одном из ресурсов, для которых я проводил эксперимент: studentttest.xls.

Тест Стьюдента — универсален, его можно применять как для измерений конверсии, так и для таких количественных показателей как средний чек, средняя глубина просмотра или время, проведенное пользователем на сайте.

В случае, если вы измеряете только конверсию, то вы имеете дело с бинарной слуайной величиной, которая принимает только два значения: посетитель “сконвертировался” и “не сконвертировался”. Для оценки статистической значимости в этом случае можно воспользоваться он-лайн калькулятором.

Инструменты

Для организации теста необходим инструмент, позволяющий разметить аудиторию по сегментам и посчитать значения ключевых показателей отдельно в каждом сегменте.

Если ваши ресурсы позволяют, то такой инструмент можно реализовать самостоятельно на основе анализа логов действий пользователей. Если ресурсы ограничены, то стоит воспользоваться сторонним инструментом. Например, в Google Analytics есть возможность задавать пользовательские сегменты.

Существует ряд сервисов, которые позволяют полностью автоматизировать процесс тестирования, например, тотже Google Analytics Experiements, примеры других сервисов можно найти в обзоре.

Источник

A/B-тесты с низким трафиком – не миф, а реальность

Руководство по подготовке A/B-тестирования в кампаниях с низким трафиком

Считается, что проводить A/B-тестирование имеет смысл только в больших кампаниях с высоким трафиком. И то в случае, если бюджет позволяет выделить часть средств на эксперименты. В итоге малые бизнесы вовсе отказываются от тестов и не знают, как сделать свою кампанию лучше для пользователей. Это распространенная ошибка. Рассказываем, как запустить A/B-тестирование объявлений при низком трафике.

Что такое A/B-тестирование

A/B-тестирование (сплит-тестирование) – метод маркетингового исследования, в ходе которого тестируются две версии одного и того же объекта, отличающиеся между собой только одним элементом.

A/B-тестирование может проводиться для:

Цель проведения A/B-тестирования в контексте – определить, как изменение того или иного элемента повлияет на эффективность рекламы.

3 случая, когда надо тестировать объявления:

Как запустить A/B-тестирование объявлений

Рекламные системы позволяют запустить A/B-тестирование объявлений. Но процесс запуска тестов в Яндекс.Директе существенно отличается от запуска экспериментов в Google Ads. Ниже показываем, как пошагово запустить A/B-тест контекстной рекламы в Яндекс.Директе и Google Ads.

Тестирование в Google Ads

Эксперименты в кампаниях Google Ads настраиваются в разделе «‎Проекты и эксперименты». Он находится в главном левом меню.

Создаем новый проект. Для этого выбираем созданную кампанию, называем проект, описываем суть эксперимента и сохраняем изменения.

После этого переходим в раздел «‎Эксперименты в кампаниях» и нажимаем на «‎+Новый эксперимент».

Задаем такие настройки:

Кликаем «‎Сохранить». На этом настройка эксперимента закончена.

Специально для тестирования лендингов Google предлагает использовать инструмент Google Optimize. Как работать с этим инструментом и запускать A/B-тестирование, читайте в статье «‎Google Optimize: секретный инструмент разработки эффективных лендингов».

Тест в Яндекс.Директе

Для тестирования объявлений Яндекс.Директа необходимо создать эксперимент в Яндекс.Аудиториях.

В Яндекс.Аудиториях переходим на вкладку «‎Эксперименты» и нажимаем на «Создать ‎эксперимент».

Проводим новый эксперимент: даем ему название, выбираем счетчик, указываем название сегментов и их долю. Нажимаем на кнопку «‎Создать эксперимент».

После этого в Яндекс.Аудиториях появится новый эксперимент:

В Яндекс.Аудиториях можно не только создавать эксперименты, но и добавлять сегменты аудиторий. Полное руководство по работе с Яндекс.Аудиториями вы найдете в статье «Сегментируем как профессионалы: полная инструкция по работе с Яндекс.Аудиториями».

Дальнейшие настройки проводятся в Яндекс.Директе.

Для этого заводим две рекламные кампании под каждый созданный в Яндекс.Аудиториях сегмент эксперимента. В каждой кампании задаем настройки с учетом целей тестирования. Например, в одном объявлении пишем один заголовок, а во втором – другой.

Для запуска эксперимента в параметрах рекламной кампании находим раздел «Эксперименты». В этом разделе отмечаем эксперимент, созданный в Яндекс.Аудиториях. И нажимаем на «Готово».

После этих действий мы запустили эксперимент в одной кампании. Такие же действия проводим и во второй кампании.

Формула успешного теста

Основная проблема низкого трафика – малое количество данных для того, чтобы сделать определенные выводы. Ниже приводим советы, которые помогут избавиться от этой и других проблем при планировании и проведении теста.

Выдвинуть гипотезу

A/B-тесты хороши не сами по себе, а только как подтверждение или опровержение заранее поставленной гипотезы. Иными словами, еще до планирования эксперимента вы уже должны предполагать его ожидаемый результат.

Варьировать разные элементы объявления, чтобы посмотреть, к чему это приведет – дорогое и непоследовательное занятие. И если крупные компании хотя бы могут его себе позволить, вам нужно быть особенно избирательными с самого начала.

По возможности следует провести мозговой штурм, чтобы выявить самое стоящее предположение.

Возможные объекты экспериментов:

Гипотеза считается выдвинутой при условии, что выбран единственный элемент для тестирования и сформулировано, какое улучшение ожидается от его изменения.

Снизить уровень доверия

Это не призыв начать скептически относиться в A/B-тестам: уровень доверия – это всего лишь термин из статистики. Те рекламодатели, которые хоть раз пользовались Экспериментами Google Ads, уже сталкивались с его применением на практике.

В Google уровень доверия всегда равен 95%. Это позволяет рекламодателям получать наиболее точные результаты экспериментов.

Пример

Допустим, экспериментальная рекламная кампания завершила работу, набрав на 30% больше кликов, чем исходная. Это не значит, что по новому объявлению всегда кликают ровно в 1,3 раза чаще: поведение отдельных пользователей может отличаться от поведения охваченной выборки. Поэтому возможный прирост переходов Google покажет в виде интервала, например, [+26%, +34%]. Реальная прибавка эффективности попадет в него с вероятностью в 95% (или с уровнем доверия 95%).

Однако такая точность не всегда необходима. Бизнес-решения – не научные выводы, и для их принятия достаточно быть уверенным в цифрах на 90%, если не меньше. Даже такое небольшое снижение уровня доверия заметно сократит время и бюджет теста.

Плохая новость в том, что рассчитывать, сколько кликов необходимо для его достижения, придется самостоятельно. Для этого существует целый ряд онлайн-калькуляторов. Например, онлайн-калькулятор splitly.

Регулярно вводите количество показов и кликов (или конверсий, смотря что вы тестируете) в контрольной и тестовой группе объявлений, а также уровень доверия – 80% или 90% – и приложение подскажет вам, когда пора завершить эксперимент.

Сравнивать группы, а не объявления

Тестировать несколько объявлений внутри одной группы в Яндекс.Директ и Google Ads очень просто: платформы делают это автоматически. Однако такой способ тестов также требует стабильного трафика и ощутимых затрат, поэтому нам подойдет в меньшей степени.

Аккаунтам с ограниченным количеством кликов стоит рассмотреть другой вид эксперимента – группа объявлений против группы объявлений. К примеру, если вы хотите проверить, повлияет ли на CTR указание локации в заголовке или добавление нового уточнения, вы можете скопировать существующую группу и внести в нее соответствующие изменения.

Тест также нужно будет настроить вручную. В Яндекс.Директе это может быть традиционное шахматное тестирование, когда сравниваемые группы объявлений разносятся в разные кампании с чередующимся расписанием показов.

В Google Ads, как уже упоминалось выше, провести такой тест легко с помощью «Проектов и экспериментов».

Для этого создается проект на основе существующей кампании. В него вносятся необходимые изменения. Эксперимент запускается после того, как указывается выделяемая на него доля бюджета.

Определить сроки

С низким трафиком приходится быть терпеливым. Особенно учитывая то, что срок достижения статистической значимости даже с невысоким уровнем доверия заранее неизвестен.

Как мы уже говорили, калькулятор доверительного интервала подскажет, что пора завершать тест, но рассчитывать, что это произойдет за 1–2 недели не следует. Следует приготовьться к тому, что на эксперимент уйдет как минимум пара месяцев: обычно он того стоит.

Не экономить бюджет

Чем ниже бюджет на рекламу, тем меньше переходов на сайт получит рекламодатель. Поэтому при запуске A/B-тестирования не рекомендуется устанавливать ограничения бюджета. Наоборот, нужно готовиться тратить больше. На одно объявление следует выделить минимум 300-500 рублей. Но для некоторых тематик этого может быть недостаточно.

Бюджет на рекламу зависит от тематики, формата рекламы, настроек таргетинга, рекламной сети. Чем более конкурентная тематика, тем больше придется потратить на тестирование объявлений.

Использовать сводные таблицы

Когда тест завершен, для анализа его результатов понадобятся специальные аналитические инструменты. Начать можно со сводных таблиц Excel или Google Таблиц. Они позволяют агрегировать данные об эффективности как отдельных элементов объявлений, так и их сочетаний.

Пример

Допустим, мы сравнивали 4 группы объявлений с 4 видами заголовков и 4 видами описаний в Google Ads. Выгрузка отчета об их работе может выглядеть следующим образом:

Открыв файл в Excel или Google Docs, выделите таблицу целиком и выберите пункт «Сводная таблица» или «Pivot table» на вкладке «Данные». Так вы получите более структурированное представление показателей. В Google Таблицах для этого также необходимо добавить заголовки и описания в качестве строк, а метрики – в качестве столбцов:

Строки подытогов по каждому из заголовков и комбинаций с разными описаниями помогут выделить их самое конверсионное сочетание.

Принимать решения, основанные на фактах

Пожалуй, самый сложный пункт. Люди склонны принимать решения под влиянием эмоций, даже когда они противоречат рациональным доводам. Если выдвинутая гипотеза, в правильность которой вы верили с самого начала, не подтвердилась, вполне естественным будет объяснять это статистической ошибкой, малым периодом тестирования, недостатком бюджета и т.п.

В такой ситуации единственный выход – забыть о том, что говорят чувства и поверить цифрам. Гениальная идея не сработала – значит, к этой тематике она не подходит, и придется от нее отказаться. Это не вы ошиблись: ни один человек не смог бы с полной уверенностью предсказать исход эксперимента.

Профессиональное «чутье» и многолетний опыт имеют ценность, но вы выделяли средства на тесты не для того, чтобы потом выбросить из головы их результат.

Как подготовиться к запуску теста

Когда гипотеза для эксперимента выдвинута, а тестовые кампании настроены и готовы к запуску, задайте себе еще раз несколько контрольных вопросов:

Только если на все из них у вас есть убедительные ответы, тест можно запускать. Ограниченный бюджет и нестабильный трафик – веские причины быть вдвойне осторожным.

Подготовить объявления к A/B-тестированию можно с помощью сервиса Click.ru. Профессиональные инструменты обнаружат еще не опробованные ключевые слова и создадут нужное для эксперимента количество групп объявлений. Редактировать единые для Яндекс и Google креативы удобно прямо в личном кабинете системы, а настраивать детали тестовых кампаний – через прямой доступ к самим платформам.

Кроме того, часть потраченных на тестирование средств вы сможете получить обратно на счет. Партнерская программа поможет вернуть долю рекламных расходов независимо от того, насколько удачным оказался эксперимент.

Источник