Что означает A/B эксперимент а также почему такой подход нужно
А/Б проверка составляет из себя подход сопоставления нескольких либо разных решений веб-страницы, экрана, сообщения, CTA-элемента, анкеты, письма, промо креатива либо другого веб объекта. Основная цель состоит в том том, дабы определить, какая формат лучше показывает себя в фактической аудитории. Вместо гипотез без проверки и личных мнений используется тест среди настоящей аудитории, при которой контрольная часть просматривает вариант A, а вторая — версию B.
Такой метод позволяет принимать действия по базе информации, а не личных вкусов либо случайных выводов. В аналитических материалах, среди них 1вин, регулярно указывается, будто сплит эксперимент особо ценно в ситуациях, при которых точечные изменения способны сказываться на действия пользователей: переходы, создания аккаунтов, передачу анкет, глубину сессии, возвращаемость, транзакции, оформления подписок либо прочие нужные результаты. Эксперимент позволяет проверить, на самом деле ли конкретно корректировка улучшает 1win эффект.
По какому принципу работает сплит проверка
Принцип А/Б эксперимента довольно несложен. Сначала выбирается элемент, какой нужно оценить. Это способен оказаться headline, цвет CTA-элемента, последовательность блоков, формулировка подсказки, логика поля ввода, визуал, тариф, тип оффера или расположение ключевого элемента. Далее формируются как минимум пары версии: первоначальный а также обновленный. Вслед за подготовкой поток пользователей делится между версиями по до запуска определенным параметрам.
Первая группа аудитории остается видеть старую вариацию, и другая получает измененную. Платформа накапливает сведения о действиях отдельной части затем сопоставляет результаты. Когда решение B демонстрирует более сильный эффект при значительном объеме данных, такой вариант можно использовать. В случае если отличия не видно либо новая страница функционирует менее эффективно, правка отклоняется. Как раз в таком подходе как раз проявляется прикладная значимость эксперимента: он помогает тестировать гипотезы перед окончательного 1вин запуска.
Почему используется A/B тестирование
А/Б проверка важно для снижения неясности. На уровне цифровых платформах включая небольшая правка может сказываться на понимание дизайна. Одиночный текстовый блок имеет шанс быть доступнее альтернативного, краткая форма способна отправляться активнее длинной, а более видимая CTA может повысить количество кликов. При отсутствии эксперимента эти выводы часто остаются догадками.
Эксперимент позволяет улучшать платформу шаг за шагом. Вместо полной реконструкции целого ресурса или сервиса получается оценивать конкретные элементы а также измерять фактический показатель. Такой подход уменьшает риск ошибочных правок, экономит затраты а также дает возможность собирать данные о реакциях пользователей. Со временем специалисты 1 win получает не случайный набор суждений, но модель валидированных решений.
Какие именно блоки можно тестировать
Сравнивать допустимо почти что разный блок, который воздействует в отношении действия аудитории. Как правило преимущественно тестируют названия, разделы, обращения для клику, тексты CTA-элементов, формы регистрации, место блоков, изображения, карточки товаров, порядок действий, инструменты отбора, список разделов, баннеры, уведомления, рассылки а также рекламные креативы. Существенно, для того чтобы указанный блок был связан с конкретной точной целью.
Если цель состоит в процессе росте отправленных форм, правильно проверять форму, формулировку возле формы, объем строк плюс видимость элемента действия. Если необходимо увеличить объем изучения, имеет смысл тестировать переходы, модули предложений, связанные линки а также логику материала. Если прямее соотношение 1win между правкой а также метрикой, настолько ценнее итог проверки.
Проверяемая идея в роли фундамент эксперимента
Каждый корректный А/Б эксперимент стартует на основе предположения. Предположение формулирует, какое изменение предлагается, из-за чего такая правка может сказаться на показатель а также какой метрика обязан сдвинуться. В частности, можно предположить, будто упрощение формы создания профиля сократит количество уходов, потому что пользователю потребуется меньший объем усилий для выполнения процесса.
Хорошая проверяемая идея не обязана следует быть очень широкой. Идея вроде «изменить интерфейс лучше» не помогает позволяет измерить результат. Более полезный формат: «при условии что заменить растянутый формулировку CTA на сжатый а также точный, объем кликов увеличится, поскольку ведь действие будет яснее». Подобная формулировка непосредственно 1вин задает объект проверки, основание а также критерий.
Исходная плюс тестовая выборки
В A/B проверке базовая группа видит старый вариант, а экспериментальная — измененный. Подобное деление необходимо для корректного сопоставления. Если только поменять страницу затем оценить метрики до изменения а также вслед за, результат может стать неточным из-за сезонных факторов, рекламной кампании, перестройки источников трафика, новостей, технических проблем а также других сторонних факторов.
Параллельный запуск разных версий снижает воздействие внешних факторов. Обе группы оказываются на уровне схожей среде: один плюс тот одинаковый период, схожие самые потоки посещений, похожие устройства и одинаковый контекст. Следовательно расхождение по результатах с большей 1 win большей степенью вероятности связано в первую очередь с конкретным изменением, и не не столько с внешними случайными обстоятельствами.
Какого типа критерии задействуются при A/B экспериментах
Метрика — представляет собой показатель, на основе которого оценивается итог проверки. Определение метрики зависит с учетом назначения теста. Ради раздела с анкетой существенны заполнения заявок, для торговой площадки — переносы к заказ и заказы, для медиаресурса — длина чтения плюс время сессии, в случае сервиса — создания аккаунтов, запуски, retention плюс следующие 1win события.
Необходимо различать ключевую и вспомогательные метрики. Главная показывает, ради чего проводится тест. Вторичные помогают понять вторичные последствия. Например, изменение элемента действия имеет шанс увеличить нажатия, но уменьшить результативность следующих событий. Из-за этого полезно смотреть не только в сторону начальный клик, однако и по дальнейшее поведение: окончание формы, возвраты, отказы, проблемы а также общую значимость действия.
Математическая значимость
Математическая значимость отражает, как возможно, будто зафиксированная разница среди версиями не является статистическим шумом. Если один вариант незначительно превосходит второй вслед за ряда малого числа посещений, это пока не означает доказывает преимущество. В условиях небольшом объеме данных итог может резко измениться, если 1вин группа станет больше.
Ради достоверного итога нужно нужное количество наблюдений. Чем ниже планируемая отличие среди решениями, тем самым объемнее наблюдений потребуется собрать. Когда правка обязано увеличить метрику лишь около малое число процентных пунктов, эксперименту будет необходимо значительно больше срока плюс посещений. Статистическая существенность дает возможность не принимать преждевременные решения с опорой на основе нестабильных скачков.
Масштаб наблюдений плюс длительность теста
Масштаб аудитории сказывается на качество результата. Когда эксперимент видит очень мало пользователей, результаты могут оказаться сомнительными. В частности, пять лишних переходов внутри первой выборке могут выглядеть в виде прирост, однако при значительном объеме будут простой погрешностью. Следовательно до старта разумно понимать, какое количество людей 1 win а также действий нужно с целью подтверждения идеи.
Продолжительность теста также получает значение. Очень короткий тест может не отражать различия среди будними а также нерабочими сутками, дневной а также поздней активностью, разными каналами пользователей. Чаще всего проверка обязан включать завершенный период поведения пользователей. При таком подходе очень долгий период проверки также неподходящ, если внешние факторы успевают ощутимо измениться.
По какой причине нельзя изменять проверку в течение время проведения
Одна в числе распространенных просчетов — добавлять корректировки внутрь тест вслед за запуска. Если по ходу процессе теста поменять текст, сегмент, дизайн, условия вывода а также задачу, наблюдения станут неоднородными. В таком случае окажется непросто понять, какой фактор именно воздействовало по части эффект. Эксперимент утратит прозрачность, при этом выводы окажутся сомнительными 1win.
До момента старта нужно определить гипотезу, варианты, показатели, разбивку аудитории плюс параметры окончания. Вслед за старта правильнее не стоит корректировать тест при отсутствии важной причины. В случае если выявлена неточность внутри запуске или системный дефект, разумнее закрыть эксперимент, починить сбой а также создать повторный эксперимент, нежели пытаться объяснять смешанные показатели.
Синхронное сравнение нескольких изменений
В отдельных случаях появляется желание оценить за один раз группу изменений: новый текстовый блок, другую CTA, упрощенную заявку а также перестроенный расположение блоков. Этот подход способен выдать общий эффект, но не покажет раскроет, какой именно именно блок воздействовал на метрику. Когда новая версия оказалась лучше, сохранится неочевидно, какая правка повлияло лучше остального.
Ради чистой проверки обычно меняют один значимый элемент за 1вин один этап. В случае если необходимо проверить разные сочетаний, используется многофакторное эксперимент. Оно труднее, нуждается большего числа пользователей плюс аккуратной расшифровки. Для основной части сценариев A/B эксперимент на основе конкретной ясной проверкой обеспечивает более корректный и ценный результат.
Варианты сплит тестирования в UI
На уровне дизайнах А/Б эксперимент регулярно задействуется с целью улучшения понятности шагов. К примеру, можно сопоставить две форматы анкеты: длинную с полным количеством строк плюс упрощенную с сокращенным набором полей. Если упрощенная форма усиливает объем успешных регистраций без риска снижения ценности форм, такую форму можно оценивать намного более удачной.
Следующий сценарий — проверка формулировки CTA. Нейтральная формулировка может стать менее очевидной, по сравнению с конкретное описание шага. Кроме того сравнивают расположение элементов действия, очередность контентных блоков, подачу 1 win пояснений, наличие шкалы выполнения, формат отображения предупреждений плюс число действий в процессе. Отдельный подобный объект воздействует в отношении то самое, в какой степени удобно завершить целевое действие.
A/B проверка внутри содержании
Внутри содержании проверка помогает выяснить, какие именно названия, анонсы, построения а также типы лучше привлекают вовлечение. Получается сравнивать несколько первые абзацы, длину материала, последовательность объяснений, наличие маркированных блоков, оформление карточек, подачу плюсов либо формат объяснения трудной задачи. Однако при этом важно анализировать не только исключительно переходы, однако также последующее действие.
Заголовок способен увеличить объем нажатий, но если контент не будет отвечает запросам, вырастет доля быстрых выходов. Поэтому текстовые проверки нужны чтобы анализировать качество взаимодействия: время чтения, скролл, клики внутри сайта, повторные визиты и совершение нужных результатов. Сильный результат — является не только лишь привлечение клика, вместо этого совпадение ожидания и содержания.
A/B эксперимент в почтовых рассылках
На уровне почтовых рассылках обычно тестируют темы сообщений, имя отправителя, начальные предложения, время отправки, объем сообщения, позицию элементов действия а также формулировки офферов. Часть аудитории видит одну версию письма, часть — другую. Затем этого сравниваются open rate, нажатия, отписки, негативные сигналы плюс дальнейшие действия внутри ресурсе.
Существенно не останавливаться значением просмотров письма. Subject-строка письма имеет шанс стать яркой плюс получать интерес, при этом если тема не сможет совпадает контенту, клики а также лояльность могут ослабнуть. Поэтому корректный тест рассылки оценивает цельную цепочку: open-событие, нажатие, активность сразу после перехода плюс отклик получателей на рассылку.