Что представляет собой А/Б эксперимент и для чего этот метод используется
A/B проверка являет собой подход проверки пары или дополнительных вариантов страницы, интерфейса, текста, CTA-элемента, анкеты, письма, рекламного сообщения либо другого онлайн блока. Главная функция заключается в том том, дабы выяснить, какая версия результативнее функционирует в реальном использовании. Взамен гипотез без проверки и субъективных мнений задействуется проверка на живой группы пользователей, когда контрольная доля просматривает вариант A, и другая — формат B.
Подобный метод помогает принимать выводы на базе информации, вместо этого не на личных вкусов а также случайных наблюдений. В рамках обзорных источниках, включая 1вин, регулярно отмечается, поскольку A/B проверка особо ценно там, при которых небольшие изменения имеют шанс влиять на действия пользователей: переходы, регистрации, отправку заявок, глубину просмотра, возвращаемость, заказы, подключения или иные целевые результаты. Метод позволяет понять, реально ли конкретно правка повышает 1win результат.
Как работает сплит тестирование
Механизм А/Б проверки достаточно прост. Вначале определяется блок, который необходимо оценить. Объектом проверки способен быть название, цвет CTA-элемента, последовательность секций, текст подсказки, логика анкеты, изображение, тариф, вариант предложения либо позиция целевого шага. Затем создаются минимум двух версии: контрольный и обновленный. Затем подготовкой поток пользователей распределяется между ними на основе предварительно заданным условиям.
Одна группа аудитории продолжает получать первоначальную страницу, тогда как вторая получает измененную. Система накапливает данные касательно действиях любой группы затем сопоставляет результаты. В случае если вариант B показывает более высокий результат при достаточном объеме сведений, его получается внедрять. Если прироста не видно а также тестовая вариация работает слабее, изменение не принимается. Именно в таком подходе как раз проявляется реальная польза теста: такой метод позволяет оценивать гипотезы до полного 1вин внедрения.
Почему нужно сплит тестирование
A/B эксперимент важно ради сокращения сомнений. На уровне веб продуктах в том числе небольшая правка способна сказываться в отношении понимание дизайна. Одиночный headline способен оказаться яснее иного, сжатая анкета может проходиться активнее длинной, при этом заметно более видимая CTA может усилить объем нажатий. Если не использовать проверки такие выводы нередко сохраняются догадками.
Эксперимент позволяет оптимизировать сервис постепенно. Взамен полной переработки целого сайта либо сервиса допустимо оценивать отдельные объекты плюс фиксировать фактический показатель. Такая логика уменьшает вероятность ошибочных правок, сокращает расход время и средства и позволяет накапливать понимание о поведении аудитории. Через накоплением тестов специалисты 1 win собирает не случайный совокупность оценок, но модель подтвержденных подходов.
Какие объекты допустимо сравнивать
Сравнивать получается практически каждый элемент, какой сказывается в отношении действия аудитории. Как правило в большинстве случаев тестируют заголовки, вторичные заголовки, CTA на клику, надписи кнопок, анкеты оформления аккаунта, место секций, визуалы, страницы позиций, очередность действий, сортировки, список разделов, визуальные блоки, подсказки, email-сообщения и промо креативы. Необходимо, для того чтобы указанный объект был объединен с конкретной заданной метрикой.
Если задача состоит в процессе росте переданных заявок, логично проверять анкету, формулировку около формы, число строк а также выразительность CTA. В случае если важно повысить длину сессии, стоит проверять переходы, модули подсказок, связанные линки а также логику материала. Чем яснее связь 1win между изменением а также задачей, настолько ценнее результат проверки.
Предположение в роли основа эксперимента
Каждый качественный сплит тест начинается с гипотезы. Гипотеза показывает, какого типа правка рассматривается, по какой причине оно способно воздействовать в отношении эффект плюс какого типа показатель может измениться. В частности, получается сформулировать, будто сокращение анкеты создания профиля уменьшит число незавершенных действий, потому что именно посетителю потребуется меньший объем усилий с целью завершения шага.
Хорошая формулировка не должна должна быть чрезмерно размытой. Идея наподобие «сделать страницу качественнее» не помогает помогает измерить показатель. Намного более полезный пример: «при условии что заменить растянутый текст кнопки на более сжатый плюс конкретный, количество нажатий увеличится, потому что именно ожидаемый результат станет понятнее». Такая гипотеза сразу 1вин указывает элемент эксперимента, логику и показатель.
Контрольная плюс измененная выборки
В сплит проверке базовая аудитория видит исходный вариант, и тестовая — новый. Такое разделение важно с целью честного сопоставления. Когда без контроля заменить раздел затем сравнить результаты до а также вслед за, эффект может испортиться по причине периодичности, маркетинговой нагрузки, перестройки каналов пользователей, новостей, системных ошибок или прочих внешних факторов.
Синхронный запуск нескольких вариантов уменьшает роль внешних условий. Обе аудитории находятся в близкой среде: тот же а также самый идентичный период, те идентичные источники посещений, близкие устройства и единый окружение. Поэтому отличие в результатах с большей 1 win значительной долей уверенности соотносится в первую очередь с корректировкой, и не не столько с внешними сторонними обстоятельствами.
Какие метрики задействуются в A/B экспериментах
Критерий — является число, по чему оценивается итог теста. Подбор метрики зависит от задачи эксперимента. Для лендинга с активной формой важны передачи заявок, ради онлайн-магазина — сохранения внутрь заказ а также транзакции, в случае медиа — длина чтения плюс длительность чтения, ради приложения — создания аккаунтов, запуски, retention и повторные 1win события.
Необходимо разграничивать основную а также дополнительные критерии. Основная отражает, зачем какого результата запускается тест. Вторичные помогают выявить сопутствующие последствия. Например, изменение CTA способно усилить нажатия, но снизить результативность следующих действий. Из-за этого полезно анализировать не исключительно на начальный этап, но еще на последующее поведение: завершение формы, повторные визиты, выходы, проблемы а также общую значимость события.
Статистическая существенность
Статистическая существенность отражает, в какой степени реалистично, поскольку наблюдаемая отличие между версиями не считается считается случайным колебанием. Если один формат слегка обходит второй после нескольких малого числа посещений, такой результат пока не подтверждает доказывает преимущество. На фоне ограниченном количестве сведений показатель может оперативно измениться, после того как 1вин группа будет объемнее.
Для достоверного итога нужно нужное число событий. Насколько скромнее ожидаемая отличие между версиями, тем объемнее наблюдений необходимо накопить. В случае если правка должна увеличить результат лишь примерно на пару %, эксперименту будет необходимо повышенный объем длительности плюс посещений. Расчетная достоверность помогает не выносить поспешные решения по результатах нестабильных скачков.
Масштаб наблюдений плюс срок теста
Размер аудитории влияет на достоверность итога. Когда тест получает очень ограниченный объем людей, заключения способны оказаться неточными. Например, малое число новых нажатий в конкретной группе могут показываться как увеличение, при этом в условиях большем количестве будут простой колебанием. Следовательно до старта разумно рассчитывать, сколько пользователей 1 win либо событий необходимо для оценки гипотезы.
Срок проверки тоже получает значение. Слишком быстрый эксперимент способен не учитывать показывать отличия в паре обычными плюс выходными днями, дневной и вечерней активностью, разными источниками трафика. Обычно эксперимент должен включать целый круг активности посетителей. Но при этом чрезмерно долгий период проверки также неоптимален, если внешние обстоятельства успевают ощутимо поменяться.
По какой причине нельзя изменять эксперимент во период проведения
Одна в числе типичных ошибок — делать корректировки по ходу проверку после запуска. Если в центре эксперимента обновить формулировку, группу, оформление, условия вывода либо задачу, наблюдения перемешаются. В таком случае окажется трудно выяснить, что точно повлияло в отношении эффект. Проверка снизит корректность, при этом выводы будут спорными 1win.
До момента старта следует зафиксировать проверяемую идею, форматы, критерии, деление аудитории и критерии завершения. С момента начала лучше не стоит вмешиваться без важной основания. В случае если обнаружена проблема на уровне запуске либо служебный дефект, лучше закрыть проверку, починить проблему и начать новый тест, вместо того чтобы пытаться интерпретировать некорректные наблюдения.
Одновременное тестирование нескольких правок
Иногда появляется идея проверить одновременно несколько правок: обновленный текстовый блок, альтернативную кнопку, укороченную форму и обновленный порядок блоков. Подобный подход может дать итоговый эффект, но не объяснит, какой именно фактор воздействовал в отношении результат. Когда новая вариация оказалась лучше, сохранится неочевидно, какой элемент помогло лучше прочего.
Ради точной оценки обычно меняют единственный существенный элемент в 1вин один этап. Если необходимо сравнить многие вариаций, задействуется мультивариантное эксперимент. Этот формат сложнее, требует большего числа пользователей а также аккуратной расшифровки. В случае основной части сценариев A/B проверка на основе конкретной понятной гипотезой показывает намного более чистый а также полезный итог.
Сценарии сплит тестирования внутри интерфейсе
В UI-средах сплит тестирование регулярно используется для повышения ясности сценариев. К примеру, можно сравнить пару версии заявки: расширенную с полным множеством элементов ввода плюс краткую с минимальным сокращенным числом полей. В случае если короткая заявка увеличивает количество завершенных созданий аккаунтов без потери качества обращений, этот вариант можно признавать более эффективной.
Другой случай — сравнение надписи CTA. Сдержанная надпись способна оказаться не такой очевидной, относительно прямое описание действия. Кроме того тестируют расположение элементов действия, последовательность смысловых блоков, оформление 1 win пояснений, использование прогресс-бара, способ показа ошибок а также объем шагов в пути. Любой этот объект воздействует на то самое, в какой степени удобно завершить целевое событие.
сплит проверка внутри материалах
В контенте проверка позволяет определить, какие headline-блоки, описания, построения плюс форматы лучше удерживают внимание. Можно сопоставлять несколько вступления, длину контента, последовательность доводов, присутствие списков, оформление элементов, описание выгод или манеру объяснения сложной темы. При этом сценарии существенно измерять не только только нажатия, однако также следующее действие.
Headline способен повысить количество переходов, при этом если контент не будет соответствует запросам, вырастет процент быстрых выходов. Следовательно контентные эксперименты нужны чтобы учитывать ценность контакта: период чтения, прокрутку, переходы внутри платформы, повторные визиты плюс выполнение целевых результатов. Хороший итог — представляет собой не только просто получение интереса, вместо этого соответствие запроса плюс материала.
A/B эксперимент в почтовых рассылках
Внутри email-кампаниях часто сравнивают заголовки рассылок, подпись адресанта, первые предложения, момент доставки, объем email, место кнопок а также формулировки условий. Один сегмент получателей открывает контрольную версию email, второй сегмент — вторую. Затем этим сравниваются open rate, переходы, отписки, негативные сигналы а также последующие действия на сайте.
Существенно не стоит сводить анализ метрикой open rate. Subject-строка email способна быть яркой а также получать интерес, однако если тема не сможет отвечает содержанию, клики а также доверие способны уменьшиться. Поэтому качественный email-тест анализирует всю воронку: open-событие, клик, поведение вслед за клика плюс реакцию подписчиков на рассылку.