Если вам необходимо измерить 20 взаимодействий, а коэффициент обнаружения ложных срабатываний составляет 5%, то вы будете ожидать около одного взаимодействия, которое обнаружится случайно. «Другой подход к сокращению потребности в посетителях при мультивариантном тесте — исследовать меньше взаимодействий (например, только двухсторонние взаимодействия). В этом помогут такие методы, как дробный факторный эксперимент.
«Мультивариантное тестирование выступает против традиционных научных представлений. MVT — это процесс тестирования более одного компонента веб-сайта в реальной обстановке (контексте). По существу, это несколько A/B/n-тестов, запущенных одновременно на одной странице». Например, маркетинговая команда предлагает four варианта нового дизайна сайта и не может договориться, какой лучше.
В данном случае продукт — это ваш веб-сервис или интернет-магазин, и вы стремитесь улучшить пользовательский опыт (user experience (UX), получаемый посетителем в ходе взаимодействия с ним. Вы делаете это, собирая отзывы от группы людей, использовавших ваш сайт, и внося соответствующие изменения. В стандартной схеме А/В тестирования, обе страницы расположены по одному адресу, при Split URL-тестировании, В-вариант переносят на совсем другой. Используя MVT создаем комбинацию для снимка героя и комбинацию для цвета клавиши. Чтобы протестировать все версии, необходимо создавать версии всех возможных модификаций. Это может пройти бесследно, а может и наоборот, привести к убытку.
Тестируют такие же элементы, как в A/B/n тестах, но более детально и в комплексе с другими. Тест покажет, какой вариант оказался лучше (например, на тёмную кнопку кликали чаще, чем на светлую). Другие факторы, которые повлияли на результат, останутся неизвестными.
Как Увеличить Конверсию На 69% С Помощью Сплит-тестирования Подзаголовка?
88% пользователей, скорее всего, не вернутся на сайт компании после неудачного опыта. Также ошибки стоят дорого — $1,420,300,000,000 теряют компании со всего мира из-за плохого UX дизайна. Также при мультивариативном тестировании возможны ложные срабатывания, которые нужно учитывать при принятии итогового решения.
«Это совокупность эвристических методов, а не теоретически обоснованный подход. Первоначально он использовался в обрабатывающей промышленности, где были сделаны определенные допущения, чтобы уменьшить число комбинаций, необходимых для тестирования QA (обеспечение качества) и прочих экспериментов. Эти предположения неприменимы к онлайн-тестам, так что вам не стоит задумываться о методе Тагучи. Таким образом, благодаря мультивариантным тестам вы узнаете, какие элементы на ресурсе сыграют ключевую роль в достижении ваших целей.
Когда Следует Платить За Участие В Юзабилити-тестах
По ходу обновления сайта лучше тестировать другие веб-элементы, дабы быть уверенным в том, что посетители получат самую интересную и правильно оформленную версию. Делается это с целью проверить потенциальные возможности оптимизации ресурса в сравнении с начальной версией сайта. К примеру, данный метод можно применить для исследования влияния цветов, размеров и местоположения элементов ресурса на его конверсию. 1) Применять эти поправки стоит только в случае необходимости. Например, когда вам критически важно строго ограничить групповую вероятность ошибки. Допустим, если вы проводите тест в ключевом продукте и вам очень важно не уронить прибыль новыми изменениями в будущем.
Помните, что при мультивариантном тестировании высокая вероятность получить ложноположительные результаты. Для того чтобы избежать этого стоит опять-таки позаботиться о высоких показателях трафика. Если вы проверяете 20 изменений и есть 5% вероятность, что для каждого вы получите ложнопозитивные результаты, то одна вариация внезапно может оказаться значимой. Например, из 16 проверяемых комбинаций каждая получит 1/16 трафика сайта. Так как варианты получают одинаковый трафик, тест предоставит информацию о том, какая комбинация приносят лучший результат.
Так, к примеру, вам нужно выполнить тестирование двух версий снимка героя и цветового окраса клавиши СТА на ресурсе. Перед тем, как приступать к планированию А/В тестирования, следует изучить работу веб-ресурса на данный момент. Необходимо узнать количество человек, заходивших на сайт, наименование страниц, привлекающих наибольше трафика, мотивы конверсии разных страниц и прочее. Во-первых, важно четко понимать ключевые группы пользователей, которые влияют на вашу метрику и выбирать время эксперимента с учетом их сплитования. Напомню, что для каждой метрики и для каждого виджета мы должны определять эти группы по отдельности и провести большую работу перед тем, как начать использовать A/B/n и множественное тестирование. Представьте, что у вас есть кнопка в интерфейсе и вы знаете, что ее конверсия у пользователей мобильной версии сайта намного выше, чем у пользователей десктопной версии.
К примеру, для начала берем несколько страниц, где потенциал доходов средний или где трафик каждого дня самый высокий. Кроме этого, большую пользу в данной сфере принесут тепловые карты (англ. heatmap) – инструменты, визуализирующие действия пользователей на сайте. Также можно проверить несколько возможных вариантов продукта и среди всех выбрать наиболее успешную версию. Это приведет к улучшению опыта пользователей и снизит количество отказов. Неправильно будет прекращать процесс тестирования по завершению дизайнерского оформления.
«Мультивариантное тестирование требует значительно больше инвестиций в технологии, дизайн, настройки, анализ данных. Кроме того, полнофакторный MVT-тест заберет огромную часть вашего трафика (даже если его объем внушителен и без того). Поэтому мультивариантные тесты станут большим испытанием mvt тестирование для маркетингового бюджета — из-за времени, людей, ресурсов, и внутреннего обслуживания процесса». Многомерное тестирование продемонстрирует, на какое сочетание элементов аудитория реагирует лучше — кликает на товары и покупает или совершает другую конверсию (например, подписку).
А после определения общей картины вы можете протестировать взаимодействие элементов через мультивариантный эксперимент. MVT — прекрасный инструмент для последующей оптимизации победившего в сплит-тесте варианта. В то время как А/В не дает существенной информации о взаимодействии переменных на одной странице, https://deveducation.com/ MVT делает это. Так вы можете способствовать редизайну, увидев, в каких местах страницы различные элементы оказывают наибольшее влияние. Например, данные о влиянии формы определенного элемента могут быть использованы в дальнейших кампаниях и на новых целевых страницах, даже если контекст элемента изменился.
Для автоматизации A/B-тестов удобно применять специальные сервисы. После того, как тесты будут выполнены, вернитесь к своим результатам, чтобы идентифицировать аналогичные отклики и определить тенденции. Это не означает, что вам нужно будет прочесывать интернет, чтобы найти тестировщиков, желающих подзаработать. Вместо этого засучите рукава и «прокачайте» свои навыки в области связей с общественностью. Лучший UX означает более низкий показатель отказов, что, в свою очередь, приводит к большему количеству просмотров страниц, увеличению времени, проведенному на сайте, и в конечном итоге, росту прибыли. Тестирование юзабилити — это кратчайший путь к улучшению пользовательского опыта и один из лучших способов извлечь максимальную пользу из каждого посещения.
Многовариантное тестирование — менее понятная альтернатива, её часто считают слишком трудоёмкой для использования. Хотя этот метод имеет свои ограничения, они уравновешиваются преимуществами, которые трудно достигнуть с помощью A/B-тестирования. Этот инструмент от Zoho — доступный и удобный способ выполнять А/Б-тестирование сайтов. Он включает все основные интеграции и предлагает широкий спектр разных функций. Однако это хороший вариант для малого и среднего бизнеса, у которого нет достаточного трафика для такого рода тестов. Размер выборки — общее количество человек, которые увидят разные варианты объектов.
Он также сообщит вероятность того, что у расчета есть недостатки, а полученные результаты — некорректные. При расчете результатов учитывайте такой показатель, как статистическая значимость. Не будем углубляться в сложные математические формулы, все давно автоматизировано. Рассчитать статистическую значимость результатов тестирования можно в калькуляторах «MindBox» или «Evan Miller», о которых мы писали выше, либо в сервисе, где проводился эксперимент. К анализу результатов можно приступать после завершения тестирования.
MVT-тест позволяет анализировать поведение аудитории, поскольку дает четкое представление о том, что нравится пользователю, а что его раздражает. Эти сведения вы сможете использовать при разработке рекламных кампаний или при оптимизации остальных страниц сайта. Кроме того, такой тест позволит улучшить показатели без глобальных перемен и полного редизайна сайта, а также проверить идеи по его оптимизации.
Не поддавайтесь соблазну прекратить исследование раньше, даже если в первые дни вы видите явное преимущество одного варианта перед другим. Результат может быть недостоверным, так как еще не все пользователи из выборки побывали на сайте. Например, аудитория интернет-магазина состоит из 70% женщин и 30% мужчин. Если не учитывать это соотношение, то результаты A/B-тестирования сайта будут некорректными.
В A/B/n-тестировании мы одновременно сравниваем не два, а сразу несколько вариантов интерфейса, его элементов или содержимого. Таким образом, трафик распределяется между этими вариантами в некоторой пропорции, в зависимости от конкретной задачи. В полном тесте трафик делится между всеми вариациями, что увеличивает необходимое количество трафика для получения показательной статистики. Чтобы оценить трафик, необходимый для значимого результата, используйте калькулятор.
- Любая из этих ошибок может привести к тому, что результаты теста окажутся недостоверными и придется начинать все заново.
- Лучше поставить точную задачу — «повысить конверсию до 5%».
- Кроме того, в практике нередко встречаются случаи, когда использование последнего оправдано и приносит результаты, которых никогда не получить при использовании только А/В тестирования.
- В процессе мультивариативного тестирования возрастает вероятность ложноположительного результата.
- В нем проводят эксперименты с различными вариантами страниц и рекламных объявлений.
2) Не использовать поправки как альтернативу проверке на сплитование ключевых групп. В новой же системе есть возможность распределить трафик в любой пропорции и протестировать любые фичи до того, как новый UI будет доступен для всего трафика. Еще один плюс в том, что теперь у нас будет единая система для тестирования веб- и мобильного приложения, а приятным бонусом является возможность получить консультацию коллег из EXPF.
В приведенном выше примере комбинация 5 состоит из варианта B секции «Текст» и контрольных вариантов секций «Цвет кнопки» и «Цвет текста». Рост числа конверсий, который был отмечен в данной комбинации, представляет влияние отображения варианта секции «Текст» без внесения любых других изменений в опыт. Напротив, если вы используете МВТ, вы, как правило, сможете определить значимость одного конкретного варианта или комбинации вариантов. Таким образом, вы сможете, например, узнать, что видео продукта значительно увеличивает конверсию по сравнению с изменением подписи кнопки. Это может дать вам дальнейшую стратегию и понимание дизайна (например, что стоит инвестировать в создание хороших видеороликов).
Чем быстрее вы двигаетесь, тем быстрее подниметесь на новый уровень. Используйте МВТ как инструмент сбора данных, который показывает, куда направить ресурсы. В блоге Adobe частичный мультивариантный тест сравнивают с барометром. Ценность барометра не в точном измерении атмосферного давления, а в указании на изменение. Дробные факторные конструкции — это «экспериментальные макеты, состоящие из тщательно выбранных подмножеств (фракций) экспериментальных запусков полнофакторных дизайнов».