Подходит ли вам мультивариантное тестирование? Про успех, стратегию, карьеру и маркетинг
Далее мы создаем одну или несколько вариаций исходного (контрольного) веб-элемента. Далее, мы делим трафик пополам в случайном порядке (то есть распределяем пользователей согласно некой вероятности), и, наконец, собираем данные (метрики) о том, как работает каждая версия страницы. Спустя какое-то время, мы анализируем данные и оставляем ту версию, которая отработала лучше, а менее удачную — выключаем.
Мы ежедневно отслеживали конверсию и увидели, что новый лендинг был в 1,5 раза лучше. На третий день мы решили отключить тест и поставили этот лендинг основным. Вопрос «Привлечет ли картинка в лендинге вакансии больше кандидатов? Нужно добавить конкретики и понять, какие данные могут это доказать. Маркетолог может интуитивно почувствовать, что можно заменить определенную деталь на сайте. Бывает, все работает и так хорошо, но интуиция подсказывает, что можно сделать еще лучше.
НЕКОТОРЫЕ ТЕХНИКИ ТЕСТ-ДИЗАЙНА
Мы меняем только один элемент (одна переменная), но предоставляем последовательность разных вариантов этого элемента. Самыми распространёнными методами MVT-тестирования считаются полнофакторный и дробный факторный. Теперь, чтобы рассчитать статистическую значимость результатов. Для этого указываем количество конверсий по каждому варианту и размер выборки. Калькулятор покажет, отличаются результаты или значительной разницы нет. Тест покажет, какой вариант оказался лучше (например, на тёмную кнопку кликали чаще, чем на светлую).
Далее предположим, что к нам пришла идея улучшить целевую страницу через изменение главной картинки (hero image). То есть, мы решили проверить исходную версию страницы, изменяя уже две переменные — заголовок и картинку. Алгоритм создания цели (страницы, на которую попадет пользователь после целевого действия) точно такой же, как в А/B-тестировании. В примере это будет так называемая страница «спасибо».
A/B-тестирование в сравнение с другими видами тестирования (A/B/n-тест, MVT-тест, Тагучи метод)
Произойдёт, если снизить показатель отказов (Bounce Rate), который учитывают поисковые системы при ранжировании сайта. Удобная посадочная страница задержит пользователей дольше — это хороший признак для поисковиков. Пользователям интересно, они остаются на сайте — можно показывать эту страницу чаще. Во время разработки нового дизайна случаются споры. Покажет сплит-тестирование, которое проверит гипотезы и решит конфликт мирным путём.
- A/B/n тестирование — один из методов маркетингового исследования, с помощью которого сравнивают эффективность нескольких вариантов контента в email-рассылке и в других кампаниях.
- Это коммерческий проект, основанный на какой-либо идее и требующий финансирования для развития.
- Второй вариант потребует больше ресурсов и ограничит творческие идеи, но и в этом случае вам стоит не забывать о том, что необходимо больше трафика, дабы проверить кроме того оставшиеся.
- Так вы сможете сократить затраты на проведение теста и направить больше трафика на другие, более жизнеспособные вариации.
- В представленных вариантах по объективным причинам (сжатые сроки, бюджеты, размытые цели или очень простые требования) вы не получите выигрыша от написания тестов.
- Важно тестировать все варианты одновременно, а не по отдельности.
Запускаются очень часто, работают быстро и их количество в рамках приложения велико. В представленных вариантах по объективным причинам (сжатые сроки, бюджеты, размытые цели или очень простые требования) вы не получите выигрыша от написания тестов. Метод мутационного тестирования требует больших вычислительных затрат и до недавнего времени не пользовался популярностью. Однако в последнее время этот метод снова вызывает интерес исследователей в области информатики. Мутационное тестирование было предложено студентом Ричардом Липтоном в 1971 году[2] и было впервые разработано и опубликовано ДеМиллом, Липтоном и Сейвардом. Первая реализация инструмента для мутационного тестирования была создана Тимоти Баддом из Йельского университета в его диссертации (названной «Мутационный анализ») в 1980 году.
В каких случаях проводить сплит тестирование
В совершенстве, мы желали бы, дабы все проигрышные варианты «отваливались» своим чередом. Но статистически имеется шанс, что любой из вариантов станет победителем, пока не достигнут уровень статистической значимости. Статистическая значимость в этом случае серьёзна, т.к. Лишь при ее достижении возможно оставаться уверенным, что результаты теста «не подкачают» в будущем, а выбранный вариант окажется лучшим по всем объективным показателям и разрешит расширить конверсию. Помимо этого, статистическая значимость измеряется числом успешных (т.е. завершенных) операций/заказов/сделок.
Оно отличается от А/B-тестов, которые предполагают одновременную проверку и анализ лишь одного элемента. Вместо проверки версии А и версии В одного элемента, при мультивариантном тестировании вы можете протестировать неограниченное количество переменных, например, версии А, B, С, D И Е сразу. Многовариантное тестирование — способ для проверки догадок, в котором изменяются пара переменных. Оно отличается от А/B-тестов, каковые предполагают анализ и одновременную проверку только одного элемента. Вместо проверки версии А и версии В одного элемента, при мультивариантном тестировании вы имеете возможность протестировать неограниченное количество переменных, к примеру, версии А, B, С, D И Е сходу.
ТОП-10 советов по оптимизации воронки конверсии
Легко вследствие того что вы имеете возможность проверить огромное количество вариаций, не следует проводить тест. Где гарантия, что он окажется действенным, а инвестиции окупятся? Если вы проводите тест для теста, то тратите время, ресурсы и теряете потенциальную прибыль. Запомните данный пример, мы будем применять его потом при разборе изюминок мультивариантного тестирования. Дабы тщательнее протестировать все комбинации, необходимо создать пара вариантов для каждой переменной. Поведение пользователей с разными вариантами дизайна — источник для новых инсайтов, иногда неожиданных.
Маркетологи хотят найти лучшее сочетание изменений, или же узнать, какой элемент (заголовок, кнопка) оказывает максимальное воздействие? Сплит-тесты обычно содержат меньше вариаций, чем MVT, но с более радикальными изменениями. В то время как мультивариантные кампании запускаются на внушительное число версий, но с небольшими различиями. Однако всегда остается место и для мультивариантных тестов (MVT), которые могут существенно увеличить ваши показатели и добавить ценности продукту.
идей для сплит-тестов сайта eCommerce
Но перед тем, как вдаваться в нюансы, кратко рассмотрим различия между подходами. Настоятельно Вам рекомендуем выбрать и установить любой из современных браузеров. Более того, в конечном итоге окажется, что большинство этих вариантов даже и не стоило испытывать. В приведенном выше примере mvt тестирование все восемь вариаций по-прежнему имеют смысл в любом из возможных сочетаний. Но при добавлении некоторых вариаций вы рискуете получить какой-то совершенно сумасшедший коктейль. Мы меняем лишь один элемент (одна переменная), но предоставляем ряд различных вариантов этого элемента.
Зачем нужно A/B/n и MVT-тестирование: сходства и различия
В этом материале разберемся, зачем такой вид проверки гипотез нужен бизнесу, в чем его преимущества и недостатки и как его проводить. Именно поэтому множество компаний проводит тестирование своих сайтов и посадочных страниц, используя такие методы как сплит(A/B)- и мультивариантные тесты (MVT). Однако они ни в коем случае не являются единственными методами тестирования, доступными для маркетологов и разработчиков пользовательского опыта (UX). Упомянутые тесты, как правило, опираются на крупные массивы данных, необходимые им для выдачи корректных результатов, однако не все маркетологи располагают необходимыми объемами информации. Если вы хотите протестировать более двух вариаций, проведите A/B/n тест.