- Тест длился слишком мало времени
Часто владельцы сайтов прекращают A / B-тестирование, как только видят, что одна из страниц начала показывать лучшие результаты. Но на самом деле такое преимущество может быть случайным, особенно на коротких промежутках времени. Конверсии могут меняться в зависимости от дня недели или месяца (например, после дня зарплаты). Стоит ориентироваться на продолжительность теста в пределах двух-четырех недель. - Тест длился слишком долго
Перетаскивание теста может оказаться вредным. Если тестирование длится более месяца, у многих пользователей могут исчезнуть файлы cookie, что приведет к неправильным результатам. Они вернутся на сайт, но засчитаются как новые пользователи, что исказит статистику.
- Вмешательство во время теста
Некоторые тестировщики не могут удержаться и постоянно следят за ходом теста, иногда даже внося изменения в процессе. Это большая ошибка. В идеале не вмешиваться в процесс, пока тест не завершится и не достигнет статистической значимости. Единственное, что можно сделать, — через 24 часа проверить, все ли работает, или данные корректно собираются. - Забыли прекратить тест
Бывает и такое, что веб-мастера просто забывают остановить тестирование. В результате тест продолжает работать, разделяя аудиторию между двумя вариантами страниц, даже когда один из них уже показал себя очевидным победителем.
Фото с сайта: magmer.ru