конверсии недостаточно будет просто что-то где-то изменить. Необходимо:
– внести правильные исправления;
– сделать это в нужный момент;
– в определенном порядке;
– оценить результаты и только потом продолжить работу над сайтом.
Если вы не будете строго придерживаться этих правил, то лишь зря потратите время и силы. Здесь очень пригодится народная мудрость: «Тише едешь – дальше будешь». Поэтому не спешите, сделайте все, как надо, и руководствуйтесь при тестировании следующими принципами.
– Сначала определите, что и как измерять и каким образом интерпретировать полученные результаты. Невозможно оценить успех, не измерив его составляющих (мы надеемся, вы хорошо знаете, из чего состоит успех).
– Убедитесь, что контрольные группы одинаковы по размеру.
– Внесите первое исправление и проведите тест. Нужно обязательно дождаться его результатов, прежде чем продолжить работу. Вам ведь требуется какая-то точка отсчета – ею и станут результаты первого тестирования. От них вы будете отталкиваться, внося следующие изменения и оценивая их эффективность.
– Помните: за один прием можно протестировать лишь один элемент. Даже если вы собираетесь вносить множество поправок, оценивать их эффективность необходимо по отдельности. Только так вы сможете измерить влияние, которое они оказывают на производительность сайта. Предположим, вы внесли несколько изменений и увидели, что эффективность сайта выросла на 5 %. Этот прирост появился благодаря влиянию двух факторов. Исправление № 1 улучшило работу сайта на 10 %, а исправление № 2 – ухудшило на 5 %, в итоге суммарный прирост эффективности составил 5 %. Тестируя каждое изменение по отдельности, вы поймете, что действительно помогает работе сайта, а что нет, к тому же вы всегда сможете вернуться на шаг назад и попробовать что-нибудь еще.
– При тестировании рекламной рассылки рассылайте письма контрольным группам одновременно. Тогда вы сможете исключить временной фактор. В идеале в эти же минуты следует измерить соответствующие показатели на сайте (в этом вам помогут такие программы, как Optimost и Inceptor).
А/В-тестирование
А/В-тестирование (его еще называют сплит-тестированием) – это самый легкий способ узнать, как влияет на общую эффективность отдельный элемент сайта или рекламного письма. Для проведения А/В-теста следует разделить аудиторию сайта на две группы (А и В). Одной группе вы показываете первоначальную версию того, что тестируете, а второй – улучшенный вариант, в котором изменен один элемент. Затем измеряете результаты.
Предположим, вы не можете определиться с темой для своего рекламного письма. Подготовьте два варианта рассылки, которые будут отличаться лишь названием темы. Первую версию письма разошлите одной половине получателей, вторую – другой половине.
Чтобы узнать, какая тема письма является наиболее удачной, посчитайте количество переходов на сайт у первой группы получателей и сравните их с аналогичным показателем у второй группы. Лучший показатель переходов и станет вашим контрольным показателем. С ним вы будете сравнивать эффективность других вариантов, пока не найдете самое удачное название темы. Результаты тестирования могут вас удивить. Однажды мы проводили подобный тест, и оказалось, что один вариант темы привлек на сайт на 300 % больше посетителей, чем его ближайший конкурент. Такая разница может иметь огромное значение для прибыльности вашего бизнеса.
Если вы хотите получить более наглядное представление о данном виде тестирования, то представьте, что пришли к окулисту, чтобы подобрать очки. Врач заводит вас в темную комнату и просит посмотреть в окуляры жутковатого на вид аппарата. Перед вами две одинаковые таблицы с буквами. Врач спрашивает: «Какую таблицу вы видите лучше и можете без труда прочитать?», вы отвечаете, окулист немного меняет настройки аппарата и спрашивает снова: «А теперь какую?» Затем он опять что-то исправляет и улучшает результат. Этот процесс продолжается до тех пор, пока не будет найден оптимальный вариант.
Но аналогия с подбором очков, к сожалению, не полностью подходит для нашего случая. Окулист, проверяя зрение, опирается на данные многочисленных медицинских исследований. В его распоряжении имеется готовая шкала и хорошо откалиброванная аппаратура, поэтому точность измерения гарантирована, а для обработки результатов нужно лишь воспользоваться проверенными методами. И все-таки эффективность А/В-тестирования очень впечатляет.
Вот один из наших любимых примеров. Несколько лет назад на сайте Amazon.com возникла необходимость внести некоторые улучшения в работу. Ниже показана область, которую изменяли в ходе А/В-тестирования:
А/В
Первоначально в каждом разделе сайта использовалась версия А. А/В-тест провели следующим образом: версия В появилась лишь в книжном разделе: были убраны некоторые слова в скобках и текст на кнопках. Неизвестно, почему организаторы теста решили так поступить; мы всегда рекомендуем подкреплять уверенность покупателей в точке действия. Но тут важен сам подход к А/В-тестированию. Оба варианта оформления страницы довольно долго сосуществовали в разных разделах сайта.
А вот еще один пример. На сайте Ice.com А/В-тестирование проводилось с использованием программы Visual Sciences tool. Целью тестирования было найти оптимальный вариант продающего текста для каждого из продуктов, представленных на домашней странице сайта. Для тестов выбрали три варианта продающего текста, а эталоном для измерения стало изображение продукта, под которым вообще не было ни слова описания. Посмотрим на эти четыре версии.
Как вы думаете, какая из них оказалась лучшей? Часто бывает, что нам нравится один из вариантов, и мы очень хотим, чтобы он победил.
А/В-тестирование дает ответы, основанные на реальных данных и не зависящие от нашего мнения. В ходе измерений быстро выяснилось, что вариант D намного лучше остальных. Тестирование принесло сайту тысячи долларов прибыли.
Как правильно провести тестирование
Теперь вы видите, насколько полезными могут быть тесты. Положим, вы решили применить свои знания на практике, но не до конца в себе уверены. Например, как вы докажете остальным, что результаты тестирования являются верными? При проведении любых тестов обязательно учитывайте такие факторы, как сезон и даже время суток. Лучше запускать проверку двух версий одновременно и отслеживать результаты на протяжении двух недель. Убедитесь, что размер выбранной контрольной группы достаточно большой, а разница между результатами является статистически значимой.
Майк Сэк, исполнительный директор и главный инженер компании Inceptor, дает несколько советов по проведению А/В-тестирования:
В первую очередь решите, в каких пропорциях будете делить своих посетителей на группы: 50/50, 90/10 или 80/20. Вы можете сформировать группы по какому-либо признаку, например по времени суток или даже по поисковой системе, из которой пришли посетители (пользователи Google увидят вариант А, а пользователи Yahoo! – вариант В). Во-вторых, определите стабильность теста. Другими словами, если посетитель ушел с сайта и зашел на него вновь, увидит ли он тот же самый вариант, что и раньше? Вы можете сохранять версию тестовой страницы в течение одной сессии или устанавливать для посетителя соответствующий вариант страницы с помощью cookies. Желательно, чтобы тестируемая страница не менялась хотя бы в течение сессии, хотя cookies, конечно, дают больше возможностей, поскольку позволяют отследить покупку, совершенную через какое-то время.
Как правильно выбрать размер контрольной группы и установить критерии успеха?
Чтобы определиться с размером контрольной группы, проведите «нулевое» А/В-тестирование. Оно, по сути, представляет собой А/А-тестирование: вы предлагаете обеим группам одинаковые страницы сайта и смотрите, насколько различаются между собой полученные результаты. Обычно погрешность составляет не более 0,05 %, хотя это вам решать. Размер контрольных групп, при котором результаты измерений примерно одинаковы, будет оптимальным.
Критерием успеха можно сделать определенное количество продаж за период времени, скажем, за две недели. Определите, какая разница в показателях эффективности будет считаться достаточной для того, чтобы выявить победителя. Существует негласное правило: результат считается лучшим, если превосходит другой результат в три раза (например, если при А показатель эффективности равен 5, а при В – 15, то вариант В будет лучшим).
А/В-тестирование – очень мощное средство оптимизации. Вот несколько советов по его проведению:
– используйте недорогие скрипты;
– поместите варианты тестируемой страницы на разные серверы, тогда каждый участник тестирования попадет на соответствующий сервер;
– используйте программное обеспечение, позволяющее проводить А/В-тестирование: Inceptor, Optimost, OfferMatica и Visual Sciences.
С помощью соответствующего ПО[25] можно изучить тысячи разных факторов, но помните, что значимую роль в работе сайта играют лишь некоторые из них. Хотя специальные программы и позволяют отследить влияние тех или иных показателей, они не помогут вам в поиске данных для измерения и не дадут знаний и опыта, необходимых для успешного А/В-тестирования. Здесь уже все зависит от вас.
Что нужно тестировать? Легче, пожалуй, составить список того, о чем можно не беспокоиться, – это будет чистый лист бумаги. Но мы все-таки перечислим элементы, заслуживающие особого внимания. Вот что следует тестировать в первую очередь:
– рекламную рассылку: подарки, купоны, текст сообщений, гарантии, слова в поле «От:», призывы к действию, приветствие, шрифт, расположение элементов на странице, графические изображения;
– сайт: целевые страницы, продающий текст (заголовки, содержание, призывы к действию, аргументы, подкрепляющие уверенность), цветовое решение, расположение элементов, настроение, создаваемое сайтом, и ссылки.
А/В-тестирование – это вовсе не высшая математика, и, конечно, существуют более сложные методы исследования эффективности сайта. Но именно в простоте и заключается главное преимущество А/В-тестирования. Проведя необходимые тесты, вы сможете, не колеблясь, принимать серьезные решения. Ведь, кроме интуиции, в вашем распоряжении будут реальные цифры.
Веб-аналитика для интернет-магазина
Наши клиенты часто спрашивают, правильную ли систему веб-аналитики они выбрали. Владельцам интернет-магазинов мы рекомендуем вначале найти для этой цели правильного специалиста, а уже потом инвестировать деньги в соответствующее программное обеспечение.
В 2004 г. компания Jupiter Research провела исследование, в ходе которого выяснилось, что лишь у 27 % владельцев онлайн-бизнеса, участвующих в опросе, имелся в штате специалист по веб-аналитике. В ходе исследования руководителям задавали вопрос: «С какими трудностями при управлении сайтом вы сталкиваетесь чаще всего?» Почти все респонденты ответили, что им сложно собирать нужные данные, правильно их интерпретировать и использовать в работе.
А ведь в этом и заключается задача веб-анализа. Сначала настройте систему веб-аналитики, чтобы она формировала отчеты, содержащие требуемые сведения. Будет ли при расчете тех или иных показателей учитываться активность поисковых роботов? Если пользователь обновит страницу, увеличится ли от этого счетчик просмотров?
Какие данные вы хотите получить от системы веб-аналитики? Если вы сами толком не знаете, что вам нужно, не просите специалистов настроить отчеты за вас или поставить режим «по умолчанию», как поступает большинство пользователей.
К сожалению, у многих владельцев интернет-магазинов нет соответствующих инструментов или работников, которые бы помогли им извлечь пользу из системы веб-аналитики. Между тем успех в электронной коммерции напрямую зависит от последовательно проводимых тестов и регулярно вносимых исправлений.
