Вот данные, взятые с некого сервиса, с которым мне приходилось работать. Это недельная статистика.
Оказывается, что тут график становится суммой двух экспонент. Так себя ведет радиоактивный изотоп - они распадаются при экспоненте. То есть за одно и тоже время одна и та же оставшаяся доля изотопа на что-то распадается. Есть такие же графики: если пытаться аппроксимировать двумя экспонентами, то совпадение будет практически идеальное.
Есть две экспоненты (в полулогарифмическом масштабе экспоненты представляются прямыми): быстро падающая прямая и медленно падающая прямая. Это классическая история из физики: два изотопа смешанные в разных пропорциях и с резко отличающимся временем жизни.
И оказывается, что таким образом мы можем в первом приближении разделить пользователей на две общие категории: есть пользователи быстро 'распадающиеся' (быстро покидающие сервис), и на старте их чаще всего больше чем пользователей второго типа, которые 'утекают' медленно (они показаны красным пунктиром), но доля которых в начале не велика.
По сути, это смесь двух типов пользователей: лояльных и достаточно случайных: тех, которые зашли один-два раза, потом не вернулись, и тех, которые конечно уйдут когда-нибудь, но не скоро, а пока продолжают ходить из месяца в месяц. Таким образом, можно разбираться с этими двумя категориями пользователей. Из этой кривой, которую нужно померить на протяжении относительно короткого времени, можно получить количественные выводы о том, а какая доля у вас получилась долгосрочной лояльной аудитории и дальше разбираться, почему она получилась именно такой.
Проиллюстрирую это на более понятном графике. Вот примерные цифры, которые характерны для интернет-сервисов: у вас есть лояльная доля аудитории (в жизни она как правило составляет 5-20%), период полураспада у этой хорошей лояльной доли - больше чуть ли не в несколько десятков раз чем у тех случайных, которых было 80-95 процентов. То есть обычно жизнь сервиса, не получившего распространения (например, социальная сетка) устроена так: есть случайные пользователи, которые составляют подавляющее большинство, есть долгосрочные. Вы можете за короткое время, имея шесть-семь точек кривой, построить сумму экспонент и получить достаточно долгосрочный, надежный прогноз.
Почему так важны долгосрочные прогнозы, почему я говорю о том, что очень важно за три-четыре недели получить сведения о доле и периоде 'полураспада' лояльных пользователей? Потому что интернет- среда - очень быстрая среда. Стартапы вообще живут в немыслимо быстром времени - цикл создания чего- нибудь новенького, прототипного, измеряется часами. Ждать неделю, чтобы представить проект инвесторам - это уже целая вечность.
Поэтому сиюминутные метрики становятся в головах людей превалирующими, более того - в интернете все можно править налету, все сразу видно. Но изменения, вызванные сиюминутными наблюдениями вызывают определённые проблемы. Вспомнить пример с фокус-группами - если пользователь говорит, что ему что-то кажется прикольным, наверное, можно из этого сделать некую однократную акцию. Если же сделать такое явление постоянным - на этом можно навсегда потерять лояльную аудиторию. То, что что для случайных посетителей будет очень прикольно, может быстро надоесть тем, кто пользуется сервисом постоянно.
Отсюда и проблемы всех этих долгосрочных решений, принятых на основе реакций, отслеживаемых за секунды или часы. Такое наблюдение не решает главного вопроса - долгосрочной любви и лояльности сайту. Эти пресловутые методы churn rate можно применять по-разному и собирать информацию из разных источников.
Если показатели 'посыпались' - это может быть следствием любого эффекта. И определение причины - непрямая задача исследования. Причиной может быть что-то внешнее. Может быть, это естественная вещь - вы обновили версию и старые UID исчезли. На самом деле это не люди ушли, а лишь обновились идентификаторы программы.
Часто еще бывает, что конкурент что-то выпустил и те, кто были вашими лояльными пользователями, стали менять ваш продукт на аналогичный продукт конкурента. И такой звоночек, вовремя полученный из этой таблицы, позволяет быстро определить захватывает ли это всех, кто живет с вами уже полгода, или их уже никаким калачом не переманишь, и быстро принять ответные шаги.
Теперь немного практических выводов и советов. Во-первых, желательно любые измерения и изменения тестировать не только на сиюминутной метрике вроде тех самых фокус-групп или метрик вроде глубины просмотра. Хорошо бы предоставить продукт тестовой группе в параллель с основной версией и посмотреть долгосрочные метрики на группах пользователей, составляющих небольшую долю от вашей аудитории.
Можно посмотреть, как ведет себя программа и как ведут себя пользователи сервиса в интернете в тестовой группе. И в то же время изучить то, как ведут себя пользователи, которые зарегистрировались на нашем старом интерфейсе. Сравнивать напрямую их нельзя - у них разная реакция. Отношение этих долей лояльных пользователей к отношению периода полураспада и у лояльных и у 'быстроутекающих' выявляется сериями метрик, за которыми в таком эксперименте нужно следить. Если делать это на регулярной основе - узнаете много нового и интересного.
Такие результаты разойдутся с кучей оценок, полученных путем простого предъявления интерфейса и его анализов в ходе работы фокус-группы на протяжении часа. Легко заметить, что любые большие порталы и сервисы всегда выкатывают тестовую версию (это может называться по-разному: закрытым тестированием, открытым тестированием, бета-версией), но всегда есть и долгосрочная. Нельзя за сутки померить лояльность, нельзя за сутки посмотреть, как будут вести себя люди, когда будут пользоваться сервисом регулярно. Поэтому такой период вывода чего-то в параллель не только приятен разработчикам, но и очень важен юзабилистам и маркетологам.
Почему все эти вещи я считаю абсолютно необходимыми для юзабилистов? Есть такая затасканная поговорка: у вас нет второго шанса произвести первое впечатление. Вот в том, насколько сильно отличается первое восприятие сервиса и лояльность к сервису, действительно главную роль играет интерфейс, очень важна и функциональность. Как ни странно, изменения функциональности гораздо меньше сказываются на сроках общения с сервисом чем реальное удобство использования. А удобство - это все- таки к юзабилистам, разработчикам интерфейсов, а не к маркетологов.
Второй практический вывод - это уже о бюджетах. Идеальной рекламной кампании в природе не встречается, но всем бы её хотелось. Запустить бы рекламную кампанию и ежедневно привлекать на сервис новых людей в одинаковом количестве и чтобы каждый из них настолько в него влюблялся, что остается пользователем навсегда.
На практике, в лучшем случае происходит так, как нарисовано синей кривой и любой рекламист это хорошо знает. Запустили интернет-кампанию, у вас есть некое нарастание, а как только кампанию завершили, посещаемость начала падать. В идеале - не до той величины, которая была до рекламы. Хотя в жизни, к сожалению, очень и очень часто падает в точности туда же.
Но даже если цифры относительно реалистичные, то у вас будет пятипроцентная конверсия посетителей в лояльных пользователей. Даже если у вас какое-то такое осмысленно время оттока, то на графике отличия от бесконечной лояльности будут катастрофическими. Еще очень важно, что вы можете, аппроксимируя по первым пяти-шести точкам начальной части синей кривой, предсказать что будет в итоге. Это всё та же история с двумя экспонентами: вы можете аппроксимировать это начало кривой и увидеть по первым пяти-шести периодам времени, что у доля лояльных пользователей составляет те самые 5%. Это позволяет сразу принять решение - устраивает вас рекламная кампания, приносящая определённый приток пользователей. В противном случае нужно сразу думать о том, как быстренько задержать тех посетителей, которые заходят на два-три раза.
Бывает, большое количество денег вкладывается в маркетинг (под маркетингом в данном случае подразумевается привлечение пользователей), и вы понимаете, что они расходуются неправильно. Чтобы донести это до начальства как можно проще, можно использовать что-нибудь вроде вот такой упрощённой таблицы. С научной точки зрения в ней много мелких ошибок, зато она простая.
