Тетлок, количественные прогнозы они делали не лучше неспециалистов — а то и хуже{182}. Основная проблема с опорой на экспертов, однако, состоит не в том, что они заметно хуже не-экспертов, а в том, что, поскольку они специалисты, мы склонны консультироваться только с одним из них за раз{183}. Гораздо разумнее узнать
Вместо того чтобы выискивать некий идеальный метод, гораздо целесообразнее просто определить, какие предсказания могут быть сделаны с минимальной ошибкой, а какие нет. При прочих равных, например, чем больше времени отделяет прогноз результата от самого события, тем большей окажется неточность. Все просто: какие методы ни используй, спрогнозировать потенциальный кассовый сбор фильма на стадии одобрения проекта гораздо труднее, чем за неделю или две до его премьеры. Кроме того, одни вычисления даются легче других, и с этим ничего не поделаешь. Как быть? Можно использовать любой из нескольких методов — или даже все вместе, как сделали это мы в исследовании рынков предсказаний, — и следить за их эффективностью в течение некоторого времени. Как я упоминал в начале предыдущей главы, отслеживание прогнозов не приходит само собой: мы делаем множество оных, но редко проверяем, насколько часто они оказываются верными. А ведь это — самое главное! Лишь установив степень точности, характеризующей те или иные предсказания, можно определить, какое значение следует им придавать{187}.
Когда будущее не такое, как прошлое
Как ни старайся, основное ограничение всех без исключения методов прогнозирования заключается в следующем: они надежны, только если в будущем случатся события того же типа, что и в прошлом, и с той же средней частотой{188}. Вне финансовых кризисов кредитные компании могут весьма точно спрогнозировать уровни невыплаты кредитов. Поведение отдельных людей сложно и непредсказуемо, но эти показатели на нынешней неделе, по сути, те же, что и на прошлой, — а значит, модели здесь работают достаточно хорошо. Но, как указывает ряд критиков прогнозирующего моделирования, многие события, интересующие нас больше всего, — начало финансового кризиса, возникновение революционной новой технологии, крах диктатуры или резкое снижение уровня преступности — интересны как раз потому, что они
Оглядываясь назад: модели, использовавшиеся многими банками для ценоопределения ипотечных деривативов до финансового кризиса 2008 года, — как печально известные ОДО[37] — чересчур сильно опирались на данные из недавнего прошлого, в течение которого цены на жилье только росли. Как результат, и аналитики и трейдеры существенно занизили вероятность общенационального снижения цен на недвижимость и, как следствие, крайне недооценили риск невыплат ипотечных кредитов и конфискации имущества{189}. В ретроспективе