Сигнал и Шум. Почему одни прогнозы сбываются, а другие - нет - Нейт Сильвер

Подобные партийные убеждения могут легко нарушить справедливость утверждения о том, что чем больше информации, тем ближе мы становимся к истине. Недавнее исследование, проведенное журналом Nature, показало, что чем больше информации о глобальном потеплении получали рьяные приверженцы той или иной партии, тем меньше они соглашались со своими оппонентами{44}.

Кроме этого, даже при том, что объем информации ежедневно увеличивается на 2,5 квинтильона байт, с объемом полезной информации ситуация совершенно иная. Основная масса ежедневного прироста представляет собой обычный шум, растущий быстрее сигнала. У нас есть масса гипотез, требующих тестирования, и куча информационных массивов для тестирования – однако объем той информации, которую можно считать объективной истиной, остается практически неизменным.

Печатный пресс изменил наш способ совершать ошибки. Более редкими стали обычные ошибки переписчиков. Однако, если ошибка возникала, она могла воспроизводиться множество раз, как произошло с «Греховной Библией».

Этим свойством отличаются сложные системы типа Всемирной паутины. Возможно, они дают сбой не так часто, как более простые системы, но если этот сбой происходит, он оказывается в высшей степени значительным. Капитализм и интернет – две системы, невероятно эффективные с точки зрения пропаганды, позволяют плохим идеям распространяться точно в такой же степени, что и хорошим. Плохие идеи могут вызвать непропорционально сильный эффект. В преддверии финансового кризиса система была настолько искаженной, что любое недостаточно точное предположение в моделях, созданных кредитными рейтинговыми агентствами, сыграло огромную роль в кризисе всей глобальной финансовой системы.

Один из путей решения этой проблемы состоит в регулировании. Однако я подозреваю, что это – всего лишь попытка отказаться от того, чтобы обратиться за ответами внутрь самих себя. Нам нужно остановиться и признать, что у нас, у людей, есть проблема с предсказаниями. Мы любим заниматься ими, но не очень хорошо умеем это делать.

Предсказание можно считать одновременно и основной проблемой этой книги, и основным ее решением.

Предсказания – это неотъемлемая часть нашей жизни. Каждый раз, когда мы выбираем маршрут движения на работу, размышляем о том, стоит ли идти на второе свидание или нужно ли отложить некоторую сумму на черный день, мы делаем прогноз о том, как будут развиваться события в нашем будущем и каким образом наши планы повлияют на вероятность позитивного исхода.

Тщательного осмысливания требуют решения далеко не всех этих повседневных вопросов; мы можем выделить на принятие каждого решения лишь ограниченное время. Тем не менее в течение дня каждый из нас делает множество предсказаний, вне зависимости от того, отдает ли он себе в этом отчет.

Именно по этой причине данная книга рассматривает предсказание как некий общечеловеческий опыт, а не функцию, которую реализует избранная группа экспертов или практиков. Конечно, всегда забавно потешаться над экспертами, когда их предсказания не сбываются. Однако нам не стоит слишком уж злорадствовать. Заявлять о том, что наши собственные предсказания ничуть не хуже, чем предсказания экспертов, – значит налагать на себя проклятие неоправданной похвалы.

При этом стоит отметить, что предсказания играют достаточно важную роль в науке.

Кому-то из вас может показаться дискомфортной мысль, на которую я намекал выше и которую теперь хочу высказать максимально прямо: мы никогда не сможем создавать идеально объективные предсказания. Они всегда будут искажены вследствие нашей субъективной точки зрения.

Однако эта книга категорически против нигилистической точки зрения, согласно которой объективной истины не существует. Скорее, она утверждает, что убеждение в наличии объективной истины – и приверженность ее достижению – представляет собой первое необходимое условие для создания качественного предсказания. Следующее, что должен признать любой прогнозист, – это тот факт, что его картина мира неидеальна.

Предсказание важно, поскольку оно позволяет соединить субъективную и объективную реальности. Эту точку зрения разделял философ науки Карл Поппер{45}. Для него гипотеза не считалась научной, когда ее нельзя было сфальсифицировать – иными словами, когда ее можно было протестировать в реальном мире путем прогнозирования.

В то же время мы должны понять, что далеко не все наши идеи могут или даже должны подвергнуться проверке. В экономике гораздо проще протестировать прогноз уровня безработицы, чем делать заявления об эффективности расходов на стимулирование бизнеса. В политических науках мы можем тестировать модели, использующиеся для предсказания исхода выборов, но, допустим, верификация теории о том, как могут повлиять изменения в политических учреждениях на общую политику, может занять десятилетия.

Я не хочу идти так же далеко, как Поппер, и утверждать, что эти теории – ненаучны или что в них отсутствует какая-либо ценность. Однако тот факт, что лишь немногие из теорий, которые мы можем проверить, показывают довольно плохие результаты, должен приводить нас к мысли о том, что многие из идей, которые мы не тестировали, могут также оказаться неверными. Вне всякого сомнения, мы живем с иллюзиями, которых даже не понимаем.

Однако нам есть куда двигаться. Возможное решение покоится не на довольно сырых политических идеях – особенно с учетом того, что я рассматриваю нашу нынешнюю политическую систему как значительную часть проблемы. Скорее, решение требует изменения нашего отношения.

Это новое отношение воплощается в так называемой теореме Байеса, о которой я расскажу в главе 8. Эта теорема, по сути, выглядит как математическая формула, но в реальности она представляет собой нечто гораздо более масштабное. Она предполагает, что мы должны думать о своих идеях (и том, как их проверять) иначе. Мы должны почувствовать себя более комфортно в условиях вероятности и неопределенности. Мы должны тщательнее размышлять о предположениях и убеждениях, с которыми связана проблема.

Данная книга делится примерно на две половины. Первые семь глав посвящены диагностике проблемы предсказания, а последние шесть – изучению и применению теоремы Байеса.

Каждая глава ориентирована на освещение конкретного вопроса и описывает его с определенной степенью глубины. Не буду отрицать, что эта книга достаточно детальна – отчасти потому, что в деталях часто кроется дьявол, а отчасти из-за моей убежденности в том, что достаточная степень погружения в предмет позволит понять его несоизмеримо лучше, чем короткое резюме.