Сигнал и Шум. Почему одни прогнозы сбываются, а другие - нет - Нейт Сильвер

По сути, фреквентистский подход к статистике пытается изо всех сил утвердиться в мысли о том, что частая причина неверных предсказаний – это человеческая ошибка. Этот подход рассматривает неопределенность как нечто, присущее эксперименту, а не нашей способности понимать реальный мир. Фреквентистский метод также предполагает, что чем больше данных мы собираем, тем меньше становится ошибка. Со временем она приблизится к нулю. Таким образом, наличие данных считается необходимым и достаточным для решения любой проблемы. Многие из куда более проблемных вопросов предсказания, описанных в этой книге, связаны с областями, в которых полезные данные встречаются крайне редко, и порой их сбор действительно является важным и ценным делом. Однако неправильное использование этого метода вряд ли поставит вас на верный путь к статистическому совершенству. Как заметил Иоаннидис, эра Больших данных лишь ухудшает проблемы ложных позитивных выводов в исследовательской литературе.

Фреквентистский метод нельзя считать особенно объективным ни в теории, ни на практике. Напротив, он полагается на целый ряд предположений. Например, обычно предполагается, что неопределенность в измерении следует колоколообразной кривой или нормальному распределению. Часто это предположение достаточно хорошо описывает ситуацию, но не в случае таких вещей, как колебания на фондовом рынке. Фреквентистский подход требует определения выборки, которая будет выглядеть достаточно прямолинейно, когда дело касается политического опроса, но довольно неоднородно во многих других областях практического применения.

Какую «выборку из популяции» можно было бы выбрать в случае атаки 11 сентября?

Однако еще бо́льшая проблема состоит в том, что фреквентистские методы – в своем стремлении создать безупречные статистические процедуры, которые не могут быть испорчены предубеждениями самого исследователя, – вынуждают его герметично закрываться от реального мира. Эти методы не позволяют такому исследователю изучить глубокий контекст или ущербные черты своей гипотезы, то есть то, чего требует байесовский метод в форме априорной вероятности. В результате можно увидеть, на первый взгляд, серьезные научные работы о том, как жабы могут предсказывать землетрясения{587}, или о том, как оптовые магазины типа Target стимулируют создание нетерпимости в обществе{588}. В подобных исследованиях фреквентистские тесты применяются для создания «статистически значимых» (однако, по сути, бессмысленных и даже возмутительных) выводов.

Ближе к концу своей карьеры Фишер смягчился и даже время от времени хвалил Байеса{589}. Некоторые из методов, разработанных им за долгие годы (хотя и не самые популярные в наши дни), представляли собой, по сути, компромиссы между байесовским и фреквентистским подходами. Однако в последние годы своей жизни Фишер допустил крайне серьезный просчет, который продемонстрировал ограничения этого подхода.

Вопрос касался курения сигарет и рака легких. В 1950‑е гг. в значительном количестве исследований (в некоторых из них использовались стандартные статистические методы, а в других – байесовские){590} утверждалось, что между ними существует связь, что в наши дни никого уже не удивляет.

Фишер провел последние годы своей жизни, выступая против этих выводов. Он публиковал письма в престижных изданиях типа British Medical Journal и Nature{591}, не отрицая, впрочем, что в результатах этих исследований прослеживается довольно сильная статистическая зависимость между курением и раком легких. Однако он утверждал, что в данном случае произошла путаница между корреляцией и причинно-следственными связями, сравнивая эту ситуацию с исторической корреляцией между объемами импорта яблок и количеством браков в Англии{592}. В какой-то момент он даже утверждал, что рак легких приводит к курению, а не наоборот{593}, – по всей видимости, предполагая, что люди курят, чтобы облегчить боль в легких.

Многие научные выводы, которые в наши дни ни у кого не вызывают сомнения, когда-то могли восприниматься с большим недоверием. Иногда это было вызвано существовавшими культурными табу (как в случае заявления Галилея о том, что Земля вращается вокруг Солнца), а довольно часто тем, что просто отсутствовали данные, требующиеся для анализа проблемы. Мы, может быть, и позволили бы Фишеру сорваться с крючка, если бы к 1950 г. уже не было достаточного количества убедительных свидетельств существования связи между курением сигаретам и раком легких. Ученые, изучившие данные и свидетельства из прошлого, пришли к выводу, что на тот момент уже было множество статистических и клинических тестов, проводившихся большим количеством исследователей в разных контекстах, которые наглядно показывали причинно-следственную связь{594}. Идея быстро стала научным консенсусом.

Так почему же Фишер отвергал эту теорию? Одна из причин могла быть связана с тем, что он консультировал производителей сигарет за деньги{595}. Другая – с тем, что он сам курил всю жизнь. Фишеру нравилось казаться противоречивым и демонстрировать, что он не любит все, имеющее привкус пуританства. Короче говоря, он сам был подвержен огромному количеству «искажений».

Возможно, однако, что более значимая проблема заключается в том, как статистическая философия Фишера воспринимает мир. Она уделяет особое внимание объективной чистоте эксперимента: каждая гипотеза может быть доведена до идеального заключения, если только был собран достаточный объем данных. Однако в процессе достижения такого уровня чистоты эта теория отвергает необходимость байесовских априорных значений или любого другого вида беспорядка в контексте реального мира. Этот метод не требует и не побуждает нас задуматься о некорректности нашей гипотезы – идея о том, что сигареты вызывают рак легких, ничем не отличается от предположения о том, что жабы способны предсказывать землетрясения. Но мне кажется, что стоит сказать Фишеру спасибо за то, что он признал тот факт, что корреляция не всегда предполагает наличие причинно-следственной связи.