Голая статистика. Самая интересная книга о самой скучной науке - Чарльз Уилан

Систематическая ошибка памяти. Наша память – восхитительный дар, правда, далеко не всегда источник достоверных данных. Человеку свойственно воспринимать настоящее как логическое следствие прошедших событий. Иными словами, человек интуитивно пытается находить причинно-следственные связи. Проблема в том, что наша память оказывается «систематически хрупкой», когда мы пытаемся объяснить какой-либо особенно хороший или плохой результат в настоящем. Рассмотрим исследование, авторы которого пытаются выявить связь между рационом питания и раковыми заболеваниями. В 1993 году один из ученых Гарвардского университета собрал данные о группе женщин, страдающих раком груди, и информацию о группе женщин примерно того же возраста, у которых рак не был диагностирован. Женщин в обеих группах спросили об особенностях их рациона питания в молодые годы. Этот опрос выявил совершенно четкие результаты: женщины, страдающие раком груди, в молодости употребляли пищу с более высоким содержанием жиров.

Да, но это исследование вовсе не ставило перед собой задачу определить влияние рациона питания на вероятность развития раковых заболеваний! Оно было призвано определить, как заболевание раком влияет на память женщины о ее питании в прежние годы. Все женщины-участницы заполнили анкету, где спрашивалось об особенностях их питания, за много лет до того, как у кого-то из них был диагностирован рак. Самое интересное, что женщины, страдающие раком груди, вспомнили, что употребляли гораздо больше жиров, чем это было на самом деле, тогда как в воспоминаниях здоровых женщин существенных отклонений от реального рациона их питания в молодости не обнаружилось. Журнал The New York Times Magazine так описал скрытую природу этой систематической ошибки памяти:

Наличие такой систематической ошибки памяти – одна из причин, почему ученые чаще предпочитают проводить повторные исследования, а не исследования типа «поперечный срез». В случае повторного исследования сбор данных выполняется на протяжении всего времени его проведения. В пятилетнем возрасте участника спрашивают о его отношении к школе. Затем, спустя тринадцать лет, мы можем наведаться к нему и выяснить, не бросил ли он школу досрочно. При проведении исследования «поперечный срез» все данные собираются одномоментно, и, спрашивая восемнадцатилетнего парня, бросившего школу, как он к ней относился в пятилетнем возрасте, мы вряд ли получим правдивый ответ.

Систематическая ошибка доживаемости до определенного возраста. Допустим, директор школы сообщает, что на протяжении четырех лет результаты экзаменов определенной группы учащихся неизменно улучшаются. Оценки второклассников лучше оценок первоклассников, а баллы третьеклассников еще лучше, чем у второклассников, ну и самые выдающиеся результаты демонстрируют ученики четвертого класса. Предполагается, что в данном случае отсутствуют какие-либо манипуляции с сознательным завышением оценок, а также с «творческим» применением описательных статистик. Каждый год эта группа становится все более успешной, какими бы показателями мы ни пользовались: средним, медианой, процентом учащихся, перешедших в следующий класс, и т. д.

Как бы вы поступили в подобном случае: a) присвоили директору этой школы звание «директор года» или b) потребовали бы от него дополнительных данных?

Лично я предпочел бы вариант b). У меня возникло сильное подозрение о наличии в данном случае систематической ошибки доживаемости до определенного возраста, которая возникает, когда какие-то из наблюдений выпадают из выборки, изменяя состав оставшихся наблюдений и тем самым сказываясь на результатах того или иного анализа. Допустим, что директор школы – никудышний администратор. Учебный процесс во вверенном ему заведении организован из рук вон плохо, учащиеся не приобретают никаких знаний, каждый год половина из них бросает учебу. Разумеется, это позитивно скажется на общих результатах экзаменов – притом что оценки каждого отдельно взятого учащегося не станут лучше. Если сделать вполне разумное допущение, что школу бросят самые нерадивые ученики (которые получали на экзаменах самые низкие оценки), то средний результат сдачи экзаменов оставшимися учащимися будет неуклонно повышаться по мере увеличения числа учеников, бросающих учебу. (Если собрать в одной комнате людей разного роста, а затем попросить «коротышек» выйти из комнаты, то средний рост оставшихся увеличится, хотя каждый из них в отдельности не стал выше.)

Индустрия взаимных фондов охотно ухватилась за систематическую ошибку доживаемости до определенного возраста, воспользовавшись ею для того, чтобы их прибыльность выглядела для инвесторов гораздо привлекательнее, чем на самом деле. Взаимные фонды обычно оценивают свою эффективность, сравнивая свои показатели с прибыльностью, обеспечиваемой одним из основных индексов, например Standard & Poor’s 500 (индекс 500 ведущих акционерных компаний открытого типа в Америке)[37]. Если в прошлом году S&P 500 повысился на 5,3 %, то считается, что некий взаимный фонд превзошел этот индекс, если его прибыльность оказалась выше, и наоборот, взаимный фонд завершил год хуже, если его прибыльность ниже этого индекса. Для инвесторов, которые не желают платить менеджеру взаимного фонда, одним из довольно дешевых и простых вариантов будет покупка акций S&P 500 Index Fund, который представляет собой взаимный фонд, просто приобретающий доли во всех 500 пакетах акций, представленных в S&P 500. Менеджеры взаимных фондов убеждают нас в своей дальновидности и умении использовать знания для выбора таких ценных бумаг, которые обеспечивают более высокую прибыльность, чем какой-нибудь простой индексный фонд. В действительности превзойти S&P 500 на достаточно продолжительном отрезке времени довольно трудно. (По сути, S&P 500 представляет собой среднее пакетов акций всех крупных компаний, которые торгуются на фондовой бирже, поэтому с математической точки зрения можно ожидать, что примерно половина активно управляемых взаимных фондов в данном году превзойдет S&P 500, а другая половина, наоборот, продемонстрирует более слабый результат, чем S&P 500.) Разумеется, недосчитаться прибыли, доверив свои деньги какому-нибудь бездумному индексу, который просто покупает 500 пакетов акций и держит их у себя, было бы не очень красиво. Никакого тебе анализа. Никакого мудреного макропрогнозирования. И – к немалому удовольствию инвесторов – никаких заоблачных выплат в пользу менеджеров взаимных фондов.