Голая статистика. Самая интересная книга о самой скучной науке - Чарльз Уилан

Вместо этого подопытная и контрольная группы создаются путем сравнения учеников, которые оказались чуть ниже порога для летней школы, с учениками, которые находятся чуть выше этого порога. Это можно представлять себе так: ученики, провалившие экзамены по итогам полугодия, существенно отличаются от учеников, которые успешно их сдали. Но ученики, набравшие 59 % от максимальной суммы баллов (что не дает им права перейти в следующий класс), не столь уж сильно отличаются от учеников, у которых 60 % от максимальной суммы баллов (проходной балл). Если для тех, кто провалил экзамены по итогам полугодия, организовать некую программу обучения (например, обязательная подготовка к выпускным экзаменам под руководством преподавателя), то у нас появились бы приемлемые подопытная и контрольная группы, где бы мы сравнили результаты выпускных экзаменов тех, кто недобрал самую малость до проходного балла (и получил возможность готовиться под руководством преподавателя), с результатами тех, кто едва превысил проходной балл в ходе сдачи экзаменов по итогам полугодия (и не пользовался помощью преподавателя).

Этот подход был применен, чтобы определить эффективность тюремного заключения малолетних преступников в качестве сдерживающего фактора от повторного совершения преступлений. Очевидно, при выполнении такого анализа нельзя просто сравнивать уровень повторной преступности среди несовершеннолетних, получавших тюремные сроки, и тех, кто отделался более легким наказанием. Малолетние преступники, которых сажают в тюрьму, как правило, совершают более серьезные преступления, чем малолетние преступники, получающие более легкие приговоры; именно поэтому их и сажают за решетку. Естественно, мы не можем создать подопытную и контрольную группы путем случайного назначения тюремных сроков (если не хотите на двадцать пять лет угодить за решетку за то, что повернули на красный свет). Исследователь Рэнди Хьялмарссон, которая в настоящее время работает в Лондонском университете, воспользовалась статистикой вынесенных приговоров для малолетних преступников в штате Вашингтон, чтобы понять, как влияет тюремное заключение на будущее криминальное поведение этих людей. В частности, она сравнила уровень повторной преступности среди несовершеннолетних, получивших тюремный срок буквально «на грани» действующего уголовного законодательства, с уровнем повторной преступности среди тех малолетних преступников, кто избежал тюремного срока также буквально «на грани» (то есть «отделался выплатой штрафа или условным сроком»){94}.

Система уголовных наказаний в штате Вашингтон создает для каждого осужденного некую систему координат, используемую для администрирования меры наказания преступника. Ось X измеряет признанные судом прежние преступления данного осужденного. Например, каждое прежнее тяжкое уголовное преступление оценивается в один балл; каждое прежнее уголовное преступление, не относящееся к категории тяжких, оценивается в четверть балла. Сумма баллов округляется до ближайшего меньшего целого значения (почему это важно, станет понятно из дальнейшего объяснения). По оси Y измеряется тяжесть текущего преступления по шкале от E (наименее тяжкое) до A+ (самое тяжкое). Приговор осужденному вычисляется (в буквальном смысле) путем нахождения подходящей клетки в такой системе координат. Осужденный, предыдущие преступления которого оцениваются в два балла, совершивший тяжкое уголовное преступление класса B, получает от пятнадцати до тридцати шести месяцев тюремного заключения. Осужденный, предыдущие преступления которого оцениваются лишь в один балл, совершивший такое же уголовное преступление, не отправляется за решетку. Именно такая разрывность шкалы наказания определила выбор стратегии исследования. Рэнди Хьялмарссон сравнила исходы для осужденных преступников, которые оказались чуть выше и чуть ниже порога получения тюремного срока. Как объясняет Хьялмарссон в своей статье: «Если есть два преступника с текущим преступлением класса С+ и суммами баллов за предыдущие приговоры 2¾ и 3, то лишь последний из этих двоих будет отправлен в тюрьму».

С точки зрения данного исследования эти два человека, по сути, одинаковы – пока один из них не попадет за решетку. С этого момента их поведение резко разнится. Вероятность осуждения малолетних преступников, попавших за решетку, за какое-либо другое преступление после их освобождения из тюрьмы оказывается существенно ниже.

Нас интересуют прежде всего действенные способы анализа. Это касается медицины, экономики, бизнеса, уголовного судопроизводства и всего остального. Все же причинно-следственные зависимости – крепкий орешек, который не так-то просто расколоть даже в случаях, когда причина и следствие кажутся совершенно очевидными. Чтобы уяснить подлинную эффективность того или иного активирования, нужно знать, «что было бы в противном случае», то есть в отсутствие соответствующего активирования, или воздействия. Зачастую узнать это не так-то легко, а порой и невозможно. Рассмотрим пример не из области статистики. Оказалась ли Америка в большей безопасности после вторжения в Ирак?

Существует лишь один честный ответ на этот вопрос: мы никогда не узнаем это наверняка. А не узнаем потому, что нам не дано знать, что случилось бы, если бы Америка не вторглась в Ирак. Да, Соединенные Штаты не нашли в Ираке оружия массового поражения. Но не исключено, что на следующий день после того, как США не вторглись в Ирак, у Саддама Хусейна во время принятия душа могли бы возникнуть следующие мысли: «А не обзавестись ли мне водородной бомбой? Может быть, Северная Корея продаст мне парочку?» Кто знает, что случилось бы потом…

Правда, на следующий день после того как Соединенные Штаты не вторглись в Ирак, Саддам Хусейн во время принятия душа мог бы подумать: «А не обзавестись ли мне…», после чего ему на голову могла бы упасть отвалившаяся от стены кафельная плитка и он бы умер, так и не додумав до конца интересную мысль о возможности покупки водородной бомбы.

В этом случае мир избавился бы от Саддама Хусейна, не понеся колоссальных издержек, связанных с вторжением Америки в Ирак. Короче говоря, вариантов – множество, но никто никогда не сможет сказать наверняка, что случилось бы, если бы Америка не вторглась в Ирак.

Задача любой программы статистического оценивания – узнать, «что было бы в противном случае». Только так мы можем измерить эффективность того или иного активирования, или воздействия. В случае статистического управляемого эксперимента роль «что было бы в противном случае» исполняет контрольная группа. В случаях, когда проведение управляемого эксперимента нецелесообразно или невозможно по этическим соображениям, нужно найти какой-то другой способ приближения того, «что было бы в противном случае». Наше понимание окружающего мира зависит от нахождения разумных способов решения этой задачи.

Еще не так давно информацию было гораздо труднее собирать и гораздо дороже анализировать. Вообразите, каких титанических усилий стоило изучить данные о миллионе транзакций по кредитным картам при отсутствии (а ведь это было всего лишь несколько десятков лет тому назад!) персональных компьютеров, позволяющих оперативно это сделать, и наличии исключительно бумажных товарных чеков. Во время Великой депрессии не существовало официальной статистики, помогающей оценить глубину экономических проблем. Правительство не собирало официальную информацию о валовом внутреннем продукте (ВВП) и безработице, поэтому руководители государства ориентировались в экономической ситуации примерно так же, как человек, не имеющий компаса, в незнакомом лесу. В 1930 году Герберт Гувер, исходя из неточных и устаревших данных, имевшихся в его распоряжении, объявил об окончании Великой депрессии. В своем послании о положении в стране он сообщил ее гражданам о двух с половиной миллионах безработных, хотя на самом деле их было пять, причем это число каждую неделю увеличивалось на сто тысяч. Недавно Джеймс Суровецки написал в еженедельнике The New Yorker, что «Вашингтон вершил тогда свою политику втемную»{95}.