Принцип «черного ящика». Как превратить неудачи в успех и снизить риск непоправимых ошибок - Мэтью Сайед

Но прежде чем проводить РКИ, Финкенауэр проверил существующую статистику программы. Откуда взялись 80–90 % исправившихся детей? Профессор обнаружил, что эти цифры базируются на опроснике, который был разослан родителям и опекунам подростков, посещавших Рауэй. (Еще одним источником информации стали письменные благодарности финансировавших программу агентств, посылавших детей в Рауэй. Эти письма доверия не заслуживали. У агентств могли быть сотни скрытых причин верить в успех программы.)

Опросник содержал четыре вопроса, подразумевавших ответы «да» или «нет»:

Ниже было оставлено место для комментариев [189].

Что такое «явные перемены»? А «незначительные изменения»? Эти понятия можно ведь истолковать как угодно. Финкенауэр выявил также любопытный факт: многие дети, посещавшие тюрьму Рауэй, не были малолетними преступниками и не склонялись к антисоциальному поведению. И если они не совершали впоследствии никаких преступлений, это вряд ли можно рассматривать как успех программы. Более того, опросники рассылались родителям через несколько недель после посещения тюрьмы их детьми. Судить об изменениях в поведении за столь короткий промежуток времени невозможно.

И это была лишь малая часть претензий. Как выяснилось, основной массив статистических данных нельзя принимать всерьез. Прежде всего, в статистику были включены только те, кто ответил на опросник. Тех, кто не ответил, словно бы и не было. Только представьте, как эта ошибка могла повлиять на результат. Не исключено, что на вопросы ответили родители только тех детей, которые действительно исправились. Матери и отцы подростков, продолжавших вести себя плохо, могли просто выбросить опросник; по крайней мере, ответивших среди них было явно меньше. Все это, вполне вероятно, исказило статистику.

Данный тип ошибки известен как «систематическая ошибка отбора», и мы с ним уже сталкивались. Почти та же проблема существовала в средневековой медицине: доказывая эффективность кровопускания, врачи учитывали только пациентов, которые выздоровели. «Доказательная база» представлялась убедительной, но оставалась опасно неполной. Те, кто кровопускания не пережил, права голоса не получали. Почему? Потому что они были мертвы.

Другая проблема статистики программы «Испугаться и исправиться» была еще хуже. Она имела отношение к контрфактическим данным. Даже если бы на опросники ответили все без исключения (чего не было), мы по-прежнему не могли бы утверждать, что результаты обусловлены программой и ничем иным. Может быть, поведение подростков улучшилось бы и без внешнего вмешательства. Или оно улучшилось, потому что улучшилась местная экономическая ситуация, потому что изменилась школьная программа, по какой-то другой причине. Возможно, результаты были бы лучше, если бы вмешательства не было.

В августе 1978 г. Финкенауэр случайным образом разделил малолетних преступников на две группы[38]. Одна группа участвовала в программе «Испугаться и исправиться». Другая (контрольная) группа – нет. После этого Финкенауэр стал ждать результатов. Невзирая на шумиху вокруг программы, на звезд, которые ее пропагандировали, хитроумный пиар, оскароносный документальный фильм, похвалы политиков, слова благодарности тюремного персонала и распространение программы по миру, профессор был первым, кто подверг программу серьезному испытанию на прочность.

Результаты стали сенсацией. Программа «Испугаться и исправиться» не работала. Дети, посетившие Рауэй, были более склонны к совершению преступлений, чем те, кто в программе не участвовал. «Факты доказывают: участники программы совершали новые проступки с большей вероятностью, чем те, кто в тюрьму не ездил, – говорит Финкенауэр. – Если сравнить контрольную группу с группой участников, выводы очевидны».

Для многих эти выводы стали сюрпризом. Программа казалась успешной. Логика выглядела убедительной. Родители буквально в один голос твердили, что их дети «вылечились». Ответы на опросник тоже казались достоверными. Однако все то же самое говорили и о кровопускании. Только благодаря РКИ мы смогли устранить двусмысленность и увидеть, насколько эффективна программа на самом деле.

По словам Финкенауэра:

Люди, поддерживавшие программу «Испугаться и исправиться», яростно набросились на Финкенауэра и его исследование. Судья Никола, хваливший программу в документальном фильме, сказал: «Она [программа] не нуждается в защите». Роберт Дж. Макалешер, консультант программы «Испугаться и исправиться», высказался куда более зло: «Нам интересно, что побуждает дилетантов [то есть Фин-кенауэра] оспаривать нашу интеллектуальную честность и привлекать внимание общественности бессмысленной статистикой, которая выдается за результат научного исследования» [191].

Эти реакции были в определенном смысле предсказуемы. Когда нам приводят факты, которые ставят под сомнение то, во что мы сильно верим, мы склонны скорее отвергать эти факты или набрасываться на того, кто их приводит, но не менять образ мысли. Действительно, многие апологеты «Испугаться и исправиться» отреагировали на результаты РКИ Финкенауэра заявлениями о том, что теперь они убеждены в эффективности программы еще больше, чем раньше. Именно эту реакцию предсказывает теория когнитивного диссонанса.

Впрочем, программа продолжала притягивать и тех, кто ничем ей обязан не был, – их влекло к ней, как мотыльков к огню. Факты доказывали, что программа дает результат, обратный заявленному, но нарратив «грубые заключенные удерживают детей от преступлений» слишком заманчив, чтобы можно было его отвергнуть. В 1980-х гг. похожие на «Испугаться и исправиться» программы появились в штатах Джорджия, Южная Каролина и Висконсин. Впоследствии их примеру последовали Нью-Йорк, Виргиния, Аляска, Огайо и Мичиган [192].