Принцип «черного ящика». Как превратить неудачи в успех и снизить риск непоправимых ошибок - Мэтью Сайед

Еще одно замечание состоит в том, что рандомизированные испытания не учитывают целостный характер системы. Скажем, некое лекарство может излечивать конкретный симптом и при этом оказывать негативное долгосрочное влияние на организм в целом или не лечить причину болезни. Таблетки от боли в животе могут навредить иммунной системе, что, в свою очередь, скверно скажется на здоровье пациента в долгосрочном плане.

По сути, это замечание предлагает не ограничивать период оценки результатов клинического испытания коротким промежутком времени после принятия лекарства. Кроме того, результат следует оценивать не по конкретному симптому, а по влиянию лекарства на организм в целом. Отсюда видно, что при проведении РКИ важно обращать внимание на долгосрочные последствия. Увы, медики часто этого не делают.

Все эти соображения играют очень мало роли, когда речь заходит о спасении жизни. Если вы оказались в эпицентре эпидемии оспы или лихорадки Эбола, вы захотите вакцинироваться, даже если существует риск через 10–20 лет столкнуться с осложнениями [186].

С учетом этих оговорок можно сказать, что РКИ предлагают великолепный метод проведения достоверных испытаний в сложном мире. Если проводить РКИ тщательно, исчезает двусмысленность, которая может исказить нашу интерпретацию обратной связи. Между тем провести РКИ очень просто.

Возьмем рассмотренный ранее пример с обновленным дизайном веб-сайта. Нужно установить, увеличились продажи благодаря новому дизайну или чему-либо еще. Предположим, что, когда пользователь заходит на ваш сайт, он случайным образом направляется на страницу либо с новым, либо со старым дизайном. Впоследствии вы можете измерить, где покупают больше товаров – на новом сайте или на старом. Этот эксперимент отфильтрует все прочие факторы – процентные ставки, конкурентов, погоду – и выявит скрытую контрфактическую информацию.

С 1950-х гг. в медицине проведено около полумиллиона РКИ. Это спасло сотни тысяч жизней. Но вот что характерно: в некоторых областях РКИ практически не проводятся. В системе уголовного правосудия о них, кажется, почти ничего не знают. Так, в 2006 г. медики провели 25 тысяч РКИ, между тем в области криминалистики и правосудия с 1982 по 2004 г. прошло всего-навсего 85 таких испытаний [187].

Дэвид Хэлперн, один из самых уважаемых аналитиков Великобритании, говорит: «Во многих сферах государственного управления не проводится вообще никаких испытаний. Решения принимаются на основании догадок, интуиции и нарратива. Точно так же обстоят дела во многих сферах за пределами госсектора. Мы летим вслепую, не имея ни малейшего понятия, какие решения правильны, а какие нет. На деле это довольно страшно» [188].

Замкнутые циклы – это не просто занятный феномен, они часть мира, в котором мы живем. Они могут быть маленькими и огромными, малозаметными и очень сложными, они существуют в маленьких компаниях, больших компаниях, благотворительных фондах, корпорациях и правительствах. Большая часть наших представлений о мире никогда не подвергалась нормальному тестированию. И не подвергнется, если мы что-нибудь не предпримем.

Для того чтобы взглянуть на потрясающую бездну между тем, что, по нашему мнению, мы знаем, и тем, что мы знаем на самом деле, давайте вернемся к программе «Испугаться и исправиться». Она казалась весьма эффективной. Статистика наблюдений выглядела убедительно[37]. Но мы знаем, что программа не уменьшила число преступников, а увеличила его.

Во многих аспектах «Испугаться и исправиться» – метафора не только для государственной политики (возможно, ближайший аналог кровопускания для XX в.), но и для других сфер нашей деятельности. Эту программу могли реализовывать десятилетиями, а то и веками, не подвергая проверке ее итоги.

«Испугаться и исправиться» – это метафора, но прежде всего это предостережение.

В 1999 г. американское телевидение показало документальный фильм «Испугаться и исправиться: 20 лет спустя». На сей раз в качестве рассказчика выступил не Питер Фальк, а Дэнни Гловер. Зрителям показали, как сложились судьбы всех семнадцати худеньких подростков, которых мы видели в первом фильме. Результаты программы казались такими же чудесными, как и 20 лет назад.

Многие участники ленты рассказывали, как им живется сейчас. Почти все утверждали, что трехчасовое посещение тюрьмы Рауэй два десятилетия назад круто переменило их жизнь. Теренс, чернокожий юнец, угонявший машины и грабивший магазины, иногда читает проповеди в местной баптистской церкви, у него есть жена и двое сыновей. «Вполне вероятно, что если бы я не побывал тогда в Рауэе, то попал бы за решетку и сейчас был бы мертв», – говорит он.

Лори – в первом фильме это 16-летняя девушка с широкой улыбкой и большими серьгами, торговавшая наркотиками, – теперь бухгалтер и мать, ей уже 36 лет. «Тем утром я думала, что это повод прогулять уроки, – говорит она. – Прежде я никогда ничего не боялась… В тот день я поняла, что больше не хочу быть неучем… Я стала чаще ходить в школу…»

Анджело, парню с нечесаными волосами и тонкими усиками, стукнуло 37 лет. Он зарабатывает на жизнь настиланием полов, у него трое детей. Он говорит: «Если бы я не поехал тогда в Рауэй, мне пришлось бы несладко. Если бы тот день был другим, у меня не было бы моей семьи. Сейчас моя семья для меня – это все лучшее, все самое прекрасное, что есть на свете».

Так феномен «Испугаться и исправиться» был подан миллионам телезрителей. Статистика тоже вроде бы подтверждала успех этой программы. Ее разработчики позаботились о том, чтобы собрать информацию, что редко делают в других социальных программах.

Согласно статистике, от 80 до 90 % участников «Испугаться и исправиться» действительно исправились. В документальном фильме сказано: «Это потрясающая история успеха. Традиционные методы реабилитации так хорошо не работают».

Но если мы оглянемся назад, на 1977 г., начнет проявляться совсем другая картинка. В апреле 1977 г. профессор Ратгерской школы уголовной юстиции Джеймс Финкенауэр решил протестировать программу «Испугаться и исправиться». Статистика наблюдений его не интересовала. Ученый знал, что она может ввести в заблуждение. Его также не интересовали шумиха и тщательно смонтированные документальные фильмы. Он хотел знать, работает ли программа на самом деле. Если коротко, он хотел провести РКИ.

Сегодня Финкенауэр – седовласый мужчина с пытливым взглядом. Он опубликовал десятки статей и получил несколько наград за свои исследования. Его рассуждения поражают: он говорит осторожно, взвешенно, всегда прислушиваясь к собеседнику. В нем есть что-то от лазера: Финкенауэр пытается пробиться сквозь слой заблуждений к истине, которая лежит под ним. Все эти качества помогли ему препарировать феномен «Испугаться и исправиться» научным методом.