Принцип «черного ящика». Как превратить неудачи в успех и снизить риск непоправимых ошибок - Мэтью Сайед

Взгляните на этот график [199]. Он взят из работы Эстер Дюфло, одного из наиболее уважаемых экономистов в мире; в настоящее время она трудится в Массачусетском технологическом институте.

На вертикальной оси светло-серые столбики показывают объем финансовой помощи, которую Африка получает на протяжении последних 30 лет. Как можно видеть, с начала 1960-х гг. финансирование постепенно увеличивалось, достигнув в 2006 г. пика – почти 800 млн долларов. Эти средства инвестируются с простой целью: увеличить качество жизни беднейших жителей нашей планеты. Это важная цель, если учесть, что каждый день по причинам, которых можно было бы избежать, умирают 25 тысяч детей [200].

Ключевой вопрос тут вот какой: повлияла ли финансовая помощь хоть на что-нибудь? Сделала ли она лучше жизнь тех, кому по идее должна помогать?

Поиски ответа на этот вопрос разумно начать с африканского ВВП. На графике он показан толстой черной линией. Как нетрудно заметить, все эти годы он оставался примерно на одном уровне. Отсюда можно сделать вывод, что вложенные в Африку средства потрачены зря. Они не подстегнули экономическую активность региона, не подняли уровень жизни. На деле это пустая трата денег, а также времени.

Однако идеи, изложенные в предыдущей главе, должны удержать нас от поспешных выводов. Почему? Потому что мы не видим контрфактических данных. Нельзя исключать, что финансовая помощь была успешной. Нельзя исключать, что без нее ВВП Африки был бы куда меньше – на графике это белая линия.

Конечно, есть и другая возможность. Не исключено, что финансовая помощь нанесла Африке больше вреда, чем можно решить, глядя на толстую черную линию. Не исключено, что вложения обернулись катастрофой, что они лишали африканцев мотивации работать, подстегивали коррупцию и уменьшали экономический рост. Возможно, без этой помощи Африка сумела бы совершить рывок – он обозначен на графике пунктирной линией. Или нет? Как нам это узнать?

У каждого из перечисленных вариантов есть свои сторонники – авторитетные эксперты. Так, Джеффри Сакс, директор Института Земли Колумбийского университета, всячески защищает траты на развитие. Он утверждает, что помощь улучшила жизнь африканцев и, если бы денег было потрачено больше, бедность была бы искоренена полностью. Бестселлер Сакса «Конец бедности» (The End of Poverty) частично построен на этом предположении [201].

Уильям Истерли, экономист Нью-Йоркского университета, не согласен с Саксом ни в чем. Он уверен, что финансовая помощь Африке обернулась множеством негативных побочных эффектов – и что Черный континент жил бы куда лучше без этих денег. Книга Истерли «Бремя белого человека» (The White Man’s Burden) приводит доводы, которые по разумности ничем не уступают доводам Сакса [202].

Лучшим способом рассудить этих ученых было бы проведение рандомизированного контролируемого испытания. Оно позволило бы отделить влияние инвестиций на африканский ВВП от остальных факторов. Здесь, однако, мы сталкиваемся с очевидной проблемой. Есть лишь одна Африка. Нельзя найти множество разных Африк, случайным образом разделить их на две группы, дать помощь одним и не давать ее другим – и затем изучить итоги.

Сказанное может показаться банальностью, но это важная мысль в глобальном контексте. Когда речь идет о действительно важных вопросах, проводить контролируемые испытания очень трудно. Чтобы провести РКИ, вам нужна контрольная группа, однако, если анализируемая единица очень велика, собрать такую группу трудно. Это относится не только к развитию регионов, но и к другим явлениям, в том числе к глобальному потеплению (у нас всего один мир) и вопросам войны и мира.

Отсюда – польза концепции минимальных успехов. Если на большой вопрос трудно ответить, почему бы не разбить его на множество маленьких? В конце концов, у финансовой помощи есть масса компонентов. Существуют программы, связанные с малярией, грамотностью, инфраструктурой, образованием. Каждая такая программа устроена по-своему, предполагает разные стимулы и реализуется разными организациями.

Если рассматривать каждую программу в отдельности, проводить контролируемые эксперименты можно. Вы испытываете программу на одних людях или сообществах, но не на других, после чего сравниваете две группы, чтобы понять, успешна программа или нет. Чем спорить о том, нужно ли помогать Африке вообще (победить в этом споре очень трудно из-за отсутствия статистики наблюдений), можно найти точные ответы на более мелкие вопросы – и ответить на большой вопрос, исходя из этих ответов.

Рассмотрим данный принцип на конкретном примере. Предположим, мы пытались улучшить ситуацию с африканским образованием. Чтобы узнать, не впустую ли потрачена финансовая помощь, можно, скажем, взглянуть на корреляцию между объемом помощи и средней успеваемостью на континенте. Проблема в том, что мы не получим контрфактические данные (какой была бы успеваемость, если бы финансирования не было).

Теперь предположим, что мы смотрим не на образование вообще, а на конкретную программу. Именно так поступила группа экономистов-новаторов в районах Бусиа и Тесо – беднейших регионах на западе Кении. Как рассказывает Тим Харфорд в книге «Через поражения – к победе» (Adapt: Why Success Always Starts with Failure), экономисты хотели узнать, насколько повысится успеваемость, если раздавать учебники школам бесплатно. Интуиция подсказывает, что подход должен работать. Данные наблюдений тоже были хорошими. В школах, которые получали учебники бесплатно, успеваемость чаще всего повышалась.

Однако экономисты хотели быть уверены в результате, поэтому провели РКИ. Вместо того чтобы раздавать учебники самым нуждающимся школам (стандартный подход), они случайным образом разделили участвовавшие в эксперименте школы на две группы: в первой школе получали учебники, во второй – нет. Итак, у них имелись основная группа и контрольная группа. Благотворительный фонд получил возможность узнать, влияет ли раздача учебников на что-либо.

Результаты эксперимента были показательными и удивительными. Ученики школ с бесплатными учебниками получали в среднем такие же оценки, как и ученики других школ. Успеваемость в обеих группах была почти одинаковой. Результат противоречил интуиции и статистике наблюдений. Впрочем, с рандомизированными испытаниями такое происходит сплошь и рядом.

Как выяснилось, беда была не в учебниках, а в языке, на котором они написаны. Английский – третий язык большинства детей из бедных семей в отдаленных районах Бусиа и Тесо. Ученики просто не могли понять, о чем в учебнике идет речь. Без РКИ исследователи могли не обратить на это внимания. Причина неуспеха была в том, о чем никто просто не думал.

Получив отрицательный результат, экономисты испробовали другой подход. Они провели еще одно РКИ: на сей раз вместо учебников школы получали наглядные пособия и запоминающиеся рисунки, по которым можно объяснять географию, математику и т. д. И вновь экономисты ожидали, что успеваемость повысится. И вновь, сравнивая результаты основной группы с результатами контрольной, они увидели, что наглядные пособия потерпели неудачу. Оценки учеников лучше не стали.