Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи

имеющими отношения к испытываемому средству (так называемые спутывающие факторы), и многие другие проблемы, которые запутывают клинические исследования. Но даже строжайшим образом контролируемое клиническое испытание не может исключить предвзятость, возникающую после получения результатов, – предвзятость, расцветающую при анализе данных.

Поведение по типу техасского стрелка в медицинских исследованиях часто именуют “переключением на другие исходы”[371] (еще одно название для p-хакинга). Давайте вернемся к нашему гипотетическому исследованию разницы в росте между мужчинами и женщинами. Допустим, вы попутно зафиксировали еще какие-то факты об участниках, например их вес, количество часов, проводимых еженедельно перед телевизором, оцененный ими самими уровень стресса. Это были второстепенные показатели – любопытные, конечно, но не главные для исследования. Что произойдет, если вы не обнаружите искомую статистически значимую разницу в росте, но обнаружите значимое различие между мужчинами и женщинами по, скажем, времени, посвящаемому просмотру телевидения? “Переключение на другие исходы” – это когда вы решаете представить работу так, словно она изначально была посвящена времени, проводимому перед телевизором. Однако у такого шага есть уже известные нам недостатки: при этом хоронится потенциально полезное знание об отсутствии разницы в росте, а тот факт, что проводились дополнительные статистические тесты, означает, что нам нужно проявить предельную осторожность при интерпретировании результатов. Если вы скрываете от читателей статьи полный объем проведенного статистического анализа, они не будут остерегаться возросшего риска ложноположительных результатов.

С 2005 года Международный комитет редакторов медицинских журналов, признавая серьезную проблему с публикационным смещением, постановил, что все клинические исследования на людях должны регистрироваться в публичном доступе прежде, чем будут проведены, – иначе в большинстве топовых медицинских журналов их не допустят до публикации[372]. Идея была в том, чтобы создать преграду для запихивания работ в “картотечный ящик”, ведь все будут знать: проведены-то они были. Это постановление породило полезный побочный эффект – опубликованный список планов для каждого исследования, включая исходы, которые ученые собирались изучать[373]. Просматривая потом эти регистрационные записи, наблюдатели могут заметить нестыковки между предлагавшимся планом и написанной в итоге статьей. В проекте “Сравни испытания” (COMPare Trials) Бена Голдакра была предпринята попытка взять все клинические исследования, опубликованные в пяти самых престижных медицинских журналах за четыре месяца, и сопоставить с их регистрационными записями[374]. Из шестидесяти семи работ лишь в девяти сообщалось обо всем, что было заявлено. Суммарно по всем статьям триста пятьдесят четыре результата просто исчезли на пути от регистрации до публикации (есть основания полагать, что p-значения для большинства из них превышали 0,05), тогда как триста пятьдесят семь незарегистрированных результатов появились в журнальных статьях ex nihilo[375][376]. При подобной ревизии регистрационных записей в области анестезии выяснилось, что в 92 % испытаний исследователи “переключали” как минимум один исход – и, что предсказуемо, переключение происходило скорее в сторону статистически значимых результатов[377].

Невозможно узнать наверняка, к скольким пациентам применяли бесполезные способы лечения – и давали ложную надежду – из-за клинических испытаний, подверженных p-хакингу, однако это число совершенно точно неимоверное[378]. Вспомним обсуждавшиеся выше метаанализы. Даже если не учитывать тот факт, что некоторые исследования часто исчезают из-за публикационного смещения, общий, совместный эффект – призванный служить надежным обобщением всего накопленного знания в данной области – окажется далек от реального, когда включенные в метаанализ работы все приукрашены p-хакингом[379]. Вероятно, вы задаетесь вопросом, как врачам и их пациентам верить медицинской литературе, настолько пропитанной предвзятостью, за исключением меньшинства четких, хорошо воспроизводимых результатов. Мой ответ: не имею ни малейшего представления.

Стремление публиковать привлекающие к себе внимание, неоспоримые, статистически значимые результаты – один из самых универсальных источников предубеждений в науке. Но вдобавок и другие искажающие силы оказывают свое влияние. Первое, что приходит в голову, – деньги. В США (где легко раздобыть нужные числа) чуть более трети зарегистрированных медицинских испытаний за последние годы финансировались фармацевтической промышленностью[380]. Насколько такое финансирование – компаниями, планирующими продавать лекарство, если оно окажется действенным, – влияет на результаты? Метанаучные исследования, посвященные клиническим испытаниям, в целом показывают, что финансируемые индустрией проверки лекарств действительно чаще дают положительные результаты. В недавнем обзоре сообщалось, что на каждое успешное испытание, финансируемое правительством или некоммерческой организацией, приходится 1,27 успешного испытания, финансируемого фармацевтическими компаниями[381]. Возможно, эта предвзятость коренится в самом дизайне исследований: есть некоторые свидетельства того, что в испытаниях, оплачиваемых компаниями, их новое лекарство обычно сравнивается скорее с бесполезным плацебо, чем со следующим по эффективности альтернативным средством, за счет чего их новый продукт искусственно делается привлекательно выглядящим[382]. Но главным образом причина, вероятно, в тех факторах, которые мы обсуждали в этой главе: известно, например, что испытания, спонсируемые индустрией, чаще отправляются в “картотечный ящик”, чем финансируемые из других источников[383].

В большинстве журналов сейчас требуется, чтобы в конце публикуемой статьи, в разделе “Конфликт интересов”, авторы сообщали о любых деньгах, полученных, скажем, за консультирование фармацевтической компании[384]. Однако с иными видами финансового конфликта интересов так не обходятся. К примеру, многие ученые строят успешную карьеру на базе своих научных результатов, выпуская книги-бестселлеры и регулярно получая пяти- или шестизначные суммы за лекции, бизнес-консалтинг и речи на церемониях вручения дипломов в университетах[385]. Спору нет, люди вправе платить сколько хочется за лекторов, консультантов и контракты на написание книг. Но когда успешная карьера покоится на правдивости конкретной теории, ученый обретает новую мотивацию на своей основной работе: публиковать только те статьи, где эта теория подтверждается (либо подвергать их p-хакингу до тех пор, пока это не случится). Это такой же финансовый конфликт интересов, как все другие, причем он обостряется дополнительными репутационными соображениями. Казалось бы, ученые в подобной ситуации должны прозрачности ради включать в конец каждой будущей статьи, относящейся к делу, заявление о конфликте интересов[386].

Помимо финансовых и даже репутационных интересов есть и другое предубеждение, которое редко обсуждается открыто. Это предвзятость ученого, искренне желающего, чтобы его исследование дало важные результаты, поскольку это сулило бы прогресс в борьбе с какой-то болезнью человека, или общества, или окружающей среды либо же иной серьезной проблемой. Дело даже не в желании получить значимые результаты ради публикации (хотя и это существенное давление, как мы увидим в последующих главах). Просто ученый имеет благие намерения и хочет чувствовать, что его работа приносит пользу. Можно было бы назвать это “предвзятостью благих намерений”. Когда исследование, которое вы спланировали для проверки своего нового средства лечения, дает отрицательные результаты, это оказывает сокрушительное действие, ведь получается, что человечество нисколько