Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи

вариабельность будет выше, то есть истинный эффект будет либо переоценен, либо недооценен больше. Вот почему при метаанализе больший вес придается величине эффекта, получившейся в масштабных исследованиях, ведь обычно они точнее[320].

Что же касается публикационного смещения, нас интересует, как величина эффекта и размер выборки друг с другом соотносятся. Если в одной системе координат по осям отложить два этих параметра, так чтобы каждая точка соответствовала одному исследованию, логично будет ожидать увидеть что-то вроде диаграммы, изображенной на рисунке 2А. (Обратите внимание: это идеализированная версия метаанализа, реальные наборы данных почти никогда не выглядят столь четко.) Глядя на эту “воронкообразную диаграмму” (названную так по очевидной, надеюсь, причине), вы можете заметить, насколько сильно разбросаны точки, соответствующие небольшим исследованиям, то есть располагающиеся ближе к горизонтальной оси. По мере того как мы поднимаемся по вертикали, точки, соответствующие уже более масштабным исследованиям, начинают собираться вокруг среднего эффекта, иллюстрируя принцип, который мы только что обсудили: более масштабные исследования точнее. Разброс вдоль горизонтальной оси показывает, почему принимать как данность эффект, оцененный в любом отдельном исследовании, – плохая идея: несмотря на то что в данном примере есть реальный эффект, отдельные исследования искажают его “истинную” величину в меньшую или большую сторону в различной степени (тогда как самые масштабные исследования демонстрируют несравненную точность). В любом случае все кажется закономерным: форма перевернутой воронки – это именно то, чего и следовало бы ожидать, если бы все исследования сходились к реальному эффекту.

Рис. 2. Два разных варианта воронкообразной диаграммы, полученные в ходе воображаемых метаанализов. На диаграмме А распределение тридцати точек примерно такое, какого следовало бы ожидать, если бы результаты каждого когда-либо проводившегося исследования на данную тему были опубликованы. На диаграмме Б шесть точек из левой нижней области (исследования с маленькими выборками и небольшими эффектами) пропали – такая картина может быть признаком публикационного смещения. Вертикальная линия посередине каждой из двух диаграмм показывает общую величину эффекта, вычисленную в ходе соответствующего метаанализа. На диаграмме Б она сдвинута вправо, а значит, в ходе этого метаанализа эффект получен больше, чем он должен быть

Как при археологических раскопках, когда отсутствие определенных предметов сообщает любопытную информацию об изучаемых исторических персонажах (например, отсутствие оружия указывает на то, что они были скорее гражданскими лицами, чем военными), мы можем многое узнать, проанализировав, чего в метаанализе не наблюдается. Что, если наша диаграмма больше походит на рисунок 2Б, когда утерян участок ожидаемой формы? Точки, соответствующие исследованиям с маленькими выборками и небольшими эффектами, которые мы бы ожидали увидеть в левой нижней части воронки, пропали. Рассуждая как археолог, специалист по метаанализу вправе заключить, что такие исследования проводились, но их результаты авторы, вместо того чтобы опубликовать, погребли в “картотечном ящике”. Почему? Вероятное объяснение: в этих исследованиях с маленькими выборками и небольшими эффектами p-значения получились выше 0,05 – и результаты сочли бесполезными, отрицательными.

Наверное, ученые, проводившие исследования, рассуждали примерно так: “Что ж, исследование небольшое, поэтому обнаруженный маленький эффект объясняется, пожалуй, просто зашумленными данными. Если подумать, глупо было вообще надеяться обнаружить здесь какой-то эффект! Нет никакого смысла публиковать эти результаты”. Важно, однако, что они не занимались бы подобной рационализацией задним числом, если бы то же самое исследование при небольшой выборке – с его потенциально зашумленными данными – показало значительный эффект, а охотно отослали бы свои положительные результаты в журнал. В этих двойных стандартах, в основе которых лежит неистребимая в человеке склонность к подтверждению своей точки зрения (интерпретировать данные так, чтобы подтверждались собственные априорные убеждения и ожидания), и коренится публикационное смещение.

При сравнении общих выводов из метаанализов, соответствующих рисункам 2Б и 2А, видно, как публикационное смещение искажает научную литературу. Если из воронкообразной формы удалены исследования с маленькими эффектами, то общий эффект, который получится в метаанализе, будет по определению больше оправданного. Мы получаем завышенную оценку важности эффекта и можем прийти к неверному заключению, поверив, что нечто существует, хотя на деле это не так. Не публикуя отрицательные или неоднозначные результаты исследований, ученые нацепляют шоры на любого читателя научной литературы.

Одна из самых поразительных недавних воронкообразных диаграмм была получена в метаанализе психологом Дэвидом Шэнксом и его коллегами[321]. Они изучали еще одну вариацию прайминга – “романтический прайминг”. Согласно этой идее, после того как мужчинам показали фотографию привлекательной женщины, они рвутся принимать на себя бо́льшие риски и больше тратить на потребительские товары (занимаясь “показным потреблением” для привлечения партнеров). Пятнадцать опубликованных на эту тему статей, описывающие в общей сложности сорок три отдельных эксперимента, вроде бы подтверждали такую гипотезу. Тем не менее, когда в ходе метаанализа по точкам, соответствующим этим исследованиям, была построена диаграмма, от воронки оказался откушен огромный кусок: веское доказательство, что многие из работ, в которых эффект не проявился, опубликования не удостоились. И действительно, когда Шэнкс с коллегами попытался воспроизвести эффект романтического прайминга в собственных масштабных экспериментах, тот вообще никак не проявился – значения для величины эффекта во всех повторах стремились к нулю.

Не менее ярко публикационное смещение выражено в медицине. Так, в анализе 2007 года обнаружилось, что в более чем 90 % статей, описывающих эффективность прогностических тестов при раке, сообщалось о положительных результатах. В реальности мы до сих пор не особенно хорошо предсказываем, у кого будет рак, а стало быть, что-то с этой литературой не в порядке[322]. В другом исследовании, когда изучалось сорок девять метаанализов, посвященных потенциальным маркерам заболеваний сердечно-сосудистой системы (например, в крови тех, кто в группе риска по инфаркту, определенных белков может присутствовать больше), было показано, что в целых тридцати шести из них есть следы пристрастия к положительным результатам[323]. Иными словами, опубликованные статьи явно сильно раздували кажущуюся полезность этих биомаркеров.

То же касается и средств лечения. Врачам, прописывающим лекарства своим пациентам, нужно соизмерять пользу и вред, например, решая, стоит ли человеку принимать антидепрессанты, несмотря на их распространенные побочные эффекты вроде тошноты и бессонницы. Если медицинская литература создаст у врачей чересчур оптимистичное представление о пользе лекарства (что, похоже, справедливо для антидепрессантов, которые и правда работают, но оказывают не такой сильный эффект, как изначально предполагалось), их клинические обоснования окажутся искаженными[324].

Совершенно естественно, если прежде вы о публикационном смещении никогда не слышали: это один из самых постыдных секретов науки. Однако в 2014 году при изучении обзоров из топовых медицинских журналов выяснилось, что в 31 % метаанализов даже не проверялось его возможное наличие. (Когда же все тщательно