Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи

и закладывать в бюджет траты на соответствующий персонал и оборудование нужно заблаговременно – что может привести к несправедливости по отношению к менее известным ученым, у которых идеи хороши, но нет связей и влияния, необходимых для отбора на долгосрочное финансирование. Как лучше распределять деньги в мире, где мы все еще финансируем проекты? Особенно заманчивой выглядит идея создать шорт-лист заявок на гранты, качество которых превышает определенный уровень, а затем распределять финансирование жеребьевкой. Учитывая, что научная система считается меритократической, звучит это странновато. Однако, по мнению сторонников жеребьевки, нынешняя система настолько плоха в распределении средств, что “это уже, по сути, лотерея, только без преимуществ случайности”[780]. Проведенный в 2016 году анализ показал, что оценки, выставленные рецензентами заявкам на гранты Национальных институтов здравоохранения США, практически не были связаны с качеством исследований, проведенных на эти гранты (оно измерялось количеством ссылок на итоговую статью)[781]. Если так, то значительная часть времени, уделяемого учеными на доработку своих заявок на гранты, чтобы сделать их интереснее и убедительнее, тратится впустую. И действительно, согласно одному подсчету, “ценность науки, которую исследователи упускают при подготовке заявок на гранты, примерно равна или превышает ценность науки, поддерживаемой программой финансирования”[782].

Вероятно, невозможно справедливо провести отбор заявок на гранты из россыпи высококачественных претендентов. Если отдать это на волю случая, рецензентам не нужно будет тратить время на попытки одолеть невыполнимое, а также это позволит избежать предвзятости по отношению к определенным типам ученых из-за их стажа, гендера или других характеристик[783]. Знай ученые, что их проектная заявка будет участвовать в лотерее при условии, что она не ниже определенного уровня по качеству – а планку можно установить достаточно высоко и учитывать такие критерии, как “следование принципам открытой науки”, – они бы испытывали куда меньше давления, заставляющего преувеличивать важность своей работы[784].

Журналы тоже должны принять новые стандарты, способствующие открытости и воспроизводимости. Было бы прекрасно, если бы для начала они стали приглашать ученых представлять на рассмотрение исследования-повторения, предварительно регистрировать свои планы и сопровождать статьи соответствующими наборами данных[785]. Это увеличивает количество способов, какими ученые могут заинтересовать своей статьей редакторов журналов вне узкой направленности на положительные результаты, и означает, что исследователи с отрицательными результатами не потерпят неудачу на первом же этапе[786]. Еще журналы могли бы ввести процедуру сканирования статей на предмет обычных ошибок или нанять аналитиков, которые бы проводили выборочные проверки данных на достоверность с использованием таких методов, как тест GRIM[787]. Журналы уж точно должны побуждать авторов представлять свои открытия со смирением: подобно тому как они требуют от ученых сообщать о конфликтах интересов, они могли бы требовать от них писать раздел “Ограничения исследования”, который сопровождал бы в небольшой рамке итоговую публикацию[788]. Они даже могли бы попытаться отвадить ученых от нарезки статей, сделав подачу публикаций на рассмотрение более затратной (по времени, усилиям или деньгам)[789].

Все это университеты, финансирующие организации и журналы должны или могли бы сделать. Но что им с того? В конце концов, университеты хотят обеспечить себе статус на все более безумном рынке, который оценивает их по количеству статей, публикуемых работающими на факультетах учеными в журналах с высоким импакт-фактором; финансирующие организации хотят, чтобы все видели, как они поддерживают самую престижную науку; журналы хотят наблюдать, как с каждым годом растет их импакт-фактор. Однако настало время перемен, и тому есть две причины.

Первая – сам развивающийся кризис воспроизводимости. Десятилетиями, даже веками, многие ученые питали серьезные подозрения насчет достоверности результатов и насчет порождающей их системы. Но лишь в последние несколько лет накопились горы надежных данных, подтверждающих эти подозрения. Теперь во многих областях мы можем поместить отдельные громкие случаи ошибок в науке в более широкий контекст системных проблем и указать на убедительные метанаучные данные, подтверждающие частные случаи. Иными словами, только недавно мы обрели данные, которые закладывают реальную основу для исцеления науки.

Ни один университет не желает славиться тем, что работы его ученых не воспроизводятся или что его сотрудники замешаны в расследованиях мошенничества. Не хотят такого и финансирующие организации: они понимают, что если финансируют не высококачественные, воспроизводимые исследования, то тратят деньги впустую, а в конечном итоге будут выглядеть дураками. То же относится и к журналам: последнее, чего они сами или их издатели хотят, – стать посмешищем, как это произошло с некоторыми изданиями, приобретшими дурную славу из-за публикуемых в них сомнительных исследований[790]. В эту передрягу мы попали отчасти именно из-за репутационных соображений, но, если скандалы и изъяны станут достаточно известными, те же самые соображения помогут нам из нее и выпутаться.

Вообще беспокойство из-за кризиса воспроизводимости среди самих ученых уже вызвало широкую поддержку реформирования науки. Ученые продемонстрировали готовность массово отказаться от стандартной публикационной системы, о чем свидетельствует их энтузиазм в отношении препринтов. Научное сообщество увидело преимущества препринтов в скорости и прозрачности – и решилось, а за ним последовали и журналы, изменив свою политику так, чтобы статьи, вышедшие поначалу в виде препринтов, все еще принимались к публикации. Аналогичный спрос на открытый доступ, открытые данные и предварительную регистрацию тоже влияет на политику журналов.

Сцепка между требованиями снизу и правилами сверху может привести к возникновению положительных обратных связей – добродетельному кругу, создающему полезные самоподдерживающиеся нормы, а не порочные. Например, “Британская сеть воспроизводимости” (UKRN, UK Reproducibility Network), созданная научно-педагогическими работниками, обеспокоенными кризисом воспроизводимости, и представленная общественными организациями в университетах, в настоящее время обсуждает с этими университетами, как изменить практику найма сотрудников, чтобы поощрять открытость и прозрачность[791]. Такие усилия могут послужить противоядием к “естественному отбору плохой науки”, который мы обсуждали в предыдущей главе. Поощрение ученых, ценящих открытость и прозрачность, может создать свой собственный добродетельный круг: неуклонное увеличение числа специалистов, практикующих открытую науку, будет способствовать дальнейшим изменениям снизу и побуждать других исследователей присоединяться к движению и связанным с ним реформам. Это породит еще больше метанаучных работ, помогающих понять, какие виды исследований воспроизводятся, какие академические структуры содействуют проведению надежных исследований и к каким результатам нам в общем и целом следует относиться с подозрением[792].

Одобрение и уважение коллег прекрасно мотивируют, так что не стоит недооценивать и силу стыда. Страх быть осмеянным в интернете за глупые ошибки, проявление явной предвзятости или чрезмерное раздувание важности своих исследований должен служить веским основанием для перепроверки числовых данных и удержания собственных заявлений в рамках реальности[793]. Но не нужно концентрироваться исключительно