Доказательная медицина. Что, когда и зачем принимать - Кирилл Галанкин

В 2005 году в Массачусетском технологическом институте (США) была создана «развлекательная» компьютерная программа SCIgen, генерирующая случайные тексты, напоминающие научные статьи. Фейковые статьи создавались со всеми положенными атрибутами – иллюстрациями, диаграммами, графиками, цитатами и примечаниями. Продукция SCIgen была качественной, на первый взгляд она не выглядела полной белибердой, отдельные фразы имели какой-то смысл. «Научная статья» под названием «Rooter: A Methodology for the Typical Unification of Access Points and Redundancy» была опубликована в материалах Мировой мультиконференции по системам, кибернетике и информатике (World Multiconference on Systemics, Cybernetics and Informatics, сокращенно WMSCI), а ее авторов пригласили выступить с докладом. Раскрытие мистификации нанесло сильный удар по престижу WMSCI и лишило эту организацию субсидий.

В России аналогичный опыт был проделан в 2008 году. Коллектив газеты «Троицкий вариант» во главе с известным отечественным биоинформатиком Михаилом Гельфандом перевел упомянутую выше статью на русский язык, подверг доработке и от имени несуществующего аспиранта Михаила Жукова из несуществующего Института информационных проблем РАН отправил для публикации в «Журнал научных публикаций аспирантов и докторантов». Это издание брало с авторов плату за публикацию в размере 4500 рублей за статью. Надо сказать, что такой факт уже сам по себе является настораживающим в отношении качества публикаций[69]. Статья под названием «Корчеватель: Алгоритм типичной унификации точек доступа и избыточности» получила положительный отзыв рецензента и была опубликована в журнале. Публикация, получившая широкую огласку, привела к тому, что «Журнал научных публикаций аспирантов и докторантов» был исключен из Перечня рецензируемых научных изданий, рекомендованных Высшей аттестационной комиссией Российской Федерации для опубликования основных научных результатов диссертации на соискание ученой степени кандидата и доктора наук.

Гельфанд благородно расставил в статье множество «маячков», свидетельствующих о ее абсурдности. Так, например, отношение сигнал/шум[70], измерялось в нанометрах, время – в цилиндрах (!), а латентность – в градусах Цельсия. Кроме этого в статье содержалась благодарность «профессору М. С. Гельфанду, привлекшему мое внимание к проблеме публикации случайных текстов». В приложенном к статье списке литературы присутствовали авторы по фамилии Gayson (что в переводе с английского означает «сын гея») и Softporn («мягкое порно»). Но не один «маячок» не был замечен ни редакцией журнала, ни рецензентом. Делайте выводы…

Надо сказать, что подобные мистификации, демонстрирующие низкое качество, а то и отсутствие рецензирования научных статей в отдельных изданиях, имели место и до появления программы SCIgen. Так, например, профессор физики Алан Сокал из Нью-Йоркского университета в конце 1994 года опубликовал в американском научном журнале «Social Text» пародийно-сатирическую статью под названием «Преступая границы: К вопросу о трансформативной герменевтике квантовой гравитации» («Transgressing the Boundaries: Towards a Transformative Hermeneutics of Quantum Gravity»).

Совсем недавно американские ученые Питер Богоссян, Джеймс Линдси и Хелен Плакроуз написали статью «Наша борьба – моя борьба», якобы посвященную тематике феминизма. Статья была принята к публикации американским рецензируемым научным журналом «Аффилиа» (Affilia: Journal of Women and Social Work). Пикантность ситуации заключалась в том, что «Наша борьба – моя борьба» представляла собой слегка отредактированную первую главу книги Адольфа Гитлера «Майн кампф». Факт принятия к публикации такой статьи явственно свидетельствовал о том, что ее никто не читал, в том числе и рецензент – посмотрели на название и решили, что подходит. А статья тех же авторов «Человеческие реакции на культуру изнасилования и квир-проявления[71] на городских собачьих площадках в Портленде, штат Орегон» не только была принята к публикации научным журналом «Пол, место и культура» («Gender, Place & Culture: A Journal of Feminist Geography») но и вошла в число лучших работ по феминистской географии в номинации этого издания. Тут, скорее всего, никто не вчитывался даже в название. «Человеческие реакции на культуру изнасилования» – это уже нечто абсурдное, а в сочетании с городскими собачьими площадками в Портленде – так вообще бредовое.

Подобные опыты показали, что проблем с рецензированием научных статей хватает и не все якобы рецензируемое на самом деле является таковым. В последнее время проблемы пытаются решить за счет энтузиастов. Создаются сетевые сервисы, на которых любой желающий может давать оценку научным статьям, издания приглашают рецензентов-волонтеров. Количество штатных рецензентов, получающих оплату за свой труд, ограничивается бюджетом, а вот волонтеров может быть сколько угодно. Волонтерство позволяет решить сразу две проблемы научного рецензирования. Во-первых, массовое рецензирование более объективно, чем «узкое». Во-вторых, наличие большого количества рецензий увеличивает популярность работы. Можно добавить к сказанному еще одно преимущество массового рецензирования. Оно сводит к минимуму вероятность конфликта между авторами работ и рецензентами. Одно дело, если негативный отзыв дал один рецензент, и другое, если рецензентов было тридцать, пятьдесят или сто. Научный мир тесен, и многим его обитателям не хочется портить отношения с коллегами, поэтому они соглашаются заниматься рецензированием только при условии анонимности или же полной закрытости, когда рецензии не идут дальше редакции издания.

Возможно, что когда-нибудь дело дойдет до того, что любая статья будет получать оценку множества рецензентов, но пока еще движение массового рецензирования делает первые шаги. Объективности ради, надо сказать, что на научное волонтерство вряд ли стоит возлагать особые надежды. Рецензирование научных трудов – это кропотливая умственная работа, требующая опыта и знаний, а такую работу не очень-то хочется делать на общественных началах. Да и не всякую статью можно рецензировать массово, ведь квалифицированных экспертов в некоторых областях можно буквально пересчитать по пальцам. И далеко не каждый специалист может быть хорошим, объективным рецензентом, ведь хороший рецензент должен уметь абстрагироваться от своего «я» для того, чтобы представить себя на месте коллеги, работе которого предстоит дать оценку.

Рецензирование научных публикаций – очень полезный и удобный инструмент, но не идеальный. На сегодняшний день у читателей есть только один выход – слово «рецензируемый» нужно соотносить с репутацией издания, а также с тем, берет ли это издание плату с авторов за публикацию их работ. Необходимо оговорить, что сам по себе факт взимания платы с авторов статей не является порочащим фактом, потому что так могут поступать и весьма уважаемые издания с хорошей репутацией и ограниченным финансированием. Но если репутация у издания не ахти какая, да еще и деньги с авторов берутся, то это уже сигнал, наводящий на определенные размышления…