Голая статистика. Самая интересная книга о самой скучной науке - Чарльз Уилан

Любой статистический индекс обладает всеми потенциальными подводными камнями, характерными практически для каждой описательной статистики, – плюс искажения, вносимые вследствие объединения нескольких индикаторов в единое обобщающее число. Любой индекс по определению зависит от того, как именно он сконструирован; на него оказывает влияние и то, какие показатели в него входят, и то, какой весовой коэффициент присвоен каждому из этих показателей. Почему, например, рейтинг пасующего, которым принято оценивать эффективность пасующих в NFL, не включает какой-либо показатель «завершений с третьей попытки»? Если же мы говорим об индексе развития человеческого потенциала (Human Development Index), то каким должен быть вес уровня грамотности населения в этом индексе по сравнению с уровнем дохода на душу населения? И наконец, еще один немаловажный вопрос: должны ли простота и легкость применения, обеспечиваемые объединением многих показателей в одно число (индекс), иметь для нас большее значение, чем неточность, внутренне присущая такому объединению? Подчас приходится давать отрицательный ответ на этот вопрос, что возвращает нас (как и было обещано выше) к рейтингам высших учебных заведений, приведенным в журнале U.S. News & World Report (USNWR).

Для определения рейтингов USNWR используются шестнадцать показателей, с помощью которых оцениваются и распределяются в рейтинге по местам американские колледжи, университеты и профессиональные учебные заведения. Например, в рейтинге национальных университетов и гуманитарных колледжей за 2010 год на долю такого показателя, как «избирательный подход к приему в учебное заведение», приходилось 15 % этого индекса; данный показатель, в свою очередь, вычислялся на основе нормы приема для той или иной школы, доли поступивших студентов, которые в выпускном классе своей школы входили в «лучшие 10 %», а также средних баллов SAT[16] и ACT[17] поступивших студентов. Преимущество рейтингов USNWR заключается в том, что они позволяют простым и доступным способом получить исчерпывающую информацию о тысячах учебных заведений. Даже критики вынуждены согласиться с тем, что большой объем информации об американских колледжах и университетах представляет немалую ценность. Потенциальные студенты должны знать о месте того или иного учебного заведения в рейтинге и средней величине учебной группы.

Разумеется, предоставление значимой информации имеет мало общего с ее объединением в общий индекс, который претендует на авторитетность. По мнению критиков, такие рейтинги неуклюже сконструированы, способны вводить в заблуждение и вредить долгосрочным интересам студентов. «Проблема в том, что это – не более чем перечень, в котором каждому учебному заведению присвоен определенный порядковый номер. Данные, на основе которых он определяется, не обеспечивают требуемой точности», – говорит Майкл Макферсон, бывший президент Макалистерского колледжа в Миннесоте{21}. Почему на долю пожертвований выпускников в пользу своего бывшего учебного заведения приходится 5 % его рейтинга? И если этот показатель так важен, то почему на его долю не приходится, например, 10 %?

Согласно U.S. News & World Report, «каждому показателю на основе наших собственных представлений о его важности присваивается определенный весовой коэффициент (выраженный в процентах)»{22}. Представления – это что-то одно, а произвол и субъективизм – нечто другое. Показателем, имеющим в рейтинге национальных университетов и гуманитарных колледжей самый большой вес, является «научная репутация». Она определяется исходя из «опроса представителей научного сообщества» (анкету заполняют администраторы других колледжей и университетов) и опроса консультантов-психологов, работающих в школах. Критикуя рейтинги, публикуемые U.S. News & World Report, Малкольм Гладуэлл в пух и прах разносит (правда, с изрядной долей юмора) методологию «опроса представителей научного сообщества». Он цитирует опросник, разосланный бывшим председателем Верховного суда штата Мичиган примерно сотне юристов, в сопроводительном письме к которому тот просит юристов расположить десять юридических учебных заведений в порядке убывания их качества. Одним из таких вузов в списке был указан Пенсильванский университет: юристы поместили его примерно в середину перечня. Фишка в том, что на тот момент Пенсильванский университет не имел юридического факультета{23}.

Какими бы обширными ни были собранные данные, вовсе не факт, что рейтинги USNWR измеряют именно то, что должно интересовать потенциальных студентов: какой объем знаний можно получить в том или ином учебном заведении. Футбольные болельщики могут спорить по поводу показателей, входящих в состав индекса распасовщика, но никто из них не станет отрицать того, что составные части этого индекса – коэффициент удачного завершения, среднее число ярдов на каждую попытку паса, процент тачдаун-пасов на каждую попытку паса и коэффициент перехватов мяча – важная составляющая эффективности действий куортербека. Это вовсе не обязательно относится к критериям USNWR, большинство из которых фокусируется на исходных данных (например, какого рода учащихся принимают в учебное заведение, каков уровень оплаты преподавателей, какой процент штатных преподавателей), а не образовательных результатах. Двумя важными исключениями являются процент студентов первого курса, продолживших обучение, и процент выпускников, но даже они не позволяют оценить объем знаний, полученных студентом за время учебы. Как указывает Майкл Макферсон: «В действительности из рейтингов U.S. News & World Report невозможно понять, насколько за четыре года учебы в колледже или университете студенты фактически увеличили свои знания или развили способности».

Все это было бы довольно безобидным занятием, если бы его инициаторы не поощряли действия, не всегда направленные на благо учащихся и учебных заведений. Например, одним из статистических показателей, используемых для вычисления рейтингов, является величина финансовых ресурсов, выделяемых на обучение одного студента; проблема в данном случае – в отсутствии показателя, позволяющего оценить эффективность использования этих финансов. Учебное заведение, меньше расходующее средств в расчете на одного студента, автоматически ухудшает свой рейтинг даже в случае, если эти средства распределяются гораздо эффективнее, чем в других колледжах или университетах. Кроме того, колледжи и университеты заинтересованы в подаче документов как можно большим количеством абитуриентов – в том числе и теми, у кого практически нет шансов пройти по конкурсу, – поскольку высокий конкурс при поступлении также свидетельствует о престижности учебного заведения. Это оборачивается напрасной тратой ресурсов учебными заведениями и бесполезными затратами времени теми абитуриентами, которые изначально не имели никаких шансов на поступление.