Сигнал и Шум. Почему одни прогнозы сбываются, а другие - нет - Нейт Сильвер

В течение 2011 г. игроки из списка PECOTA обеспечили 546 побед своим командам высшей лиги (рис. 3.3). Однако игроки из списка Baseball America показали еще более высокие результаты, обеспечив 630 побед. Хотя суждение скаутов иногда бывает искаженным, в данном случае оно оказалось полезным – их прогнозы оказались на 15 % лучше тех, что были сделаны на основе одной лишь статистики. Хотя такое различие может показаться не очень значительным, однако это не так. Бейсбольные команды готовы платить по 4 млн долл. за каждую удачную находку на рынке спортсменов-профессионалов, не связанных контрактом{219}. Таким образом, скауты обошли нас за этот период примерно на 336 млн долл.[53].

Рис. 3.3. Достижения кандидатов из списков 100 лучших потенциальных игроков, составленных в 2006 г. системой PECOTA и Baseball America, к 2011 г.

Конечно, было бы здорово, если бы список PECOTA оказался более точным, чем тот, что был составлен на основе мнений скаутов, но я не ожидал, что так может произойти. Через некоторое время после их публикации я написал{220}:

Исходным «сырьем» для любой системы ранжирования служит информация – а если у вас была возможность изучить и скаутинговую, и статистическую информацию, значит, вы получили больше такого «сырья». Единственная возможность для чисто статистического подхода переиграть смешанный заключается в том, что вызываемые смешанным подходом предубеждения порой оказываются настолько сильными, что перевешивают преимущества.

Иными словами, скауты используют смешанный подход. Они имеют доступ к широкой информации, не ограничивающейся статистикой. И скауты, и PECOTA могут без проблем изучать личные достижения, или ERA[54] игрока; не имеющая предубеждений система типа PECOTA может немного лучше отсеивать какую-то часть шумов из этих данных и выдавать их в более правильном контексте. Однако скауты имеют доступ к огромным массивам информации, о которой PECOTA не имеет ни малейшего представления. Допустим, вместо того чтобы гадать о том, насколько велика сила броска питчера, они могут просто достать лазерный радар и замерить скорость мяча или же использовать секундомер, чтобы оценить, насколько быстро он перебегает с базы на базу.

Этот тип информации позволяет нам сделать еще один шаг в сторону глубинных причин того, что мы пытаемся предсказать. В низших лигах питчеры даже со слабой силой броска могут нащупать успешную зону; большинство противостоящих ему подающих довольно неумелы, поэтому он вполне может их переиграть. В высших лигах, где отбивающие способны парировать мяч, летящий со скоростью до 120 км/ч, шансы таких питчеров невелики. PECOTA может быть дезинформирована подобными данными, но это никогда не произойдет с умелым скаутом. И наоборот, скаут может выявлять игроков, обладающих талантом на уровне высшей лиги, для развития которых может потребоваться время.

Нужно, впрочем, отметить, что каждый раз, когда в процесс вовлекается человеческое суждение, возникает и потенциал для предубеждения. Как мы видели в главе 2, увеличение объема информации способно лишь ухудшить ситуацию для тех, кто неправильно относится к прогнозам и пытается навязать свою точку зрения на то, как устроен мир, вместо того чтобы попытаться познать истину.

Возможно, в эре, предшествовавшей «Moneyball», эти предубеждения играли на руку скаутам. Они могли уделять больше внимания эстетике игры, чем таланту игрока. Если свежие списки Baseball America можно считать очень хорошими, то списки начала 1990-х{221} были переполнены огромным количеством несбывшихся прогнозов – достаточно вспомнить таких превозносившихся игроков, как Тодд Ван Поппел, Рубен Ривера и Браен Тейлор, которым так и не удалось добиться серьезных результатов.

Однако свои предубеждения могут иметься и у статистиков. Одним из самых пагубных может считаться предположение о том, что все, что не поддается количественной оценке, не имеет большого значения. Например, в бейсболе измерять результативность защиты всегда было намного сложнее, чем эффективность броска или отбития мяча. В середине 1990‑х команда Oakland A’s не обращала особого внимания на защиту, и ее деятельность во внешнем поле направлялась довольно медлительными и неуклюжими игроками типа Матта Стрейерса, который, однако, мог считаться прирожденным подающим. По мере улучшения анализа действий защиты стало очевидным, что плохая защита команды стоила ей от восьми до десяти побед за сезон{222}. Это не позволяло им занимать достойные позиции в чемпионате вне зависимости от статистики удачных ударов по мячу. Бин уловил суть проблемы, и его новые и успешные команды имеют сравнительно хорошую защиту.

Подобные слепые места могут привести к еще бо́льшим проблемам, когда речь заходит о прогнозировании результатов игроков низшей лиги. Когда мы говорим об игроке высшей лиги, главный вопрос состоит в том, сможет ли он показывать такие же хорошие результаты, как в прошлом. Самые толковые системы статистического прогнозирования могут выявить восходящий или нисходящий тренд величиной всего в несколько процентных пунктов{223}. Однако если вы просто предположите, что игрок покажет примерно те же результаты, что и в два предшествовавших сезона, то несильно ошибетесь.