Сигнал и Шум. Почему одни прогнозы сбываются, а другие - нет - Нейт Сильвер

Как можно измерить и предсказать такое качество, как «полезность», порой кажущееся нам субъективным? Если ваш запрос выглядит как лучший новый мексиканский ресторан, то означает ли он, что вы планируете поездку в Альбукерке? Или вы ищете недавно открытый мексиканский ресторан? Или то, что вам нужен мексиканский ресторан, подающий блюда в стиле Nuevo Latino? Может быть, вам стоило перефразировать свой запрос, но, раз вы этого не сделали, Google может собрать группу из 1000 человек, сделавших тот же запрос, показать им различные наборы веб-страниц, а затем попросить их оценить полезность каждого набора по шкале от 0 до 10. После этого Google будет показывать вам только ссылки на страницы, расположенные по порядку среднего рейтинга, начиная с самого высокого.

Разумеется, Google не может проводить подобное изучение каждого поискового запроса, особенно, учитывая, что количество ежедневных запросов составляет сотни миллионов. Но, как сказал мне Вариан, тестирование определенного репрезентативного набора запросов осуществляют специалисты-оценщики. Затем сотрудники компании определяют, какие статистические показатели лучше всего коррелируют с человеческими суждениями уместности и полезности вносимых изменений. Самым известным из статистических показателей Google является PageRank{651} – показатель, основанный на том, как много других веб-страниц ссылаются на ту, которая может оказаться для вас полезной. Однако PageRank – это всего лишь один из двух сотен сигналов, используемых Google{652} для аппроксимации суждений специалистов-оценщиков.

Конечно же, эта задача далеко не проста – компания использует около 200 сигналов для оценки практически безграничного набора возможных поисковых запросов. Вот почему Google уделяет так много внимания экспериментам и тестированию. Продукт, известный вам как поисковая машина Google, несмотря на все свои текущие плюсы, уже завтра может выглядеть немного иначе.

Успешной эту компанию делает способ, благодаря которому ей удается совмещать свою приверженность тестированию со свободной и креативной культурой. Сотрудники Google имеют массу стимулов, способствующих тому, чтобы делать все то, что людям удается лучше компьютеров, – придумывать огромное количество идей. Затем Google использует свои огромные массивы данных, чтобы протестировать все эти идеи. От большинства из них компания отказывается достаточно быстро, но лучшие из них выживают.

Компьютерные программы играют в шахматы именно таким образом, то есть исследуют почти все возможные варианты с определенной степенью глубины, однако концентрируют свои ресурсы на самых многообещающих направлениях. Это вполне можно считать байесовским процессом: Google всегда находится на старте, уточняя свои поисковые алгоритмы, и никогда не считает их доведенными до совершенства.

В большинстве случаев мы не можем тестировать свои идеи так же быстро, как Google, которая практически мгновенно получает обратную связь от сотен миллионов пользователей со всего мира. Нет у нас и такого же доступа к суперкомпьютеру, как у инженеров Deep Blue. Прогресс будет развиваться значительно более медленными темпами.

Тем не менее лучшим способом ускорения процесса обучения может считаться тестирование самих себя – то есть изучение того, насколько хорошо наши предсказания работают в реальном мире, а не в комфортных условиях статистической модели.

Во многих случаях главное технологическое ограничение – это мы сами. Медленный и постепенный марш человеческой эволюции идет не в ногу с технологическим прогрессом – эволюция развивается тысячелетиями, а вычислительная мощность удваивается примерно каждые два года.

Для наших предков, живших в пещерах, было бы крайне полезно иметь хорошие, а то и почти гиперактивные навыки распознавания закономерностей, то есть умение за считаные доли секунды понять, вызван ли шелест листвы ветром или крадущимся медведем-гризли. В наши дни в быстро развивающемся мире, купающемся в цифрах и статистике, эти же тенденции способны принести нам немало проблем: видя случайные наборы цифр, мы начинаем искать закономерности там, где их нет (лукавые деятели рекламы и политики часто охотятся за участками нашего мозга, отвечающими за эти функции).

Однако в шахматах все закончилось хорошо. Хотя Каспаров и программисты Deep Blue воспринимали друг друга как антагонистов, они вместе дали нам новое понимание того, какую роль могут играть вычислительные мощности компьютеров и человеческая изобретательность в деле предсказания.

На самом деле лучшая шахматная партия разыгрывается сейчас не между отдельными людьми и машинами{653}. В 2005 г. сайт ChessBase.com организовал «фристайловый» шахматный турнир – игроки могли использовать в процессе игры любые компьютерные программы и просить совета через интернет. И несмотря на то что в турнире приняло участие несколько гроссмейстеров, выиграли его не сильнейшие игроки и не те, кто использовал самые продвинутые программы, а пара 20-летних любителей из Нью-Гемпшира – Стивен Крэмтон и Хакари «ЗакС» Стивен. Чтобы сделать оптимальный следующий ход, они использовали три компьютерные программы{654}. Крэмтон и Стивен победили, потому что не боялись технологий и не злоупотребляли ими. Они знали сильные и слабые стороны каждой программы и действовали скорее не как игроки, а как тренеры.

Стоит осторожно относиться к фразам типа «по мнению компьютера, Yankees выиграют ежегодный чемпионат США по бейсболу». Если эта фраза представляет собой аналог более точной фразы («исход работы компьютерной программы показывает, что Yankees выиграют ежегодный чемпионат США по бейсболу»), то эту фразу можно считать правильной. При всем богатстве информации в мире нам, безусловно, поможет наличие машин, способных делать расчеты значительно быстрее, чем мы сами.

Но если вам кажется, что прогнозист имеет в виду иное и воспринимает компьютер как чувствующее существо, а модель – как обладающую независимым мышлением, то это может означать, что он сам недостаточно глубоко задумывается о происходящем. И его искажения, предубеждения и слепые пятна обязательно проявятся в созданной им компьютерной программе.

Мы должны рассматривать технологию так, как это было всегда, – инструментом для улучшения жизни человека. Нам не стоит ни бояться технологии, ни поклоняться ей, как святыне. Никто пока не создал и, возможно, не создаст компьютер, думающий как человеческое существо{655}. Однако компьютеры сами по себе представляют отражение человеческого прогресса и человеческой изобретательности – вряд ли можно считать «искусственным интеллектом» то, что создано интеллектом человека.