Стеклянная клетка. Автоматизация и мы - Николас Дж. Карр

Погрешности в данных и алгоритмах могут сделать профессионалов, да и нас, простых смертных, жертвами наиболее злокачественной формы пристрастного отношения к данным автоматизированных систем. «Угроза заключается в том, что мы позволим себе бездумно положиться на результаты анализа, несмотря на возможность обдумать и понять, что в этих результатах что-то пропущено, – предостерегают Виктор Майер-Шенбергер и Кеннет Цукер в своей книге “Большие данные”, вышедшей в 2013 году. – Или мы можем приписать истинность данным, которые этого не заслуживают» [49]. Особая форма риска, связанного с использованием алгоритмов, вычисляющих корреляции, обусловлена тем, что они работают с данными о прошлом, чтобы предсказать будущее. В большинстве случаев поведение в будущем совпадает с нашими ожиданиями, и алгоритм работает, опираясь на уровень вероятности. Однако в тех редких случаях, когда условия отклоняются от предписанного алгоритмом образца, он может выдать абсолютно неверный прогноз. Такие случаи уже не раз приводили к катастрофам компьютеризированных хеджевых фондов и брокерских фирм. При всех своих дарованиях компьютеры до сих пор демонстрируют пугающее отсутствие здравого смысла.

Чем больше мы предаемся, по выражению ученого из корпорации Microsoft Кейт Кроуфорд, «цифровому фундаментализму» [50], тем сильнее становится искушение обесценить таланты, недоступные компьютерной имитации. Мы так сильно доверяем программным продуктам, что не придаем значения человеческой способности использовать знания, полученные из реального опыта, способные привести к оригинальным творческим решениям. Как показывают некоторые непредвиденные последствия внедрения электронного ведения документации в медицине, шаблоны и формулы неизбежно ведут к упрощенчеству и очень быстро становятся смирительной рубашкой для клинического мышления. Начиная с шестидесятых годов вермонтский врач и ученый Лоуренс Уид был горячим и красноречивым поборником использования компьютеров в медицине, так как они, по его мнению, могли помочь врачам принимать адекватные и осознанные решения [51]. Уида называют даже отцом электронного ведения медицинской документации. Однако теперь даже он предупреждает: «Нынешнее бездумное использование статистических знаний в медицине систематически вытесняет индивидуализированное знание и данные, действительно необходимые для лечения больных» [52].

Еще глубже тревога Гэри Клейна, психолога, изучающего механизмы принятия решений человеком. «Принуждая врачей следовать строгому набору правил, доказательная медицина может затормозить научный прогресс, – пишет Клейн. – Если больницы и страховые компании будут обязаны вводить электронные записи под угрозой судебного преследования, если неблагоприятные исходы лечения станут увязывать с малейшими отклонениями от утвержденных методов, то врачи, соединяющие в своей практике опыт и склонность к исследованиям, перестанут творчески подходить к своему делу и утратят интерес к совершению открытий» [53].

Если мы не проявим разумную настороженность, то автоматизация умственного труда, исказив природу и цель интеллектуального поиска, может подорвать саму основу нашей культуры: стремление познать мир. Алгоритмы прогнозирования могут творить сверхъестественные чудеса в обнаружении корреляций, но они абсолютно слепы и глухи к причинам наблюдаемых признаков и явлений. Но ведь именно раскрытие причин – методичное распутывание проблем, связанных с механизмами того или иного процесса, – расширяет границы человеческого познания. Если мы дойдем до того, что будем считать автоматизированное вычисление вероятностей достаточным средством достижения наших профессиональных и общественных целей, то рискуем потерять или, в лучшем случае, ослабить наше стремление искать объяснения, находить неизведанные пути, ведущие к мудрости и чуду. Зачем все эти хлопоты, если компьютер готов выдать ответ через одну или две миллисекунды?

В эссе «Рационализм в политике», опубликованном в 1947 году, британский философ Майкл Окшотт живо описал современного рационалиста: «В его сознании нет атмосферы, нет смены времен года и колебаний температуры; все его мыслительные процессы изолированы от любых внешних воздействий и протекают в пустоте. …Рационалист не интересуется ни культурой, ни историей; он не оттачивает и не проявляет личную точку зрения. Его мышление примечательно лишь быстротой, с какой он сводит богатство и разнообразие опыта к формуле» [54]. Этими словами Окшотта можно превосходно воспользоваться для описания компьютерного интеллекта: он невероятно практичен и производителен, но при этом полностью лишен любопытства, воображения и связи с окружающим миром.

Островок Иглулик, вблизи полуострова Мелвилл на территории района Нунавит в Северной Канаде, ошеломляет своей природой в зимнее время года. Средняя температура воздуха составляет –20 °C. Море покрывается толстым слоем льда, солнце на несколько месяцев уходит за горизонт. Несмотря на эти суровые условия, эскимосские охотники вот уже четыре тысячи лет регулярно покидают свои дома и уходят в зимнюю тьму, чтобы, преодолев много миль по льдам и тундре, отыскать карибу или другую дичь. Способность этих охотников ориентироваться в голых просторах Арктики, где почти нет видимых ориентиров, снежные наносы, постоянно перемещающиеся с места на место, ветер, за ночь заметающий все следы, поражают белых путешественников и ученых. В 1822 году английский исследователь Вильям Эдвард Парри отметил в своем дневнике удивительную точность географических знаний его эскимосского проводника [1]. Экстраординарные следопытские навыки эскимосов не связаны с технологическими достижениями, они не пользовались картами, компасами и другими навигационными инструментами, а ориентировались на местности, опираясь на направления ветров, поведение животных, положение звезд, регулярность приливов и морские течения.

По крайней мере, раньше они ориентировались именно так. На рубеже нового тысячелетия в эскимосской культуре произошли определенные изменения. В 2000 году правительство США сняло для частных лиц ограничения в пользовании системой глобального позиционирования (GPS). Точность работы приборов GPS неуклонно повышалась, но, несмотря на это, цены на них постоянно снижались. Охотники Иглулика уже давно поменяли свои нарты на аэросани, во время охоты стали ориентироваться по электронным картам и компасу. Особенно сильным желание познакомиться с новой техникой было у молодых эскимосов. В прошлом, чтобы стать охотником, приходилось долго учиться у старших искусству находить дорогу в суровых арктических условиях. Тяжелое ученичество продолжалось много лет. Приобретя дешевый GPS-навигатор, молодой эскимос мог теперь избежать трудностей обучения, переложив ответственность за нахождение пути на электронный прибор. Мало того, теперь можно было отправляться на охоту даже в густой туман, что прежде считалось решительно невозможным. Простота, удобство и точность автоматической навигации привели к исчезновению старого искусства.

Однако по мере распространения GPS-навигаторов среди эскимосов стали одновременно учащаться случаи серьезных происшествий на охоте, заканчивавшихся тяжелыми травмами и даже смертью. Причина в том, что люди слепо полагались на спутниковую навигацию. Если приемное устройство выходило из строя или на морозе садились батарейки, то охотник, не имеющий старых навыков ориентации в однообразной снежной пустыне, терялся и замерзал, не найдя дороги домой. Были и другие опасности. Дороги, скрупулезно проложенные на электронных картах, могут привести к опасной прямолинейности. Доверяя инструкции GPS, можно направить скоростные аэросани на тонкий лед, врезаться в торосы или попасть в иную неприятную ситуацию, которую более опытные охотники избегают, почуяв опасность шестым чувством. Некоторые из этих проблем найдут свое решение в результате улучшения конструкции приборов и написания более подробных инструкций пользования ими. Но при всем этом будет безвозвратно утеряно то, что один из эскимосских старейшин называет «мудростью и знанием эскимосского народа» [2].