Стеклянная клетка. Автоматизация и мы - Николас Дж. Карр

История дает нам массу примеров, подтверждающих правоту Уайтхеда. Люди избавляются от монотонной рутины – физической и умственной, – сбрасывая ее на плечи различных орудий и приспособлений, начиная с изобретения рычага и колеса. Избавление от неблагодарного труда позволило нам энергично взяться за решение более сложных задач и добиться немыслимых ранее достижений. Это верно для сельского хозяйства, промышленности, науки и домашнего хозяйства. Но не стоит принимать рассуждения Уайтхеда за истину в последней инстанции. Он считал, что механизация приводила к монотонным, повторяющимся процессам: изготовлению тканей с помощью парового ткацкого станка, жатвы при использовании комбайна, умножению чисел с помощью логарифмической линейки. В наши дни автоматизация изменилась. Компьютеры можно программировать на выполнение сложнейших операций, состоящих из последовательности связанных между собой задач при одновременном учете множества переменных величин. Сегодня программы делают для нас интеллектуальную работу. Они наблюдают, анализируют и выносят суждение, а также принимают решения, что до недавних пор считалось исключительной прерогативой человека. Оператору, работающему на компьютере, оставлена роль высокотехнологичного клерка, вводящего данные, следящего за результатом работы и исправностью компьютера. Вместо того чтобы открывать новые горизонты мышления и творчества, автоматизация сужает наш кругозор. Наш ум, проницательность и уникальные дарования подменяются рутинными, неопределенными способностями.

Большинство из нас вслед за Уайтхедом считают автоматизацию благом, думают, будто она открывает перед нами более высокие цели, но в остальном нисколько не меняет наше поведение и мышление. Это заблуждение и самообман. Такое допущение нынешние специалисты по автоматизации называют «замещающим мифом». Устройства, сберегающие трудозатраты, не просто берут на себя какие-то отдельные компоненты рабочего процесса, а коренным образом меняют характер всей задачи целиком, включая роль и квалификацию людей, участвующих в ее решении. Доктор Раджа Парасураман, о котором говорилось выше, в 2000 году писал в одной журнальной статье: «Автоматизация не просто вытесняет человеческий труд, она видоизменяет его, причем так, как не желали и не предвидели создатели автоматических устройств» [3]. Автоматизация изменяет как труд, так и трудящегося.

Когда человек берется за решение какой-либо задачи с помощью компьютера, он может пасть жертвой двух когнитивных пороков: подчинения автомату и пристрастного отношения к автомату.

Подчинение автомату возникает, когда компьютер создает у нас ложное впечатление гарантированной безопасности. Мы так уверены в том, что машина при необходимости сработает безошибочно и справится с любой трудностью или нештатной ситуацией, что ослабляем внимание и перестаем следить за процессом. Мы отвлекаемся от работы или от той ее части, которую выполняет компьютерная программа, и в результате можем пропустить сигнал о каком-то неблагополучии. Многие из нас испытывали это подчинение при работе с компьютером. Например, мы невнимательно читаем написанный нами текст, если в компьютере есть программа исправления ошибок [4]. Это, конечно, мелкая погрешность, которая в худшем случае может вызвать у человека смущение. Но, как показывают приведенные нами примеры из авиации, такое подчинение машине может привести к трагическим, непоправимым последствиям. В самых крайних случаях компьютерной зависимости люди начинают настолько доверять технике, что теряют всякое представление о том, что происходит в реальности. Если внезапно возникает какая-то проблема, то она настолько ошеломляет человека, что он может растеряться, упустить драгоценное время и не справиться с ситуацией, так как не успевает в нее вникнуть.

Недопустимое подчинение автомату было документально зафиксировано во многих сопряженных с высоким риском ситуациях – будь то на полях сражений, в заводских цехах, на капитанских мостиках и в рубках надводных и подводных кораблей. Классический пример – авария океанского лайнера Royal Majesty с 1500 пассажирами на борту. Весной 1995 года судно шло от Бермудских островов в Бостон, завершая недельный круиз. Оно было оснащено суперсовременным навигационным оборудованием, в котором для прокладки курса использовали систему GPS. Через час после выхода из Бермудского порта был поврежден кабель антенны GPS и, как следствие, отказала навигационная система. На компьютерных экранах продолжала появляться какая-то абсолютно недостоверная информация. В течение 30 часов, пока корабль медленно, но верно отклонялся от заданного курса, ни капитан, ни экипаж не замечали возникшей проблемы, несмотря на то что были явные признаки выхода из строя системы навигации. В определенный момент вахтенный офицер не увидел сигнальный буй, мимо которого должно было в тот момент проследовать судно. Но вахтенный не доложил капитану об этом факте, решив, что просто пропустил буй, не заметив его. Пройдя еще 20 миль, корабль сел на мель у берега Нантакета. По счастью, никто из пассажиров не пострадал, но круизная компания понесла миллионные убытки. Правительственная комиссия пришла к выводу, что причиной несчастного случая стало подчинение автоматам. Команда судна «слепо положилась» на автоматизированную систему, причем до такой степени, что проигнорировала показания других навигационных средств и «визуальную информацию», которая четко говорила о том, что судно сбилось с курса. Члены комиссии пришли к выводу, что автоматические системы лишили моряков возможности осмысленного и активного участия в управлении судном [5].

Покорность автоматам может поразить не только людей, бороздящих морские и воздушные просторы, но и офисных работников. В исследовании, посвященном влиянию проектных программ на качество строительства, социолог из Массачусетского технологического института Шерри Теркл документально показала связанное с компьютеризацией изменение внимания архитекторов к деталям проектов. Если план здания выполнен от руки, то архитекторы проверяют и перепроверяют его, прежде чем передать строителям. Все прекрасно понимают, что человеку свойственно ошибаться, и поэтому следуют старому, мудрому принципу – семь раз отмерь, один раз отрежь. Если же план выполнен компьютером по заданной программе, то специалисты проверяют его не так придирчиво. Очевидная точность работы программ при расчетах приводит к тому, что эти данные заранее считают верными. «Я хочу сказать, что с моей стороны было бы большой самонадеянностью проверять работу компьютера, – сказала Шерри Теркл. – Он в тысячу раз превосходит меня в точности, выполняя расчеты с погрешностью до сотых долей дюйма». Такая слепая уверенность, характерная для многих инженеров и строителей, не раз приводила к дорогостоящим ошибкам в проектировании и строительстве. Компьютеры не делают глупостей, убаюкиваем мы себя, хотя прекрасно знаем, что качество их работы зависит от качества введенных человеком данных. «Чем совершеннее компьютерная система, – отмечает один из сотрудников Теркл, – тем больше уверенность в том, что она исправит ваши ошибки, и вы начинаете доверять всему, что появляется на экранах и в распечатках. Это какое-то животное чувство» [6].

Пристрастность к компьютерным данным – это оборотная сторона подчинения. Она возникает, когда люди придают неоправданное значение высвечивающейся на экране монитора информации. Даже если она неверна или вводит в заблуждение, люди все равно склонны ей верить. Уверенность в программном обеспечении оказывается настолько сильной, что мы игнорируем или отбрасываем другие источники информации, включая собственные суждения. Если вам когда-нибудь приходилось блуждать по незнакомому району, следуя указаниям неисправного или устаревшего GPS, то, значит, вы тоже пали жертвой пристрастия к данным автоматики. Даже люди, зарабатывающие на жизнь вождением автомобиля, часто проявляют поразительное отсутствие здравого смысла, полагаясь на спутниковые навигационные системы. Игнорируя дорожные знаки и другие значимые признаки, они выбирают опасные маршруты и порой врезаются в низкие эстакады или запутываются в узких улочках маленьких городков. В 2008 году в Сиэтле водитель автобуса высотой в 12 футов (около 4 метров), перевозившего школьную спортивную команду, врезался в пролет моста высотой в 9 футов. Крышу автобуса снесло от удара, в больницу с травмами попал 21 человек. В полиции водитель сказал, что следовал инструкциям навигатора и «не видел» знаки и предупреждающие сигналы о низком мосте [7].