Стеклянная клетка. Автоматизация и мы - Николас Дж. Карр

Пристрастное отношение к компьютерным данным особенно рискованно для людей, принимающих решения на основании аналитических и диагностических компьютерных рекомендаций. С конца девяностых рентгенологи стали использовать программное обеспечение для выявления подозрительных очагов, обнаруженных при маммографии и других рентгенологических исследованиях. Цифровая версия изображения передается в компьютер, программа анализирует его и стрелками указывает врачу области рентгенограммы, на которые следует обратить особенно пристальное внимание. В некоторых случаях такие подсказки действительно способствуют верной диагностике, помогая врачу идентифицировать потенциальный рак в случаях, когда иначе он мог бы пропустить опасное заболевание. Проведенные на эту тему исследования показали, однако, что иногда такие подсказки производили абсолютно противоположный эффект. Идя на поводу у машины, врач лишь бегло осматривает другие области снимка и иногда пропускает угрожающую жизни больного опухоль или иную патологию. Подсказки увеличивают частоту ложноположительных результатов интерпретации снимков, приводящей к ненужным биопсиям.

Проведенный недавно группой специалистов Лондонского университета (University of London) анализ данных маммографий указывает на то, что пристрастное отношение рентгенологов и других специалистов по методам визуализации к компьютерным данным оказывает большее влияние на качество диагностики, чем думали раньше. Ученые обнаружили, что, в то время как компьютерная диагностика повышает надежность работы недостаточно опытных специалистов в выявлении сравнительно простых случаев, она же может подвести опытного рентгенолога при оценке сложных случаев. Полагаясь на программу, специалисты с довольно большой вероятностью пропускают некоторые типы рака [8]. Скрытое пристрастие к автоматизации принятия решений может быть обусловлено врожденным свойством когнитивных систем человеческого мозга реагировать на необычные и тревожные стимулы [9]. Направляя наше внимание в определенное русло, компьютерные подсказки искажают зрительное восприятие снимка.

Подчинение и пристрастие в отношении компьютерных данных и автоматизации вообще порождаются ограниченностью нашей способности концентрировать внимание. Тенденция к подчинению говорит о том, насколько легко исчезает наша сосредоточенность и осознание происходящего, когда отпадает необходимость непосредственного взаимодействия с окружающей реальностью. Склонность к пристрастному отношению в оценке компьютерной информации показывает, что внимание сосредоточивается выборочно и его объект может легко смещаться под влиянием достойных доверия подсказок, даже если они оказались ложными. Пристрастие становится все больше по мере того, как повышается надежность и качество автоматизированных систем [10]. Эксперименты показывают, что если система регулярно совершает ошибки, то мы сохраняем бдительность, следя за ее работой, проверяя ее сравнением данных с информацией, полученной из других источников. Но, если система надежна и редко отказывает, мы становимся ленивыми и нелюбопытными, убеждаясь в ее непогрешимости.

Так как автоматика в подавляющем большинстве случаев работает нормально даже тогда, когда мы перестаем за ней следить, мы редко расплачиваемся за подчинение и пристрастие. Это усложняет проблему, как отметил Парасураман в написанной в 2010 году совместно со своим немецким коллегой Дитрихом Манцем статье: «Учитывая высокую надежность автоматизированных систем, даже подчиненное и крайне пристрастное поведение редко приводит к неблагоприятным последствиям, – пишут ученые. – Отсутствие отрицательной обратной связи ведет к когнитивному процессу, который напоминает “приобретенную беззаботность”» [11]. Представьте себе, что вы ведете машину, испытывая сильную сонливость. Если вы начнете клевать носом и выпадете из своего ряда, то либо вы налетите на бордюр, либо въедете на разграничительную полосу, либо услышите сигнал рассерженного водителя следующей сзади машины. В любом случае вы немедленно проснетесь. Если же ваш автомобиль снабжен автоматическим устройством, следящим за разметкой на дороге, то вы проигнорируете эти предупреждающие сигналы и погрузитесь в еще более глубокий сон. Если произойдет что-то неожиданное – на дорогу выбежит какое-нибудь животное или перед вами внезапно резко остановится едущий впереди автомобиль – то вы, скорее всего, попадете в серьезное ДТП. Избавляя нас от отрицательной обратной связи, автоматизация притупляет бдительность, и мы все больше и больше отключаемся от реальности.

Наша подверженность подчинению и пристрастию позволяет объяснить, как вера в автоматизацию может привести к ошибкам – активным и пассивным. То есть мы либо действуем, полагаясь на неверную или неполную информацию, либо не видим важных вещей. Однако доверие, которое ослабляет внимательность, указывает и на более коварную проблему. Автоматизация превращает нас из актеров в зрителей. Вместо того чтобы работать штурвалом, мы следим за монитором. Это смещение делает нашу жизнь проще, но подавляет способность обучаться и приобретать опыт. Не важно, улучшает или ухудшает автоматизация выполнение определенной задачи, но в долгосрочной перспективе она может ослабить существующие навыки и воспрепятствовать усвоению новых.

С конца семидесятых годов специалисты по когнитивной психологии занимаются феноменом, называемым «эффектом порождения». Впервые он был выявлен при работе с активным словарем. Психологи тогда показали, что люди намного лучше запоминают слова, если активно их осмысливают, нежели когда читают с листа. В ранних опытах, проведенных психологом из университета Торонто Норманом Сламечкой, людей просили запоминать пары антонимов, написанных на двух сторонах карточки, например слова горячий и холодный. Некоторым испытуемым давали карточки, на которых слова были написаны полностью. Например, так:

ГОРЯЧИЙ – ХОЛОДНЫЙ

Другим испытуемым давали карточки, где второе слово было представлено одной только первой буквой. Например, так:

ГОРЯЧИЙ – Г

Испытуемые, получавшие карточки второго типа, при проверке запоминания показывали намного лучшие результаты. Им приходилось прикладывать усилие для того, чтобы восполнять недостающие буквы, то есть они действовали, а не просто наблюдали, а это приводило к более надежному сохранению информации [12].

С тех пор стало ясно, что эффект порождения влияет на память и обучение в разнообразных ситуациях. Эксперименты позволили выявить его значимость в упражнениях, которые требуют не только запоминания букв и слов, но и запоминания чисел, изображений и звуков, например, при решении математических задач и ответах на простые вопросы. Недавние исследования также показали значимость эффекта порождения в более сложных формах преподавания и обучения. В опубликованной в 2011 году в журнале Science статье было показано, что студенты, прочитавшие сложное задание, а затем пытавшиеся его припомнить без посторонней помощи, усваивали материал лучше, чем те, кто просто четыре раза перечитывал это задание [13]. Умственное напряжение улучшает способность человека к деятельности, требующей, по мнению психолога Бритти Хогана Чена, концептуального мышления и глубокого когнитивного осмысления. «В самом деле, – говорит Чен, – эффект порождения усиливается по мере того, как становится более сложным материал, порождаемый сознанием» [14].