Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах - Брюс Шнайер

на работу. Эта система была обучена на десятилетних данных о найме, и, поскольку в технологической отрасли доминируют мужчины, она научилась сексизму: оценивая резюме, система перемещала вниз те из них, в которых встречалось слово «женщина» или был указан женский колледж как место учебы. (Бывают случаи, когда мы не хотим, чтобы будущее было похоже на прошлое.)

Как только руководители Amazon осознали эту предвзятость и несправедливость, они потеряли к проекту интерес и в итоге отказались от использования системы{224}. Они столкнулись с трудной, возможно, даже непреодолимой проблемой, поскольку существует множество противоречащих друг другу определений справедливости{225}; то, что справедливо в одном контексте, не обязательно справедливо в другом. Какая система приема заявлений является справедливой? Та, которая не учитывает пол кандидата? Та, которая намеренно корректирует гендерные предубеждения? Та, которая распределяет квоты между представителями полов в той пропорции, в которой они подали заявления? Или та, которая обеспечивает равные возможности для разных полов?

Если система ИИ сможет объяснить, чем она руководствовалась, давая ту или иную рекомендацию о приеме на работу или об условно-досрочном освобождении, мы сможем лучше проанализировать процесс принятия решений. Это означает, что мы с большей вероятностью будем доверять этой системе в ситуациях, которые имеют больше социальных нюансов, чем вопрос «Указывает ли этот рентген на опухоль?».

С другой стороны, сами человеческие решения не всегда объяснимы. Конечно, мы можем давать объяснения, но исследования показывают, что часто это скорее оправдания постфактум. Так что, возможно, ответ заключается в том, чтобы просто внимательно изучить результаты. Когда суды решают, является ли поведение того или иного полицейского департамента расистским, они не вскрывают черепа полицейских и не требуют от них объяснений своего поведения. Они смотрят на его результаты и на основании этого выносят решение.

53

Очеловечивание искусственного интеллекта

Системы искусственного интеллекта будут влиять на нас как на личном, так и на социальном уровне. Ранее я уже упоминал о социальной инженерии. Самые эффективные попытки фишинга – то есть те, в результате которых люди и компании теряют много денег, – всегда персонализированны. Электронное письмо от имени генерального директора с просьбой о банковском переводе, адресованное кому-то из финансового отдела, может быть особенно эффективным, а голосовое или видеосообщение – тем паче. Трудоемкая задача настройки фишинговых атак может быть автоматизирована с помощью методов ИИ, что позволит мошенникам сделать электронные письма или голосовые сообщения от авторитетных лиц максимально правдоподобными.

Быть обманутым ИИ не обязательно означает, что вы получите больше проблем, чем от любого другого обмана. Настоящая опасность заключается в том, что ИИ сможет убеждать с компьютерной скоростью и масштабами. Сегодняшние когнитивные хаки – фейковая статья или провокационный вброс, способные одурачить лишь самых легковерных или отчаявшихся, – покажутся топорной работой. ИИ обладает потенциалом для того, чтобы когнитивные хаки стали микроцелевыми: персонализированными, оптимизированными и доставляемыми непосредственно адресату. Есть много старых мошеннических трюков, учитывающих индивидуальные особенности жертвы. Рекламные сообщения – это когнитивные хаки массового поражения. Технологии ИИ способны объединить в себе и те и другие.

Люди уже давно приписывают компьютерным программам человеческие качества. В 1960-х гг. программист Джозеф Вейценбаум создал примитивную разговорную программу ELIZA{226}, которая имитировала манеру общения психотерапевта. Вейценбаум был поражен тем, что люди готовы делиться глубоко личными секретами с глупой компьютерной программой. Секретарша Вейценбаума даже просила его выйти из комнаты, чтобы она могла поговорить с ELIZA наедине. Сегодня мы наблюдаем, как люди стараются быть вежливыми с голосовыми помощниками, такими как Alexa и Siri{227}, будто для них действительно важен тон общения. Siri даже жалуется, когда вы грубите ей. «Это не очень приятно», – говорит она, но лишь потому, что так запрограммирована.

Многочисленные эксперименты дают аналогичные результаты. Испытуемые оценивали производительность компьютера менее критично, если давали оценку в его присутствии, что свидетельствует об их подсознательном желании не ранить его чувства{228}. В другом эксперименте, когда компьютер сообщал испытуемому явно вымышленную «личную информацию» о себе, тот, как правило, отвечал взаимностью, сообщая реальную личную информацию{229}. Сила взаимности изучается сегодня психологами. Это еще один когнитивный хак, используемый людьми, который могут усилить масштаб и персонализация ИИ.

Робототехника делает хакинг ИИ более эффективным. Люди освоили много способов узнавания самих себя в окружающем мире. Мы видим лица повсюду: две точки с горизонтальной черточкой под ними уже воспринимаются как лицо. Вот почему даже минималистичные иллюстрации так хорошо считываются нами. Если что-то имеет лицо, оно перестает быть чем-то и становится неким существом, со своими мыслями, чувствами и всем, что полагается настоящей личности. Если это некое существо говорит или, еще лучше, вступает с нами в диалог, то мы можем поверить, что у него есть намерения, желания и свобода действий. А если на его лице присутствуют еще и брови, то ничто не помешает нам в этом.

Роботы только подчеркивают эту человеческую уязвимость. Многие люди поддерживают квазисоциальные отношения со своими роботами-пылесосами и даже жалуются, если компания предлагает заменить, а не отремонтировать их. Армия США столкнулась с проблемой, когда полковник подразделения, где проходил тестирование новый противоминный робот, запретил насекомообразному устройству{230} продолжать наносить себе вред, наступая на мины. Робот, разработанный в Гарварде, смог убедить студентов впустить его в кампус, притворившись доставщиком пиццы. А Boxie – говорящий робот, похожий на ребенка, разработанный в стенах MIT, – способен убеждать людей отвечать на личные вопросы, просто вежливо их попросив.

Наша реакция на некоторых роботов в чем-то схожа с нашим восприятием детей. У детей большие головы относительно тела, большие глаза относительно головы, большие ресницы относительно глаз и высокие голоса. Мы реагируем на эти характеристики инстинктивным желанием защитить.

Художники из поколения в поколение использовали этот феномен, чтобы придать своим творениям симпатичный вид. Детские куклы призваны вызывать чувство любви и заботы. Герои многих мультфильмов, включая Бетти Буп (1930-е) и Бэмби (1942), нарисованы по такому шаблону. Главной героине научно-фантастического боевика «Алита: Боевой ангел» (2019) с помощью компьютерной графики увеличили глаза, чтобы они казались больше.

В 2016 г. Технологический институт Джорджии опубликовал исследование о доверии человека к роботам{231}, в котором неантропоморфный робот помогал участникам перемещаться по зданию, давая указания типа «Это путь к выходу». Сначала участники взаимодействовали с роботом в обычной обстановке, чтобы оценить его эффективность, которая была специально занижена. Затем они должны были решить, следовать или нет советам робота в условиях смоделированной чрезвычайной ситуации. Поразительно, но все 26 участников послушались его указаний, несмотря на то что всего за несколько минут до этого убедились в его плохих навигационных навыках. Степень доверия к машине была вне всякой логики: когда робот указал на темную комнату без четко обозначенного выхода, большинство людей послушались его, вместо того чтобы просто и безопасно покинуть здание через дверь, в которую они вошли. Исследователи провели аналогичные эксперименты с другими роботами, явно имитировавшими неисправность. И вновь испытуемые вопреки здравому смыслу последовали экстренным указаниям роботов. Похоже, роботы могут естественным образом взламывать наше доверие.

Антропоморфные роботы – это еще более убедительная в эмоциональном плане технология, а ИИ только усилит ее привлекательность. Поскольку ИИ все лучше имитирует людей и животных, постепенно он захватит все механизмы, которые мы используем для оценки друг друга. Как писала психолог Шерри Теркл в 2010 г., «когда роботы устанавливают зрительный контакт, узнают лица, повторяют человеческие жесты, они нажимают на наши дарвиновские кнопки, демонстрируя поведение, которое люди связывают с разумом, намерениями и эмоциями». Проще говоря, они хакают наш мозг.

Мы не просто будем относиться к системам ИИ как к людям. Они будут вести себя как люди, причем намеренно обманывая нас. Они прибегнут к когнитивному