Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах - Брюс Шнайер

54

Хакинг человека искусственным интеллектом и роботами

Во время выборов в США в 2016 г. около одной пятой всех политических твитов было размещено ботами. Во время голосования по Brexit в Великобритании в том же году эта доля составила одну треть. В отчете Оксфордского института интернета за 2019 г. приведены доказательства использования ботов для распространения пропаганды{232} в 50 странах. Как правило, это были простые программы, бездумно повторяющие лозунги. Например, после убийства Джамаля Хашогги в 2018 г. посредством ботов было размещено около четверти миллиона просаудовских твитов «Мы все доверяем [наследному принцу] Мохаммеду бин Салману».

В 2017 г. Федеральная комиссия по связи объявила о начале публичных онлайн-обсуждений ее планов по отмене сетевого нейтралитета. Было получено ошеломляющее количество комментариев – 22 млн, – многие из которых, возможно даже половина, были поданы с использованием украденных личных данных. Эти поддельные комментарии были сделаны очень грубо: 1,3 млн из них явно создавались на основе одного и того же шаблона с изменением некоторых слов для придания уникальности. Это было видно невооруженным глазом.

Подобные попытки будут становиться все более изощренными. В течение многих лет программы ИИ составляли спортивные и финансовые новости для реальных новостных агентств, таких как Associated Press. Ограниченный характер большинства репортажей на эти темы упростил их адаптацию к ИИ. Сегодня ИИ используется для написания более общих историй. Современные системы создания текстов{233}, такие как GPT-3 от Open AI, могут писать правдивые истории на основе поставляемых фактов, но точно так же они могут строчить и фейковые новости, будучи накормленными ложью.

Не требуется обладать богатым воображением, чтобы понять, как ИИ ухудшит политический дискурс. Уже сейчас управляемые ИИ-персоны могут писать письма в газеты и выборным должностным лицам, оставлять внятные комментарии на новостных сайтах и досках объявлений, а также обсуждать политику в социальных сетях. По мере того как эти системы становятся все более детализированными и все убедительнее имитируют личность, их все труднее отличать от реальных людей. Тактику, которая раньше была очевидной, сегодня уже распознать не так просто.

В ходе недавнего эксперимента исследователи использовали программу генерации текстов для отправки 1000 комментариев в ответ на просьбу правительства к гражданам высказать свое мнение по вопросу Medicaid{234}. Каждый комментарий выглядел уникально, так, будто реальные люди отстаивали свои политические позиции. Администраторы сайта Medicaid.gov даже не усомнились в их подлинности и приняли всё за чистую монету. Позже исследователи указали им на эти комментарии и попросили удалить, чтобы избежать предвзятости в политических дебатах. Однако не все будут столь этичными.

Эти методы уже применяются в реальном мире для влияния на политику. Пропагандистская онлайн-кампания использовала сгенерированные ИИ изображения лиц для создания фальшивых журналистов. Китай распространял созданные ИИ текстовые сообщения, призванные повлиять на выборы на Тайване в 2020 г. Технология дипфейк, использующая ИИ для создания реалистичных видеороликов о фальшивых событиях, часто с участием реальных людей, чтобы изобразить их произносящими то, что они никогда не говорили, уже применяется в политических целях в таких странах, как Малайзия, Бельгия и США.

Одним из примеров расширения этой технологии является бот-персона – ИИ, выдающий себя за человека в социальных сетях. Бот-персоны имеют свою личную историю, характер и стиль общения. Они не занимаются откровенной пропагандой. Такие боты внедряют в различные группы по интересам: садоводство, вязание, модели железных дорог, что угодно. Они ведут себя как обычные члены этих сообществ, публикуя сообщения, комментируя и обсуждая. Системы, подобные GPT-3, позволяют им легко добывать информацию из предыдущих бесед и соответствующего интернет-контента, чтобы выглядеть знатоками в конкретной области. Затем, время от времени, бот-персона может размещать что-то относящееся к политике, например статью об аллергической реакции медицинского работника на вакцину COVID-19, сопровождая ее обеспокоенными комментариями. Или же высказать мнение своего разработчика о недавних выборах, расовой справедливости или любой другой поляризующей теме. Одна бот-персона не может изменить общественное мнение, но что, если их будут тысячи? Или миллионы?

Этому явлению уже дали название – вычислительная пропаганда. Оно в корне изменит наше представление о коммуникации. ИИ способен сделать распространение дезинформации бесконечным. И он может полностью поменять само понятие общения. В 2012 г. специалист по этике робототехники Кейт Дарлинг провела эксперимент с аниматронным пластиковым динозавром по имени Клео{235} – игрушкой, которая по-разному реагировала на прикосновения. После того как участники научной конференции поиграли с Клео, она попыталась убедить их «причинить боль» игрушке различными способами. Однако даже непродолжительная игра с Клео заставляла людей испытывать настолько сильное сочувствие, что они отказывались это делать, хотя игрушка явно не чувствовала боли. Это фундаментальная человеческая реакция. Умом мы можем понимать, что Клео всего лишь зеленый пластиковый динозавр, но большая голова в паре с маленьким телом заставляет нас воспринимать объект как ребенка. К тому же у игрушки есть имя, которое говорит нам, что это «она»! И она реагирует на наши прикосновения! Внезапно мы начинаем относиться к ней как к живому существу{236} и чувствуем себя обязанными защитить от любого вреда. И хотя такая реакция кажется вполне доброжелательной, что произойдет, когда этот милый маленький робот посмотрит на своих хозяев большими грустными глазами и попросит их купить ему обновление программного обеспечения?

Поскольку мы, люди, склонны смешивать категории и относиться к роботам как к живым существам со своими чувствами и желаниями, мы уязвимы для манипуляций с их стороны. Роботы могут убедить нас делать то, что мы бы не стали делать без их влияния. И они могут припугнуть нас, чтобы мы не делали того, что могли бы сделать в противном случае. В одном из экспериментов робот успешно воздействовал на испытуемых по скрипту «давление сверстников»{237}, побуждая их идти на больший риск. Задайте себе вопрос: как скоро секс-робот начнет предлагать покупки в приложениях в самый ответственный момент?

В этом виде убеждения ИИ будет становиться все лучше. Исследователи уже разрабатывают системы ИИ, которые определяют эмоции, анализируя наш почерк, читая выражение лица или отслеживая дыхание и пульс. Пока еще они часто ошибаются, но с развитием технологий это пройдет. В какой-то момент ИИ превзойдет человека по своим возможностям. Это позволит более точно манипулировать нами. Но с одной оговоркой: нашу адаптивность, о которой мы говорили ранее, никто не отменял.

AIBO – это собака-робот, представленная Sony в 1999 г. Компания выпускала новые и улучшенные модели каждый год вплоть до 2005 г., а затем в течение следующих нескольких лет постепенно прекратила поддержку старых AIBO. Даже по компьютерным стандартам того времени AIBO был довольно примитивным, но это не мешало людям эмоционально привязаться к своим «питомцам». В Японии даже появилась традиция устраивать похороны своих «мертвых» AIBO.

В 2018 г. Sony начала продажи нового поколения AIBO. В игрушку внесено много программных усовершенствований, которые делают ее более похожей на домашнее животное, но интереснее другое: AIBO для работы теперь требуется облачное хранилище данных. Это означает, что, в отличие от предыдущих версий, Sony может удаленно изменить или даже «убить» любого AIBO. Первые три года хранения данных в облаке бесплатны, после чего компания начинает взимать плату в размере $300 в год. Расчет строится на том, что за три года владельцы AIBO эмоционально привяжутся к своим питомцам. Подобную тактику можно назвать «эмоциональным захватом».

Поскольку ИИ и автономные роботы берут на себя все больше реальных задач, подрыв доверия людей к таким системам будет отягощен опасными и дорогостоящими последствиями. Но не стоит забывать, что именно люди управляют системами ИИ. Все они разрабатываются и финансируются людьми, которые хотят манипулировать себе подобными определенным образом и с конкретной целью.

Такие корпорации, как Sony, и другие влиятельные игроки долго и упорно пытаются хакнуть наши эмоции ради власти и прибыли. Для этого они вкладывают немалые средства в исследования и технологии. И без активных усилий по установлению норм и правил, ограничивающих такой тип хакинга, мы вскоре обнаружим, что нечеловеческие