Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах - Брюс Шнайер

в буквальном смысле возможности систем ИИ обращены против обычных людей в интересах их могущественных хозяев.

55

Компьютеры и искусственный интеллект ускоряют социальный хакинг

Хакерство старо, как само человечество. Мы, люди, взламываем системы с тех пор, как существуем, а хакинг компьютерных систем – ровесник самих компьютеров. Благодаря степени своей сложности и программируемым интерфейсам компьютеры однозначно поддаются взлому. Сегодня многие потребительские товары, такие как автомобили, бытовая техника или телефоны, управляются компьютерами. Все наши институты – финансирование, налогообложение, соблюдение нормативных требований, политические выборы – представляют собой сложные социотехнические системы, включающие компьютеры, сети, людей и организации. Это делает общество более восприимчивым к хакерским атакам.

Компьютеризация изменила и продолжает менять характер хакинга. В сочетании с методами ИИ она ускоряет его по четырем основным параметрам: скорость, масштаб, охват и сложность.

Скорость – наиболее очевидный параметр из этого списка, просто потому что компьютеры намного быстрее людей. Им не нужно спать, они не испытывают скуки и не отвлекаются от поставленных задач. Запрограммированные должным образом, они делают ошибки гораздо реже, чем люди. Это означает, что компьютеры выполняют рутинные задачи намного эффективнее{238}: чтобы произвести правильный математический расчет, смартфону требуется мизерная доля энергии и времени от тех, что затратил бы человек на решение той же задачи. Значительно сокращая трудозатраты, компьютеры превращают некоторые хаки из почти невыполнимых в простые и практичные.

Мы уже видим свидетельства этих новых возможностей. Бесплатный сервис Donotpay.com, управляемый искусственным интеллектом, автоматизирует процесс оспаривания штрафов за парковку{239}, помогая отменить сотни тысяч штрафов, выписанных в Лондоне, Нью-Йорке и других городах. Услуга расширяется и на новые сферы, помогая пользователям получать компенсации за задержку авиарейсов и отменять различные подписки.

Высокая скорость ИИ также позволяет быстрее экспериментировать: компьютеры могут оперативно тестировать и отбрасывать бесчисленные варианты элементов продукта, чтобы найти лучший. A/B-тестирование, при котором разным пользователям случайным образом демонстрируются разные версии продукта, часто используется веб-разработчиками для проверки эффективности дизайна веб-страниц. Например, пользователям может быть случайно показана версия А с большой кнопкой «Нажмите здесь» и версия Б с кнопкой поменьше, при этом веб-сайт автоматически собирает данные о том, какая версия приносит максимальное количество кликов. Автоматизированное A/B-тестирование дает разработчикам возможность{240} одновременно тестировать сложные комбинации переменных (таких, как размер, цвет, расположение и шрифт кнопки), открывая доступ к беспрецедентному разнообразию хаков, которые можно дополнительно персонализировать на основе больших данных в соответствии с предпочтениями и привычками конкретных пользователей. Возможность моделировать тысячи вариантов хаков также расширяет спектр их применения, как для бизнеса, так и для преступности.

Следующим параметром, который необходимо учитывать, является масштаб ИИ. Любая человеческая деятельность, уже имеющая историю, например биржевая торговля, кардинально меняется, обретая непреднамеренные и непредвиденные свойства, когда компьютерная автоматизация резко увеличивает ее масштаб. Системы ИИ могут заниматься теми же видами деятельности, что и создавшие их люди, но в беспрецедентных масштабах.

Можно быть почти уверенным, что в социальных сетях будут массово развернуты бот-персоны, о которых говорилось выше. Они смогут участвовать в обсуждениях круглосуточно, отправляя неограниченное число сообщений любого размера. Если позволить им разгуляться, такие боты способны подавить любые реальные онлайн-дебаты{241}. Они будут искусственно влиять на то, что мы считаем нормальным, и на то, что, по нашему мнению, думают другие, а их влияние станет ощущаться не только в социальных сетях, но и на любой публичной площадке, в гостиной каждого дома. Такого рода манипуляции вредят как рынку идей, так и любому демократическому процессу. Напомним, что для нормального функционирования демократии необходимы информация, выбор и свобода действий. Искусственные персоны могут лишить граждан как первого, так и последнего.

Сфера применения ИИ неизбежно будет расти. По мере того как компьютерные системы становятся более способными, общество будет делегировать им все больше и больше важных решений. Это означает, что хакинг этих систем будет наносить более масштабный ущерб и иметь больший потенциал разрушения базовых социотехнических систем, даже если это не будет входить в намерения хакеров.

ИИ усугубит эти тенденции. Системы ИИ уже принимают решения, которые влияют на нашу жизнь, от самых обыденных до определяющих. Они дают нам пошаговые инструкции в процессе вождения. Они решают, останетесь ли вы в тюрьме и получите ли кредит в банке. Они проверяют кандидатов на должности, абитуриентов, поступающих в колледж, и людей, обращающихся за государственными услугами. Они принимают инвестиционные решения и помогают формировать решения по уголовным делам. Они определяют, какие новости нам показывать в ленте, какие объявления мы увидим, какие люди и темы привлекают наше внимание. Они принимают военные решения о нацеливании. В будущем ИИ, вероятно, будет рекомендовать политиков для поддержки богатым политическим донорам. Он будет решать, кто имеет право голосовать, а кто – нет. Он сможет преобразовывать желаемые социальные результаты в конкретную налоговую политику или корректировать детали программ социального обеспечения.

Хаки этих важнейших систем будут становиться все более разрушительными. (Мы уже видели это на примере «внезапных» крахов фондового рынка{242}.) И по большей части мы не имеем достаточного представления о том, как эти системы спроектированы, воплощены или используются.

Наконец, совершенство ИИ означает, что он все чаще будет заменять человека, поскольку компьютеры смогут реализовывать более сложные и непредвиденные стратегии, чем человек. Эти возможности только увеличатся по мере того, как компьютеры будут становиться быстрее и мощнее, а сети – сложнее.

Многие алгоритмы уже находятся за пределами человеческого понимания, будь то рекомендации фильмов к просмотру, объектов для инвестирования или очередного хода в игре го. Эта тенденция тоже будет нарастать, причем рост примет экспоненциальный характер, как только алгоритмы начнут создаваться алгоритмами.

С развитием ИИ компьютерный хакинг становится наиболее мощным способом хакнуть наши социальные системы. Когда все, по сути, является компьютером, управление этим «всем» переходит к программному обеспечению. Представьте себе хакера внутри финансовой сети, который меняет направление денежных потоков. Или хакера внутри юридических баз данных, который вносит небольшие, но существенные изменения в законы и судебные решения. (Смогут ли люди заметить это? Будут ли они знать достаточно, чтобы свериться с первоначальной формулировкой?) Представьте себе хакера, переписывающего алгоритмы Facebook изнутри, меняющего правила, чей пост поднимается в ленте, чей голос усиливается и кто его будет слышать. Когда компьютерные программы управляют системами, которые мы используем повседневно – для работы, трат, общения, организации времени и личной жизни, – технология сама становится политическим деятелем. И при всей свободе, которую нам дают технологии, в руках хакера они могут превратиться в орудие беспрецедентного социального контроля.

Все системы уязвимы для хакинга. Более того, современные исследования показывают, что все системы МО могут быть хакнуты незаметно. И эти хаки будут иметь все более серьезные социальные последствия.

56

Когда искусственный интеллект становится хакером

Старое хакерское состязание «Захват флага» – это, по сути, подвижная игра на открытом воздухе, перенесенная в компьютер. Команды защищают свои сети, атакуя сети других команд. Игра отражает в контролируемой обстановке то, чем занимаются компьютерные хакеры в реальной жизни: поиском и исправлением уязвимостей в своих системах и их использованием в чужих.

Эта игра стала основным развлечением на хакерских конференциях с середины 1990-х гг. В наши дни десятки команд со всего мира принимают участие в состязательных марафонах, которые проводятся в течение выходных. Люди тратят месяцы на подготовку, а победа становится большим событием. Если вы увлекаетесь подобными вещами, то это самое лучшее развлечение для хакера, которое не сделает вас преступником.

DARPA Cyber Grand Challenge – аналогичное мероприятие для ИИ{243}, проводившееся в 2016 г. В нем приняли участие 100 команд. После прохождения отборочных туров семь финалистов встретились на хакерской конференции