Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах - Брюс Шнайер

href="ch2-2.xhtml#id58" class="a">{258}. И, вероятно, будут такие хаки, которые находятся где-то за гранью человеческого понимания, а это значит, мы никогда не поймем, что они в принципе существуют.

В краткосрочной перспективе, скорее всего, наберет обороты совместный хакинг ИИ и человека. ИИ будет выявлять уязвимости, а опытные бухгалтеры или налоговые юристы – применять свой опыт и суждения, чтобы понять, можно ли с выгодой их использовать.

На протяжении почти всей истории хакинг был исключительно человеческим занятием. Поиск новых хаков требует опыта, времени, креативности и удачи. Когда ИИ начнет заниматься хакингом, ситуация в корне изменится. Для ИИ не существует стереотипов и ограничений, свойственных людям. Ему не нужно спать. Он мыслит как инопланетянин. И он будет хакать системы такими способами, о которых мы даже помыслить не можем.

Как я уже сказал в главе 55, компьютеры ускорили процесс хакинга по четырем параметрам: скорость, масштаб, охват и сложность. ИИ еще больше усугубит эту тенденцию.

Сначала о скорости. Процесс подготовки и внедрения хака, который для нас занимает месяцы или годы, может сократиться до дней, часов или даже секунд. Что может произойти, если вы «скормите» ИИ налоговый кодекс США и прикажете ему вычислить все способы минимизации налоговых обязательств? Или, в случае транснациональной корпорации, проанализировать и оптимизировать налоговую политику на базе налоговых кодексов всей планеты? Может ли ИИ без подсказок понять, что разумнее всего зарегистрировать компанию в Делавэре, а судно – в Панаме? Сколько лазеек он найдет, о которых мы еще не знаем? Десятки? Сотни? Тысячи? Ответов на эти вопросы у нас пока нет, но, вероятно, они появятся в течение следующего десятилетия.

Далее о масштабе. Когда системы ИИ начнут обнаруживать уязвимости, они смогут использовать их в таких масштабах, к которым мы просто не готовы. ИИ, успешно хакнувший финансовые системы, будет доминировать в этой сфере. Уже сейчас наши кредитные рынки, налоговые кодексы и законы в целом ориентированы на богатых. ИИ усилит это неравенство. Первые ИИ-хаки для взлома финансовых систем будут разработаны не исследователями, стремящимися восстановить справедливость, а глобальными банками, хедж-фондами и консультантами по управлению капиталом.

Теперь об охвате. У нас есть социальные системы, которые неплохо справляются с хакерскими атаками, но они были разработаны, когда хакерами были люди, а взломы осуществлялись в человеческом темпе. У нас нет системы управления, которая могла бы быстро и эффективно реагировать на волну атак через сотни, не говоря уже о тысячах, свежеобнаруженных налоговых лазеек: мы просто не сможем исправить налоговый кодекс так быстро. Мы не смогли предотвратить использование людьми Facebook для хакинга демократии; сложно представить, что может произойти, когда этим займется ИИ. Если ИИ начнет вычислять непредвиденные, но легальные хаки финансовых систем, а затем устроит мировой экономике безумные пляски, восстановление будет долгим и болезненным.

И, наконец, о сложности. Хакинг с помощью ИИ открывает путь для сложных стратегий, выходящих за рамки того, что может создать человеческий разум. Сложный статистический ИИ-анализ может выявлять взаимосвязи между переменными, а значит, и возможные эксплойты, которые лучшие стратеги и эксперты никогда бы не распознали. Такая изощренность может позволить ИИ развертывать стратегии, подрывающие сразу несколько уровней целевой системы. Например, ИИ, созданный для максимизации доли голосов политической партии, может определять точную комбинацию экономических переменных, предвыборной агитации и процедурных настроек голосования, которые могут принести победу на выборах. Это новый виток той самой революции, которую устроила картография, обеспечив появление джерримендеринга. И это не говоря о трудно обнаруживаемых хаках, которые ИИ может внедрить для манипулирования фондовым рынком, законодательными системами или общественным мнением.

Достигнув сверхчеловеческой скорости, гигантских масштабов, размаха и сложности, хакинг превратится в проблему, с которой мы как общество уже не сможем совладать.

Мне вспоминается сцена из фильма «Терминатор», где Кайл Риз описывает Саре Коннор киборга, который на нее охотится: «С ним бесполезно торговаться. Его нельзя переубедить. Оно не чувствует ни жалости, ни раскаяния, ни страха. И оно не остановится. Никогда…» Я не утверждаю, что нам придется иметь дело с киборгами-убийцами в буквальном смысле, но по мере того, как ИИ становится нашим противником в мире социального хакинга, попытки угнаться за его нечеловеческой способностью выискивать наши уязвимости будут точно так же обречены.

Некоторые исследователи ИИ выражают опасения в отношении того, что сверхмощные системы ИИ могут преодолеть наложенные человеком ограничения и потенциально захватить господствующую роль в обществе. Хотя это смахивает на дешевую спекуляцию, такой сценарий все же стоит рассмотреть и принять меры для его предотвращения.

Однако сегодня и в ближайшем будущем хакерские атаки, описанные в этой книге, будут по-прежнему осуществляться в основном правящими элитами против обычных граждан. Все существующие системы ИИ, воплощенные в вашем ноутбуке, облаке или роботе, запрограммированы другими людьми и, как правило, в их интересах, а не в ваших. Хотя подключенное к интернету устройство, такое как Alexa, может имитировать надежного друга, нельзя забывать, что оно создано в первую очередь для продажи товаров компании Amazon. И точно так же, как веб-сайт Amazon подталкивает вас к покупке его домашних брендов вместо более качественных конкурирующих товаров, Alexa далеко не всегда действует в ваших интересах. Если говорить точнее, она хакает ваше доверие ради целей акционеров Amazon.

В отсутствие какого-либо значимого регулирования мы действительно ничего не можем сделать, чтобы предотвратить распространение ИИ-хакинга. Нам нужно просто принять его неизбежность и создать надежные структуры управления, которые смогут быстро и эффективно реагировать, нормализуя полезные хаки и нейтрализуя вредоносные или непреднамеренно наносящие ущерб.

Эта проблема поднимает более глубокие и сложные вопросы, чем те, о которых мы говорили: как будет развиваться ИИ? Как должны реагировать общественные институты? Какие хаки считать полезными, а какие вредными? Кто принимает решения? Если вы свято верите в то, что правительство должно быть немногочисленным и малозаметным, то, вероятно, вам придутся по душе хаки, которые снижают возможности правительств в плане контроля над гражданами. Однако и в этом случае вы вряд ли захотите сменить политических владык на технологических. Если вы исповедуете принцип превентивности{259}, то должны понимать, как важно, чтобы разные эксперты тестировали и оценивали хаки, прежде чем они будут внедрены в наши социальные системы. И, возможно, стоит применить этот принцип и «выше по течению», то есть к институтам и структурам, которые делают эти хаки возможными.

Вопросы только множатся. Должны ли ИИ-хакеры регулироваться локально или глобально? Администраторами или референдумом? Есть ли какой-то способ позволить рынку или гражданскому обществу принимать решения? (Нынешние попытки применить модели управления к алгоритмам служат ранним индикатором того, как это будет происходить.) Структуры управления, которые мы разрабатываем, предоставят отдельным людям и организациям право отбирать хаки, которые определят будущее. И нужно сделать так, чтобы эти полномочия использовались с умом.

60

Системы управления хакингом

Защитный ИИ – это потенциальный ответ на ИИ-хакинг. Пока он еще недостаточно развит, чтобы можно было реализовать этот проект. Сегодня нам нужны люди и команды, которые бы включились в разработку структур управления и последующий процесс внедрения этой технологии.

Как должны выглядеть такие структуры управления, пока не совсем ясно, но уже выдвинуто немало интересных предложений по новым моделям регулирования, которые могли бы эффективно решать проблемы, связанные со скоростью, масштабом, охватом и сложностью ИИ. Технологи ИИ и лидеры отрасли, такие как Ник Гроссман{260}, предложили, чтобы интернет-компании и компании больших данных перешли от парадигмы регулирования 1.0, при которой запускаемые проекты не проходят соответствующую проверку и не предоставляют отчетность, к парадигме регулирования 2.0, когда любые новые проекты подлежат строгой, основанной на данных проверке и должным образом ограничиваются. В главе 33 мы рассмотрели лучшую из систем управления, которая у нас имеется для социальных хаков, – систему общего права, состоящую из залов суда, судей, присяжных и непрерывно развивающихся прецедентов. Система управления разработками ИИ должна быть быстрой, инклюзивной, прозрачной и гибкой, впрочем, как и любая другая хорошая система управления.

Мы можем попытаться набросать, какого рода система