Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах - Брюс Шнайер

class="p1">Наиболее эффективная защита от любых хаков основана на выявлении уязвимостей, то есть на обнаружении и устранении хакерских атак еще до того, как они будут совершены. В этом могут существенно помочь технологии ИИ, тем более что они могут работать на сверхчеловеческих скоростях.

Однако вспомните, о чем мы говорили, когда рассматривали компьютерные системы. Как только ИИ станет способен обнаруживать новые уязвимости в программном обеспечении, фору получат все стороны, а значит, и правительственные хакеры, и криминал, и любители. Они смогут использовать новые уязвимости для компрометации компьютерных сетей по всему миру. Это поставит под угрозу всех нас.

Но та же самая технология будет более эффективно работать на безопасность, поскольку обнаруженная уязвимость может быть устранена навсегда. Представьте себе, что компания-разработчик программного обеспечения сможет внедрять ИИ-детектор уязвимостей непосредственно в код программы. Уязвимости будут найдены и устранены еще до того, как программное обеспечение будет выпущено. Тестирование может идти автоматически в процессе разработки. Таким образом, хотя и нападение, и защита будут иметь доступ к одной и той же технологии, защита сможет использовать ее для постоянного повышения безопасности своих систем. Мы можем надеяться на будущее, когда уязвимости программного обеспечения уйдут в прошлое. «Помните первые десятилетия вычислительной техники, когда хакеры взламывали программы через уязвимости? Вот было безумное времечко!»

Конечно, переходный период простым не будет. Новый код может быть безопасным, но старый все еще будет уязвим. Злоумышленники сосредоточат свои ИИ-инструменты на автоматическом поиске уязвимостей в уже действующем старом коде, который часто невозможно исправить. Однако в долгосрочной перспективе технология ИИ для поиска уязвимостей в программном обеспечении благоприятствует тем, кто защищает системы от вторжений и нанесения им вреда.

Это утверждение справедливо и для более широких социальных систем. Когда ИИ начнет находить уязвимости в политических, экономических и социальных системах, они будут использоваться в преступных целях. Более того, эти взломы могут способствовать интересам тех, кто контролирует системы ИИ. Индивидуально подобранная реклама намного убедительнее, а значит, она будет оплачена теми, в чьих интересах работает. Когда ИИ обнаружит новую налоговую лазейку, можно не сомневаться, что к ней тут же появится эксплойт, потому что те, кто имеет доступ к системе ИИ, захотят снизить свое налоговое бремя. Хакинг в значительной степени укрепляет существующие структуры власти, а ИИ будет усиливать их еще больше, если мы не научимся преодолевать существующий дисбаланс.

Однако, как и в случае компьютерных систем, та же самая технология будет полезнее стороне защиты{257}. Хотя ИИ-хакеры могут найти тысячи уязвимостей в существующем налоговом кодексе, эта же технология может быть использована для оценки потенциальных уязвимостей в любых новых законопроектах или постановлениях, касающихся сферы налогообложения. Последствия этого радикально изменят правила игры. Представьте себе, что по такому принципу проверяется новый налоговый закон. Законодатель, наблюдательная организация, журналист или любой заинтересованный гражданин могут проанализировать текст законопроекта с помощью системы ИИ, чтобы найти уязвимости. Это не означает, что они сразу будут исправлены (помните, что исправление уязвимостей – это отдельный процесс), но они как минимум будут вынесены в публичное поле. Теоретически эти лазейки можно будет устранить еще до того, как кто-нибудь ими воспользуется, но здесь вновь выходят на первый план опасности переходного периода, который будет протекать в среде унаследованных законов и правил. И все-таки в долгосрочной перспективе технология поиска уязвимостей с помощью ИИ благоприятствует защите.

Это и хорошо, и плохо. Хорошо, поскольку технология может быть использована обществом для предотвращения взлома систем правящими элитами. Плохо, потому что элиты с большей вероятностью возьмут ее на вооружение, чтобы противостоять общественному контролю и социальным изменениям. Как и всегда, все упирается в структуру власти.

59

Будущее хакеров с искусственным интеллектом

Насколько реалистичен сценарий будущего, в котором процветают ИИ-хакеры?

Его осуществимость зависит от конкретных моделируемых и взламываемых систем. Чтобы ИИ просто начал оптимизировать готовое решение, не говоря уже о разработке нового, все правила среды должны быть формализованы в понятном компьютеру виде. Необходимо определить целевые функции для ИИ, то есть установить цели. ИИ нуждается в обратной связи, чтобы понимать, насколько хорошо он справляется со своими задачами, и улучшать свою производительность.

Иногда это сделать просто. Например, для игры го правила, цель и обратная связь – выиграл или проиграл – четко определены, и ничто не может внести хаос. ИИ GPT-3 пишет относительно связные эссе, потому что его «мир» полностью подчиняется прозрачным правилам организации текста. Вот почему большинство современных примеров ИИ-хакинга ради цели происходят в смоделированных средах. Они искусственны и ограниченны, что позволяет задать ИИ четкие правила.

Степень неоднозначности, присутствующая в системе, играет здесь ключевую роль. Казалось бы, несложно «скормить» ИИ мировые налоговые законодательства, поскольку любой налоговый кодекс сводится к формулам, определяющим сумму налога в каждом конкретном случае. Существует даже язык программирования Catala, который оптимизирован для кодирования законов. Тем не менее любой закон всегда содержит некоторую неоднозначность. Она не поддается переводу в код, поэтому не по зубам ИИ. Налоговые юристы могут спать спокойно: несмотря на развитие ИИ, в обозримом будущем их услуги останутся востребованными.

Большинство человеческих систем еще более неоднозначны, чем законодательство. Трудно вообразить, что ИИ сможет произвести на свет реальный спортивный хак, такой как изогнутая хоккейная клюшка. ИИ должен досконально понимать не только правила игры, но и физиологию человека, аэродинамику клюшки и шайбы и т. д. Теоретически это возможно, но намного сложнее, чем придумать новый ход в игре го.

Эта неоднозначность, скрыто присутствующая в наших сложных общественных системах, и обеспечивает защиту от ИИ-хакеров, по крайней мере в ближайшем будущем. Мы не увидим спортивных хаков, сгенерированных ИИ, до тех пор, пока андроиды сами не начнут гонять мяч или не будет разработан общий ИИ, способный понимать мир во всех его пересекающихся измерениях. То же самое можно сказать относительно хакинга казино (когда уже ИИ научится хорошо мухлевать?!) и законодательного процесса. Пройдет еще много времени, прежде чем ИИ сможет моделировать и имитировать то, как работают люди, по одному и в группах, чтобы придумывать новые способы взлома законодательных процессов.

Но хотя мир, наполненный ИИ-хакерами, существует сегодня только в книгах и фильмах, эта серьезная проблема все больше выходит за рамки научной фантастики. Прогресс в сфере ИИ идет невероятно быстрыми темпами, а новые возможности открываются внезапно и скачкообразно. То, что еще вчера мы считали почти невозможным, оказалось проще простого, а то, что казалось легким, превратилось в большую проблему. Когда я учился в университете в начале 1980-х гг., нас уверяли, что игра го никогда не будет освоена компьютером в силу ее высокой сложности: не самих правил, а огромного количества возможных ходов. Сегодня ИИ – это гроссмейстер игры го.

Поэтому, хотя ИИ претендует на роль проблемы завтрашнего дня, мы видим ее предвестников уже сегодня. Нам необходимо начать думать о том, какие решения, понятные и этичные, есть в нашем распоряжении, потому что если мы и можем быть в чем-то уверены относительно ИИ, так это в том, что эти решения понадобятся нам раньше, чем мы могли бы ожидать.

Вероятно, первым местом, где следует искать следы хакерских атак, генерируемых ИИ, являются финансовые системы, поскольку их правила разработаны таким образом, чтобы быть реализованными посредством алгоритмов. Алгоритмы высокочастотной торговли являются примитивным примером таких атак: в будущем они станут намного сложнее. Мы можем представить себе, как в режиме реального времени в систему ИИ закачивается вся мировая финансовая информация, мировые законы и правила, новостные ленты и все остальное, что, по нашему мнению, может иметь значение, а затем перед ним ставится цель получения максимальной законной прибыли или даже просто максимальной. Я полагаю, что это время не за горами, и уже скоро мы увидим новые, совершенно неожиданные хаки