Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах - Брюс Шнайер

управления сможет защитить общество от потенциальных последствий как преднамеренного, так и непреднамеренного ИИ-хакинга. И хотя я просто ненавижу случайно придуманные аббревиатуры, позвольте мне использовать в следующих абзацах сокращение HGS, от Hacking Governance System («система управления хакингом»). Эта абстракция облегчит нам обсуждение подобных вещей.

● Скорость. Чтобы быть эффективной в условиях ускорения темпов технологических и социальных изменений, любая HGS должна работать быстро и точно. Дилемма Коллингриджа{261} – это старое, но по-прежнему верное наблюдение на тему технологических изменений: к тому времени, когда что-то новое и разрушительное становится достаточно распространенным, чтобы стали ясны его последствия для общества, регулировать его уже слишком поздно. Слишком много жизней и средств к существованию оказываются связанными с новой технологией, чтобы вот так запросто вернуть джинна в бутылку. Вы скажете, это чепуха, потому что многое – строительная отрасль, железнодорожный транспорт, продукты питания, медицина, производство, химикаты, атомная энергетика – демонстрируют примеры обратного, но согласитесь, что регулировать уже созданное определенно сложнее. Хаки будут внедряться быстрее, чем большинство правительств смогут менять свои законы и постановления. Но даже если они научатся принимать ответные меры вовремя, регулировать разросшегося гиганта будет очень непросто. В идеале HGS должна быть способна действовать быстрее, чем хак успевает распространиться, и оперативно решать, развивать его дальше или пресечь в корне.

● Инклюзивность. Для того чтобы определить, является хак хорошим или плохим, особенно на ранних стадиях, любая HGS должна учитывать как можно больше точек зрения. Это поможет добиться того, что ни одна потенциальная угроза и ни одно преимущество хака не будут упущены. Такой подход означает как минимум, что в состав HGS должна входить разношерстная междисциплинарная команда – от социологов и юристов до экономистов, психологов и экологов, – способная изучить хаки и их последствия со всех сторон. Кроме того, HGS придется активно искать и использовать информацию от внешних групп, особенно от сообществ, пострадавших от хака, а также от независимых исследователей и экспертов, ученых, профсоюзов, торговых ассоциаций, местных органов власти и гражданских объединений. Эти группы и лица должны не просто высказывать свое мнение на случайных встречах; в идеале их диалог с сотрудниками HGS и друг с другом должен быть постоянным, чтобы в ходе обсуждения, с одной стороны, уточнялась оценка ситуации, а с другой – создавались условия для инициативы и лоббирования с целью изменить методы контроля ИИ-хакинга политиками и должностными лицами, не входящими в состав HGS.

● Прозрачность. Поскольку HGS будет привлекать к принятию решений широкий круг экспертов и простых граждан, ее процессы и постановления должны быть публично прозрачными{262}. Непрозрачная HGS, за работой которой смогут следить только инсайдеры или люди с учеными степенями, окажется закрытой для обратной связи с обществом, которая исключительно важна для полного понимания природы социальных хаков и их побочных эффектов. HGS с более прозрачными процессами и обоснованиями своих решений заслужит больше доверия со стороны граждан. Это дополнительное доверие будет иметь решающее значение для политической поддержки новых институтов, которым придется искать сложные компромиссы между инновациями, стабильностью систем и защищаемыми ценностями, такими как равенство и справедливость.

● Гибкость. Наконец, по мере роста политической поддержки граждан, внедрения хаков, признанных полезными, или по мере того, как ученые и правительство все больше узнают о том, как эффективно регулировать хакинг, любая HGS должна освоить механизмы быстрого развития своей структуры, возможностей, решений и подходов, чтобы преуспеть в меняющемся мире. Даже при наличии всей необходимой информации социальные системы сложны и труднопредсказуемы, и попытки блокировать вредные социальные хаки порой терпят неудачу, а когда HGS разрабатывает эффективный патч или другую защиту от социального хака, хакеры тут же начинают работать над ее взломом. Поэтому HGS должна быть итеративной: быстро учиться на своих ошибках, тестировать, какие подходы к контролю и внедрению социальных хаков лучше всего работают, и постоянно совершенствовать свою способность брать на вооружение передовые методы.

Общее решение здесь состоит в том, чтобы все мы, граждане, более осознанно подходили к вопросу о надлежащей роли технологий в нашей жизни. До сих пор мы в целом не возражали против того, чтобы программисты кодировали мир так, как они считают нужным. Мы делали это по нескольким причинам. Мы не хотели чрезмерно ограничивать зарождающиеся технологии. Законодатели в основном не понимали технологии настолько хорошо, чтобы регулировать их. И это было не настолько важно, чтобы вызвать наше беспокойство. Но сейчас ситуация изменилась. Компьютерные системы влияют не только на компьютеры, и, когда программисты принимают очередные решения, они буквально проектируют будущее мира.

Система общего права является хорошей отправной точкой. Я не хочу преуменьшать противоречия, существующие между демократией и технологией. С одной стороны, далеко не каждый способен понять и внести свой вклад в регулирование ИИ. С другой – где нам найти таких технократов, которым можно доверять и которые, в свою очередь, доверяли бы простым гражданам? Это более общая и крайне сложная проблема современного управления нашим информационно насыщенным, связанным и технологически развитым миром, которая выходит далеко за рамки этой книги. По своей важности она сопоставима с проблемой создания управляющих структур, способных работать со скоростью и в условиях сложности информационного века. Такие ученые-правоведы, как Джиллиан Хэдфилд, Джули Коэн, Джошуа Фэйрфилд и Джейми Сасскинд{263}, пишут об этой более общей проблеме, для решения которой еще многое предстоит сделать.

Однако сначала мы должны решить ряд более крупных проблем нашего общества. Иными словами, повсеместный хищнический хакинг – это симптом несовершенной системы общественного устройства. Деньги – это власть, и правосудие для влиятельных нарушителей правил работает по-другому, нежели для тех, кто деньгами и властью не обладает. Если правоохранительные органы не добиваются справедливости (корпоративные преступления редко преследуются по закону), то у влиятельных людей пропадает стимул следовать правилам. Это подрывает доверие общества как к системам, так и к самим правилам.

Если подумать, становится очевидным, что ставки несправедливого правоприменения слишком высоки. Минимальное регулирование наиболее привилегированных лиц или предприятий означает, что они получают возможность определять политику и де-факто становятся правительствами. Это значит, что остальные люди больше не имеют права голоса, то есть демократия умирает. Да, это крайняя постановка проблемы, но таков конечный результат наблюдаемого процесса, и мы не должны упускать его из виду.

Я описал взаимодействие между человеческими и компьютерными системами, а также риски, связанные с тем, что компьютеры начинают играть роль людей. Это тоже более общая проблема, чем неправильное использование ИИ. О ней много пишут технофилософы и футуристы. И хотя проще всего позволить технологиям самим вести нас в будущее, станет намного лучше, если граждане коллективно решат, какой должна быть роль технологий в этом будущем. Особенно в мире, где так много технологий доступно каждому.

Нигде в мире еще не существует HGS, и ни одно правительство не думает о ее создании. Но время сделать это уже пришло.

Послесловие

Завершая работу над рукописью этой книги летом 2022 г., я наткнулся на статью в The Wall Street Journal, в которой описывался новый финансовый хак. Импортеры должны платить государственные пошлины, зачастую немалые, на ввоз иностранных товаров. Но существует лазейка – правило de minimis{264}, предназначенное для освобождения от пошлин американских туристов, привозящих сувениры из зарубежных поездок. Сметливые импортеры воспользовались этой лазейкой и теперь поставляют товары зарубежных продавцов покупателям напрямую. «В результате более одной десятой китайского импорта в стоимостном выражении поступает в страну как поставки de minimis по сравнению с 1 % десять лет назад». Общая сумма потерь налоговых поступлений от этого хака составила $67 млрд в год.

Трудно не впасть в депрессию, наблюдая такие масштабы социального хакерства. Оно кажется неизбежным. Системы взламываются в угоду тем, кто наверху, и это продолжается с незапамятных времен. Те средства защиты, которые у нас есть, едва справляются с сегодняшними задачами, а в будущем о них можно будет забыть, поскольку хакерские атаки на общество будут только усиливаться.

По своей сути хакинг – это некое