Взломать всё. Как сильные мира сего используют уязвимости систем в своих интересах - Брюс Шнайер

компания Microsoft представила в Twitter чат-бота по имени Tэй. Его разговорный стиль был смоделирован на основе речи девочки-подростка и должен был становиться все более сложным по мере взаимодействия с людьми и изучения их разговорных стилей. В течение 24 часов группа хакеров на дискуссионном форуме 4chan скоординировала свои ответы и наводнила систему расистскими, женоненавистническими и антисемитскими твитами, тем самым превратив Тэй в злобного шовиниста. Тэй честно учился на том материале, который ему подбрасывали, и, не понимая смысла своих реплик, словно попугай, вернул миру его уродство.

Системы ИИ – это компьютерные программы, поэтому нет оснований полагать, что они окажутся неуязвимыми для обычных компьютерных хаков. Исследования в области враждебного МО все еще находятся на ранних стадиях, поэтому мы не можем однозначно сказать, будут подобные атаки легкими или сложными и насколько эффективными будут контрмеры служб безопасности. Если опираться на историю компьютерного хакинга, то можно утверждать, что уже в обозримом будущем в системах ИИ появятся и будут обнаружены уязвимости. Системы ИИ встроены в те же социотехнические системы, которые мы обсуждали на протяжении всей книги, поэтому обязательно найдутся люди, которые захотят взломать их ради личной выгоды.

Хаки, которые я только что описал, объединяет наглядность результатов. Автомобили разбиваются. Черепаха классифицируется как винтовка. Тэй ведет себя как нацист-женоненавистник. Мы видим, что приводит к таким результатам, и – я надеюсь – сможем исправлять системы МО и восстанавливать их работу.

Однако меня больше беспокоят более тонкие атаки, результаты которых менее очевидны. Беспилотные автомобили могут не разбиваться, а просто начать двигаться чуть более хаотично. Чат-боты могут не превращаться в явных нацистов, а просто стать чуть более склонными к поддержке какой-то конкретной политической партии. Хакеры могут придумать формулировку, вставив которую в текст заявки на поступление в университет вы автоматически получите больше шансов. До тех пор, пока результаты неочевидны, а алгоритмы неизвестны, как можем мы знать, что система не взломана?

52

Проблема объяснимости

В книге «Автостопом по галактике» раса сверхразумных панпространственных существ создает самый мощный компьютер во вселенной – Думатель, Deep Thought («Глубокая мысль»), чтобы ответить на некий ключевой вопрос о жизни, вселенной и всем сущем. После 7,5 млн лет вычислений Думатель сообщает{219}, что ответ на главный вопрос бытия – «42». При этом он не в состоянии объяснить смысл этого ответа и даже не помнит, в чем, собственно, состоял сам вопрос.

Если в двух словах, то это и есть проблема объяснимости. Современные системы ИИ, по сути, являются «черными ящиками»: с одного конца в них поступают данные, с другого выходит ответ. Понять, как система пришла к тому или иному выводу, бывает невозможно, даже если вы являетесь ее разработчиком или имеете доступ к коду. Исследователи до сих пор не знают, как именно система классификации изображений ИИ отличает черепаху от винтовки, не говоря уже о том, почему она принимает одно за другое.

В 2016 г. система искусственного интеллекта AlphaGo выиграла матч из пяти партий{220} у одного из лучших в мире игроков Ли Седоля. Это потрясло как мир разработчиков ИИ, так и мир игроков в го. Тридцать седьмой ход AlphaGo, сделанный системой во второй партии, стал сенсацией. Объяснить весь его смысл, не углубляясь в стратегию го, будет трудно, но если вкратце, то это был ход, который не сделал бы ни один человек в мире. ИИ показал, что он мыслит иначе, чем мы.

ИИ решает проблемы не так, как люди. Его ограничения отличаются от наших. Он рассматривает больше возможных решений, чем мы. И что еще важнее – он рассматривает больше типов решений. ИИ будет исследовать пути, которые мы в принципе не рассматриваем, пути более сложные, чем те, что обычно мы держим в уме. (Наши когнитивные ограничения на объем данных, которыми мы можем одновременно мысленно жонглировать, давно описаны как «магическое число семь плюс-минус два»{221}. У системы ИИ нет ничего даже отдаленно похожего на это ограничение.)

В 2015 г. исследовательская группа ввела в систему ИИ под названием Deep Patient медицинские данные примерно 700 000 человек с целью проверить, может ли она предсказывать развитие болезней. Результаты превзошли ожидания: каким-то образом Deep Patient прекрасно справился с прогнозированием начала психических расстройств, таких как шизофрения, несмотря на то что сами врачи практически не способны предсказывать первый психотический эпизод. Звучит, конечно, здорово, но Deep Patient не дает никаких объяснений, на чем основаны его диагнозы и прогнозы, и исследователи понятия не имеют, как он приходит к своим выводам. Врач может либо доверять компьютеру, либо игнорировать его, но запросить у него дополнительную информацию он не может.

Такое положение дел нельзя назвать идеальным. Система ИИ должна не просто выдавать ответы, но объяснять ход своих рассуждений в формате, понятном человеку. Это необходимо нам как минимум по двум причинам: чтобы доверять решениям ИИ и чтобы убедиться, что он не был хакнут с целью воздействия на его объективность. Аргументированное объяснение имеет и другую ценность, помимо того, что оно повышает вероятность точного ответа или принятия правильного решения: оно считается основным компонентом идеи надлежащей правовой процедуры в соответствии с законом.

Исследователи ИИ работают над проблемой объяснимости. В 2017 г. Управление перспективных исследовательских проектов министерства обороны США (DARPA) учредило исследовательский фонд в размере $75 млн для десятка программ в этой области. Потенциально это влияет на успех, но, похоже, нам не уйти от компромиссов между эффективностью и объяснимостью, между эффективностью и безопасностью и между объяснимостью и конфиденциальностью. Объяснения – это форма стенографии когнитивного процесса, используемая людьми и подходящая для наших методов принятия решений. Решения ИИ могут просто не соответствовать формату понятных для человека объяснений, а принуждение к ним систем ИИ может стать дополнительным ограничением, которое повлияет на качество принимаемых ими решений. Пока неясно, к чему приведут эти исследования. В ближайшей перспективе ИИ будет все более непрозрачным, поскольку системы усложняются, становясь все менее похожими на человека, а значит, и менее объяснимыми.

Впрочем, в некоторых контекстах мы можем не заботиться об объяснимости. Я был бы уверен в диагнозе, поставленном мне Deep Patient, даже если бы он не мог объяснить свои действия, но, согласно данным, ставил диагнозы точнее, чем врач-человек. Точно так же я мог бы относиться к системе ИИ, которая решает, где бурить нефтяные скважины, или предсказывает, какие детали самолета с большей вероятностью выйдут из строя. Но я бы не чувствовал себя так же комфортно в случае с непрозрачной системой ИИ, которая принимает решения о приеме в колледж, прогнозируя вероятность академических успехов абитуриента, с системой, которая принимает решения о выдаче кредита, учитывая расовые стереотипы в своих прогнозах возможной невыплаты, или с системой, принимающей решения об условно-досрочном освобождении на основе прогноза рецидивов. Возможно, некоторым людям даже спокойнее оттого, что системы ИИ принимают серьезные решения без объяснения причин. Все это очень субъективно и, вероятно, со временем будет меняться по мере того, как мы все больше будем приобщаться к принятию решений ИИ.

Однако есть те, кто категорически не согласен с такой ситуацией и выступает против необъяснимого ИИ. Институт будущего жизни (FLI) и другие исследователи ИИ отмечают, что объяснимость особенно важна для систем, которые{222} могут «причинить вред», оказать «существенное влияние на людей» или повлиять на «жизнь конкретного человека, ее качество или его репутацию». В докладе, озаглавленном «ИИ в Великобритании», говорится, что если система ИИ оказывает «существенное влияние на жизнь человека»{223} и не может предоставить «полное и удовлетворительное объяснение» своих решений, то такую систему внедрять не следует.

На мой взгляд, разница между системой ИИ, которая предоставляет объяснение, и такой же системой, которая этого не делает, заключается в справедливости. Мы должны быть уверены, что система ИИ не является расистской, сексистской, абьюзивной или дискриминирующей в каком-то ином смысле, о котором мы пока не имеем представления. Без объяснимости можно легко получить результаты, подобные тем, которые генерирует внутренняя система ИИ компании Amazon для отбора заявлений о приеме