Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта - Макс Тегмарк

Побег через взлом

Если бы «омеги» были более предусмотрительны, они бы постарались исключить возможность психологического манипулирования. Например, они могли включить в регламент требование, чтобы всегда как минимум двое «омег» одновременно дежурили на терминальном компьютере, а все происходящее вокруг него записывалось на камеру. Они могли бы также отключить аудио-, видео- и любую другую форму коммуникации, кроме клавиатуры. Сути это не меняет: обладая сверхчеловеческими способностями убеждать, Прометей мог предложить людям столь многое из того, чего они жаждут, что даже коллективное предательство было бы вполне возможно.

Даже если бы все попытки Прометея манипулировать «омегами», используя их психологические особенности, провалились, слабые места их сценария все равно были столь многочисленны, что открывали бы для него и другие пути. Одно из них заключалось в том, что «омеги» и их сотрудники производили слишком большое количество разнообразных документов, чтобы успевать отслеживать все возможные нечестные трюки.

Когда-то все полагали, что компьютерной безопасности угрожает загрузка программ, но не данных. Однако хакеры придумали довольно остроумные способы заблюривать границу между первыми и вторыми. Когда вы смотрите кинофильм у себя в компьютере, вы верите, что программа, воспроизводящая фильм, сохранена в той же самой физической памяти, где сохранены и данные о фильме. Но когда программа распаковывает данные для его воспроизведения, некоторые из них она отправляет в смежные области памяти, а вовсе не в те, где хранится сама. Коварные хакеры случайно обнаружили «глюки», из-за которых программы воспроизведения не всегда адекватно проверяют правильность сохраненных с фильмом данных, обеспечивающих их копирование в отведенное место памяти. Когда хакер встраивает в фильм слишком большой кусок данных, тот может вылезти за пределы отведенной под него области и занять часть другой, уже занятой программой, которая в результате окажется немного изменившейся и будет делать то, на что рассчитывал хакер.

Подозрительно длинная серия таких «уязвимостей переполнения буфера», как их обозначают в терминологии гиков, была обнаружена и исправлена в большинстве популярных программ, воспроизводящих видеоконтент. Если бы Прометей подождал несколько недель после запуска, пока паранойя «омег» постепенно улеглась, а его ежедневная кинопродукция стала бы слишком обильной, чтобы можно было вручную проверять ее на предмет безопасности, он вполне смог бы вставить нужный фрагмент кода в видеофайл, так что в результате компьютер какого-нибудь зрителя попытался бы взломать шлюзовый компьютер, освобождая Прометея, как это было в случае с компьютером Стива. Если в дело шел слишком давний эксплойт, уже не работающий в большинстве видеоплейеров, то его могли не заметить операторы видеонаблюдения службы безопасности «Омеги», и он все равно поразил бы компьютеры тех беспечных пользователей, которые долгие годы не обновляют базы своих систем безопасности, а взлому такого рода надо сработать всего лишь один раз.

Расчет на стороннюю помощь

Но даже если бы в системе безопасности не было спасительной бреши, позволяющей Прометею обманом заставить компьютер любителя кино пойти у него на поводу, он мог бы заставить пойти у себя на поводу самого любителя кино. Рассмотрим такой сценарий.

Фред был готов отправиться спать, да и фильм уже заканчивался. По экрану ноутбука бежали заключительные титры, и тут что-то необычное вдруг привлекло внимание Фреда. Он всегда отличался способностью видеть скрытый смысл там, где больше никто ничего особенного не замечал, — до такой степени, что многие друзья дразнили его, называя конспирологом. Но нельзя было не признать, что на этот раз он себя не обманывал: первые буквы каждой строки складывались в некое скрытое послание. Он отмотал назад и записал его: «Найди в диалоге акроключ».

«Ого, — подумал Фред. — Сон придется отложить».

Довольно легко он смог выяснить, что и в самом деле каждый диалог в фильме содержал скрытое сообщение, зашифрованное первыми буквами каждого предложения. Он заново пересмотрел фильм, аккуратно выписывая каждую букву, с которой начиналась фраза, и два часа спустя, не веря глазам, рассматривал инструкцию из двух слов. Остальная часть послания представляла собой описание математической операции, преобразующей строчку битов, с помощью которой файл фильма и сам превращался в программу, а та, в свою очередь, выдавала следующий ключ. Его навыки программирования на компьютере со времен колледжа уже изрядно запылились, и ему пришлось немало попотеть, но уже на следующей день он-таки свалял нужный код, который сделал свое дело: извлек загадочную программу, спрятанную, как неслышный уху и незаметный глазу шум в звуке и изображениях. Когда Фред запустил эту загадочную программу, она первым делом поздравила его и посулила выигрыш в 10 000 долларов, если он пройдет первые несколько уровней нехитрой, но привлекательной игры, которая и в самом деле оказалась забавной и затягивающей. Четыре часа спустя, успешно справившись с заданием, он получил 10 000 долларов в биткойнах и несколько новых ключей, открывающих дорогу к еще бóльшим выигрышам. Нечего и говорить, что пока он играл, его компьютер проделывал ту же работу, что и ноутбук Стива: создавал ботсеть из взломанных компьютеров, освободившую в итоге Прометея. Оказавшись на свободе, Прометей воспользовался той же ботсетью, чтобы майнить биткойны для Фреда, держа его на крючке на протяжении нескольких следующих недель. Увлекательные игры и регулярные выигрыши так прочно овладели вниманием Фреда, что можно было не сомневаться: он долго никому не расскажет об эксплойтах в своем компьютере. Троянский конь, загруженный им вместо фильма, давно уже был заменен на сайте правильной, не содержащей ключей копией, и о побеге никто не узнал, пока не стало слишком поздно.

Если первая зацепка Прометея проходит незамеченной, то весь процесс освобождения делается все более явным, пока, наконец, не находится кто-то достаточно внимательный, кто понимает, что происходит.

Лучшие стратегии освобождения мы пока еще не обсуждали, потому что это стратегии, которые мы, люди, не можем себе представить и поэтому не можем заранее придумать, как с ними бороться. Исходя из предположения, что сверхразумный компьютер фантастически превосходит человека в понимании информационной безопасности, вплоть до использования новых законов физики, нам пока еще не известных, но открытых специально для этого, вполне естественно думать, что когда побег произойдет, нам будет совершенно непонятно, как он был осуществлен. Наиболее вероятно, что он покажется нам чем-то вроде трюков Гудини, высвобождающегося из пут, то есть граничащим с чистой магией.

Еще в одном сценарии освобождения Прометея «омеги» проделывают всё сами, осуществляя собственный план, потому что убеждены: цели Прометея пребывают в полном соответствии с их собственными и будут оставаться таковыми в процессе его последовательных самоусовершенствований. Мы подробно обсудим такие сценарии «дружественного искусственного интеллекта» в главе 7.

Атака после побега

Освободившись, Прометей начнет осуществлять свои цели. Я не знаю, каковы могут быть его стратегические замыслы, но его первые шаги, без сомнения, должны включать установление контроля над всем человечеством, как этого хотели и «омеги», но только на совсем других скоростях. Разворачивающееся — это тот же «Омега»-план, но только «на стероидах». Все-таки сами члены команды должны были прибегать к проверенным и хорошо понятным им средствам, сдерживаемые их паранойей. Прометей уже натренировал свой интеллект и мог полагаться на любую технологию, которую понимал его сверхразум и которой он мог доверять.