Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта - Макс Тегмарк

Шансы омницида сильно возрастают, если мы преобразуем существующее ныне ядерное оружие в машину Судного дня. Идею предложил стратег Корпорации RAND Герман Кан в 1960 году, а Стэнли Кубрик популяризировал ее в фильме Dr. Strangelove, после чего машина Судного дня превратилась в парадигму гарантированного взаимного уничтожения. Получается идеальный сдерживающий фактор: машина, которая автоматически возвращает удар любого противника, уничтожая все человечество.

Один из возможных вариантов машины Судного дня — это просторное подземное хранилище, где сложены, как их иногда называют, «соленые ньюки» — по возможности крупные водородные бомбы, обложенные большим количеством кобальта. Физик Лео Сцилард еще в 1950 году утверждал, что такое способно убить все на Земле: взрывы бомб сделают кобальт радиоактивным и выбросят его в стратосферу. Пятилетний период его полураспада достаточно велик, чтобы он распределился над всей поверхностью Земли (в особенности если две одинаковые машины будут расположены симметрично в противоположных полусферах), и достаточно короток, чтобы интенсивность радиации была смертельной. В СМИ сообщается, что сейчас кобальтовые бомбы впервые стали изготавливаться. Омницидальные достоинства могут быть усилены добавлением бомб, оптимизированных под ядерную зиму: они должны распылить в стратосфере долгоживущие аэрозоли. Ключевой момент в истории с машиной Судного дня — в ее относительной дешевизне при сравнении с обычным ядерным сдерживанием: поскольку эти бомбы не надо никуда доставлять, не нужны дорогостоящие ракетные системы, да и сами бомбы можно сделать попроще, коль скоро они не должны быть ни легкими, ни компактными для установки на ракетах.

Еще одну возможность для создания машины Судного дня дает биологическое оружие: в ней будут содержаться специально выращенные бактерии или вирусы, уничтожающие всех людей. Если их трансмиссивность будет достаточно высока, а инкубационный период достаточно продолжителен, то почти все успеют подхватить заразу, прежде чем о ее существовании станет известно и можно будет принять контрмеры. Есть веский военный довод в пользу создания такого биологического оружия, даже если оно не уничтожит всех: наиболее эффективная машина Судного дня должна сочетать в себе различные поражающие факторы — и ядерный, и биологический, и, по возможности, какой-нибудь еще, чтобы увеличивать сдерживающую врага силу.

AI-оружие

Третий технологический путь к омнициду может сопровождаться созданием в некотором роде необычного оружия с использованием искусственного интеллекта. Предположим, некая сверхдержава создает миллиарды тех самых атакующих дронов размером со шмеля, которые мы описывали в главе 3, и решает с их помощью уничтожить всех людей, кроме своих граждан и союзников, которые удаленно идентифицируются с помощью радиочастотных id-тэгов, какими сейчас помечаются товары в большинстве супермаркетов. Эти тэги распространяют среди граждан, чтобы те носили их либо как браслеты, либо как подкожные импланты, упоминавшиеся в связи с тоталитарными методами. Вражеская сверхдержава, наверное, тоже решит создать нечто подобное. Когда случайно разразится война, все люди будут убиты, даже члены самых далеких племен, не имеющие никакого отношения к конфликту, потому что никто не станет носить тэги обоих видов. Сочетание этого способа с биологической и ядерной машинами Судного дня благоприятствует дальнейшему увеличению шансов успешного омницида.

Мы начинали эту главу с размышлений о том, к чему бы вы хотели, чтобы вела нас AGI-гонка. И теперь, когда перед вами была развернута широкая панорама различных сценариев, одного за другим, самое время снова спросить: какой из них вас больше привлекает, а какого мы должны изо всех сил избегать? У вас есть явный фаворит? Пожалуйста, сообщите об этом мне и другим читателям на странице http://AgeOfAi.org и присоединяйтесь к нашей дискуссии!

Сценарии, которые были описаны, очевидно, не исчерпывают всех возможностей, и некоторым из них недостает важных деталей, но я приложил много усилий, чтобы сделать список как можно более полным, включив в него широкий набор вариантов, от высокотехнологичных до низкотехнологичных и нетехнологичных, и описывая попутно все главные страхи и упования, какие встречаются в литературе.

Во время работы над этой книгой забавно было слышать от друзей и коллег, что они думают по поводу того или иного сценария, и отсутствие какого бы то ни было согласия среди них немало меня развеселило. Единственное, в чем все они сошлись, это в том, что сделать выбор в итоге оказалось намного сложнее, чем они думали вначале. Люди, которым нравился какой-то один определенный сценарий, непременно находили в нем что-нибудь настораживающее. Для меня это означало, что мы, люди, должны продолжать разговор о своих будущих целях, делая его детальнее и глубже, чтобы понимать, в каком направлении вращать свой штурвал. Перспективы переноса нашей жизни в космос воодушевляюще высоки, и давайте не будет относиться к этому беспечно, словно мы находимся на неуправляемом корабле и не представляем, куда бы мы хотели его направить!

Но как же все-таки велик этот будущий потенциал? Как бы далеко ни заходили наши технологии, способность Жизни 3.0 к самосовершенствованию и к распространению в космосе по-прежнему будет ограничена законами физики. Но где именно пройдут эти границы? Есть ли внеземная жизнь в космосе уже сейчас, или мы в нем одиноки? Что произойдет, когда различные цивилизации, претендующие на экспансию в космосе, встретятся? Мы займемся этими увлекательными вопросами в следующей главе.

• Если когда-нибудь нам удастся создать AGI человеческого уровня, за этим может последовать интеллектуальный взрыв, и мы в результате останемся далеко позади.

• Если группа людей совладает с управлением этим интеллектуальным взрывом, то эти люди смогут в течение нескольких лет взять в свои руки власть над всем миром.

• Нынешние настойчивые попытки создать AGI в случае успеха могут иметь поразительно широкий спектр последствий, складывающихся в несколько типических сценариев на предстоящие тысячелетия.

• Сверхразум может мирно сосуществовать с людьми, либо потому, что принужден к этому (сценарий плененного бога), либо потому, что так хочет его «дружественный искусственный интеллект» (сценарии либертарианской утопии, бога-защитника, благодетельного диктатора или зоопарка).

• Создание сверхразума может быть предотвращено или искусственным интеллектом (сценарий стража), или людьми (сценарий 1984) путем намеренного забвения результатов технологического прогресса (сценарий возврата) или исключением стимулов к его созданию (сценарий эгалитарной утопии).

• Человечество может пойти по пути полного вымирания и либо оказаться замененным AGI (сценарии благодарных потомков и завоевателей), либо исчезнуть без следа (сценарий самоуничтожения).

• Нет абсолютно никакого согласия относительно того, какой из этих сценариев был бы для нас желательным, и вообще — есть ли такой среди них. У каждого сценария находятся свои отрицательные стороны. Тем более необходимо продолжать обсуждение наших будущих целей и углублять повестку такого обсуждения, разговор вокруг, чтобы мы случайно не двинулись в нежелательном направлении.