На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

class="p1">Но далее он предлагает нечто напоминающее экзистенциальную безопасность, о которой говорю я (1994, p. 371): “Они мигом создают инструменты для изменения миров. Некоторые планетарные цивилизации способны спланировать будущее, определиться с тем, что можно сделать и чего делать нельзя, поэтому спокойно проходят период невзгод. Другие, менее благоразумные или менее везучие, исчезают”.

519

Мои коллеги Андерс Сандберг и Стюарт Армстронг подробнее рассматривают логические и математические аспекты этого утверждения (Armstrong & Sandberg, 2013). Они показывают, что число избыточных копий должно просто возрастать логарифмически, чтобы вероятность существования в любой момент хотя бы одной копии была ненулевой.

520

Распространение этих рисков ограничивается скоростью света, поэтому из за космического расширения область их распространения будет конечной (см. главу 8). Впрочем, нам это мало что дает, поскольку в настоящий момент в область поражения входит все, чего мы когда либо можем достичь. В далеком будущем ситуация немного улучшится: все группы галактик окажутся изолированными друг от друга, поэтому мы, возможно, расселимся по миллионам независимых миров. Но повторно заселить какую либо из таких локаций, находясь при этом в другой, не получится, а потому в среднем при риске в 1 % будет навсегда уничтожаться 1 % из них. Согласно некоторым точкам зрения, это будет не лучше, чем риск с вероятностью 1 % лишиться всех их. Даже если нам достаточно, чтобы выстоял хотя бы один бастион человечества, пользы от него будет мало. В отсутствие возможности повторно заселять локации и при стабильном вековом риске вымирания в каждом из миров 1 к 1000 все локации исчезнут уже через 5 млн лет. Этот срок может показаться немалым, однако, поскольку для начала нам нужно продержаться сто миллиардов лет, пока Вселенная не разделится на изолированные зоны, защититься таким образом у нас не получится. Истинную защиту обеспечивает не избыточность, а готовность принимать риски всерьез и работать над их устранением.

521

Неясно, насколько это помогает. Прежде всего, это зависит от того, какая часть экзистенциального риска не коррелирована между планетами и как лучше всего моделировать этот риск. Можно, например, считать, что некоторая доля агрегированного риска не коррелирована, и утверждать, что расселение по другим планетам ее устранит. Таким образом, устранение этой доли агрегированного риска может существенно изменить наши шансы реализовать свой потенциал. Но мы также можем смоделировать свою ситуацию, посчитав некоррелированной некоторую долю риска в каждом столетии (например, 5 % из общих 10 %). В этом примере устранение некоррелированного риска (при сохранении коррелированного) просто удвоит ожидаемое время до экзистенциальной катастрофы с 10 веков до 20, что лишь незначительно увеличит продолжительность жизни человечества. Я не знаю, какая из этих моделей лучше.

Также возникают вопросы к экономической эффективности такого пути. На мой взгляд, основание космической колонии – не самый экономичный способ снизить риск в текущем столетии. Например, основать подобные самодостаточные колонии в труднодоступных регионах Земли (в Антарктиде, на морском дне…) вышло бы гораздо дешевле, и при этом они защитили бы нас от многих из тех же рисков. Впрочем, возможно, неверно полагать, что деньги на космические колонии выделяются из того же ограниченного бюджета, что и на снижение рисков. Это настолько вдохновляющий проект, что средства на него могут поступить и из других источников, а вызываемое им воодушевление (вкупе с пониманием, что человечеству действительно суждено жить среди звезд) может способствовать увеличению общего объема ресурсов, выделяемых на обеспечение экзистенциальной безопасности.

522

В зависимости от того, как именно мы определяем экзистенциальную катастрофу, их может случиться и две. Допустим, мы лишились 99 % своего потенциала в экзистенциальной катастрофе. Поскольку я не утверждаю, что катастрофа может считаться экзистенциальной, только если полностью уничтожит наш потенциал, такая катастрофа идет в расчет. В последующие годы нам, возможно, целесообразно будет оберегать оставшийся 1 % нашего потенциала от новых катастроф. Если изначально наш потенциал был поистине велик, то оставшийся 1 % также может быть велик в сравнении с нашими будничными заботами и доводы в пользу его сохранения могут быть очень вескими. В этом случае людям, живущим после первой экзистенциальной катастрофы, логично изучить все подходы к работе с экзистенциальным риском.

Можно определить экзистенциальный риск через наш остаточный потенциал, и тогда человечество может столкнуться с несколькими последовательными экзистенциальными катастрофами, а можно определить его через наш изначальный потенциал, и тогда в расчет пойдет лишь первая катастрофа. Я не знаю, какое из определений лучше, поэтому оставляю этот вопрос открытым. Обратите, однако, внимание, что ничего из написанного в этом разделе из за этого не меняется. Даже если люди смогут научиться на ошибках первой экзистенциальной катастрофы, это позволит им сохранить лишь остатки ценности, а значит, первая катастрофа безгранично важнее, и при этом сталкиваются с ней люди, в представлении которых она имеет беспрецедентный характер.

523

См. Groenewold (1970) и Bostrom (2002b).

524

Эти меры могут быть направлены на любую стадию катастрофы – предупреждать ее начало, ограничивать ее распространение, создавать устойчивость к ее воздействию, – но выделять ресурсы, собирать информацию и планировать действия все равно нужно заранее.

525

Я взял эту мысль у Бустрёма (Bostrom, 2013, p. 27).

526

Иногда эту ситуацию называют “Найтовой неопределенностью” или просто “неопределенностью” и отличают от ситуаций “риска”, в которых у нас есть доступ к вероятностям (Knight, 1921). Существует несколько способов провести такое различение, например применять понятие “неопределенность” только к ситуациям, когда мы не обладаем никакой поддающейся количественной оценке информацией о том, случится ли событие.

Я не стану использовать такую терминологию на страницах этой книги и продолжу называть экзистенциальные риски “рисками”. Обратите внимание, что почти всегда я говорю о “рисках” применительно к ситуациям, объективная вероятность которых нам неизвестна, но у нас есть хотя бы какие то количественные данные о том, случится ли катастрофа (например, то, что вероятность начала ядерной войны в следующую минуту составляет менее 50 %).

527

Обзор попыток и методик оценки экзистенциального риска см. в Rowe and Beard (2018).

528

Lepore (2017).

529

Дерево ошибок – это схема логических связей между событиями, в частности связей, приводящих к провалу. Оно позволяет выявить возможные источники провалов – последовательности и комбинации событий, которые должны случиться, чтобы