На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

73

Существуют несколько сценариев, которые могут к этому привести, но я считаю их маловероятными. Так, уровень риска может дойти примерно до одного к шести, но при этом нам посчастливится прожить еще десяток, а то и больше таких столетий. Или, например, нам лишь с переменным успехом удастся контролировать упомянутые риски, в результате чего уровень риска вернется к значениям XX века, но больше не снизится, и тогда мы сможем прожить еще сотню и даже больше веков в таких условиях.

74

В мае 2019 года Рабочая группа по антропоцену при Международной комиссии по стратиграфии проголосовала за выделение новой эпохи антропоцена с началом в середине XX века. Официально предложение будет внесено к 2021 году, и тогда будет названа возможная точка отсчета эпохи (Subramanian, 2019). [В конце 2022 года это предложение еще не было принято. – Прим. науч. ред.] В 2017 году рабочая группа отметила, что наиболее вероятным маркером станут отметки, оставленные при испытаниях ядерного оружия (Zalasiewicz et al., 2017).

75

Baier (1981).

76

См. Bostrom (2002b; 2013).

77

Бустрём (2013) определил экзистенциальный риск как риск, “который грозит преждевременным вымиранием возникшей на Земле разумной жизни или необратимым и радикальным уничтожением ее потенциала для желаемого развития в будущем”. Мое определение (и пояснения ниже) соответствует второй половине определения Бустрёма. Я не повторил первую часть, поскольку логически необходимость в ней отсутствует (наше “преждевременное вымирание” само по себе стало бы “необратимым и радикальным сокращением”), а потому она только отвлекает внимание от сути вопроса – от уничтожения нашего долгосрочного потенциала.

Обратите внимание, что в соответствии с моими определениями экзистенциальный риск – это просто риск экзистенциальной катастрофы. Я мог бы так и написать, но хотел, чтобы определение было самостоятельным.

78

Я намеренно не указываю, как именно совокупность возможных вариантов будущего определяет наш потенциал. Проще всего сказать, что ценность нашего потенциала соответствует ценности лучшего из открытых для нас вариантов будущего, то есть экзистенциальная катастрофа происходит, когда лучший из оставшихся вариантов будущего оказывается во много раз менее ценным, чем лучший из вариантов, который был у нас ранее. Можно также учесть сложность реализации каждого из возможных вариантов будущего, например определив ценность нашего потенциала как ожидаемую ценность нашего будущего в том случае, если мы пойдем лучшим из имеющихся путей. Но над этим еще предстоит поработать.

Определяя, считать ли катастрофу экзистенциальной, я ориентируюсь на уничтожение потенциала человечества, вместо того чтобы сделать акцент на необратимости итога, по двум основным причинам. Во-первых, такое определение удобнее для выявления набора рисков, которые имеют сходные механизмы работы и предполагают сходные стратегии для их предотвращения. Во-вторых, я смотрю на человечество с оптимизмом. Учитывая, что достаточно долгое время наш потенциал оставался невредим, я полагаю, что у нас есть очень большая вероятность его реализовать, а откаты назад будут лишь временными, если только не уничтожат нашу способность к восстановлению. В таком случае вероятность того, что человечество не сможет достичь великого будущего, главным образом связана именно с уничтожением его потенциала, то есть с экзистенциальным риском.

79

Потенциал можно определять и иначе – например, в более узком смысле, учитывая только то, на что мы способны сегодня или, вероятно, будем способны завтра. Потенциал такого типа можно увеличить, если работать над расширением своих способностей. Однако в этой книге я рассматриваю только наш долгосрочный потенциал (вкладывая в это понятие тот смысл, который описан в основном тексте). Когда я говорю просто “потенциал” (ради краткости), речь идет о “долгосрочном потенциале”.

80

Если остается слабая надежда на восстановление, то некоторые из моих прямолинейных утверждений нельзя воспринимать буквально. Например, утверждение о том, что после экзистенциальной катастрофы “нет пути назад”. Это досадно, но я считаю, что игра стоит свеч.

Я оставляю слабую надежду на восстановление, чтобы мне не могли возразить, что шанс на возрождение всегда есть, пусть даже бесконечно малый. Следовательно, строго говоря, потенциал не может быть уничтожен полностью. Однако от такого строгого прочтения мало пользы. Чтобы сделать выбор, нам не нужно знать, каким именно будет шанс на восстановление при реализации определенного сценария – ровно 0 % или 0,1 %. Обе ситуации почти одинаково плохи в сравнении с текущей, и плохи они по одной причине: их чрезвычайно сложно обратить вспять, и они (почти полностью) уничтожают наш долгосрочный потенциал. Более того, в обоих случаях нам следует действовать схожим образом: принимать предупредительные меры, а не учиться на ошибках. Ситуации, в которой у человечества в буквальном смысле “нет пути назад”, стоит избегать по тем же причинам, что и ситуации, когда “практически нет пути назад”. Таким образом, лучше всего включить почти необратимые ситуации в определение наравне с совершенно необратимыми.

81

Если наш потенциал значительно превосходит текущее состояние цивилизации, то событие, которое просто законсервирует текущее положение вещей, будет считаться экзистенциальной катастрофой. Примером может служить перманентная остановка технического прогресса.

Может показаться странным, что мы называем катастрофой сценарий, который просто крайне далек от оптимального. Мы привыкли считать, что потенциал уничтожают такие события, которые вызывают страдания незамедлительно, а не такие, которые разрушают чей либо потенциал, не меняя качества жизни в настоящий момент. Но рассмотрим, например, решение родителей не давать образование своему ребенку. Оно не вызовет страданий немедленно, но может привести к катастрофическому исходу для ребенка в отдаленном будущем.

82

В некоторых случаях идеи и методики из этой книги могут также применяться к таким местным “экзистенциальным угрозам”, поскольку они имеют определенные сходства (в миниатюре).

83

Здесь тоже есть свои проблемы. Так, порой нам придется говорить, что нечто было риском в прошлом (насколько нам известно), но больше риском не является. Например, раньше были опасения, что ядерное оружие подожжет атмосферу (см. с. 108). Но обратите внимание, что такое случается с рисками любого типа: так, на прошлой неделе мы могли полагать, что существует риск падения лифта из за потертости троса, но теперь этот риск снизился до нуля, поскольку у нас появились новые данные (мы проверили трос и обнаружили, что с ним все в порядке). Подробнее об объективной и логической вероятности при определении