На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

убеждений, желаний и намерений команд, компаний и государств. Задумайтесь, как часто мы говорим о стратегии компании, интересах нации и даже о том, чего надеется достичь государство, когда ведет свою игру. Субъективные состояния групп обычно не столь последовательны, как у индивидов, поскольку между индивидами, входящими в группу, нередко возникают трения. Впрочем, некоторые метания и внутренняя непоследовательность свойственны и индивидам, и понятие “групповой агент” оказалось незаменимым для всех, кто пытается разобраться в мире бизнеса или проанализировать ситуацию на международной арене.

Применение такого подхода ко всему человечеству становится все более полезным и важным. Человечество было поделено на разные народы с самой зари цивилизации. Лишь недавно мы нашли друг друга по разные стороны морей и приступили к формированию единой мировой цивилизации. Лишь недавно мы узнали, какой длинный и извилистый путь мы прошли, и выяснили, какой потенциал имеет наше будущее. И лишь недавно мы столкнулись с серьезными угрозами, которые требуют от мира слаженной работы.

Не всегда стоит смотреть на ситуацию с такой точки зрения. Со многими моральными испытаниями мы сталкиваемся на личном уровне или на уровне небольших групп. Даже когда дело доходит до главных вопросов, порой важнее проанализировать различия в рамках человечества: различия в силе, различия в уровне ответственности. Однако, подобно тому как иногда полезно взглянуть на ситуацию с позиции всей планеты, иногда важно сделать еще один шаг назад и занять позицию человечества.

Концепция цивилизационных добродетелей – лишь один пример того, как рассматривать ситуацию с такой точки зрения. В седьмой главе мы сделаем это снова, чтобы проанализировать великую стратегию человечества. И даже обязательства нашего поколения и обязанности каждого из нас предстанут в новом свете, когда мы увидим общую картину жизни человечества на протяжении целых эпох.

Неопределенность

Итак, мы можем анализировать важность экзистенциального риска с позиции нашего настоящего, нашего будущего, нашего прошлого, нашего характера и нашей космической значимости. Самыми обоснованными мне кажутся соображения, основанные на ценности нашего настоящего и будущего, но существование других ракурсов показывает, насколько весомы поводы для беспокойства: они опираются не на какое-нибудь одно этическое учение, а естественным образом затрагиваются в самых разных. Хотя природа и степень озабоченности могут различаться, вместе они формируют мощную опору идеи о том, что недопущение экзистенциальной катастрофы есть важнейшая нравственная задача человечества.

Уверен, многие читатели уже в этом убедились, но у некоторых еще остаются сомнения. Я могу их понять, потому что полной определенности не чувствую даже я. В этой неопределенности два аспекта. Первый – будничный; это неопределенность насчет будущего. Вдруг мы зря полагаем, что у человечества огромный потенциал? Второй аспект – моральный; это неопределенность характера наших этических обязательств[123]. Вдруг я заблуждаюсь насчет серьезности наших обязательств перед будущими поколениями?

Впрочем, чтобы сделать экзистенциальный риск глобальным приоритетом, определенности и не требуется, поскольку ставки неравны. Если мы станем вкладываться в защиту человечества, на самом деле не имея такой обязанности, то ошибемся и потратим ресурсы, которые могли бы пустить на другие благородные дела. Но если мы махнем рукой на будущее, имея обязанность его защитить, то совершим гораздо более серьезную ошибку, не справившись, пожалуй, с самой важной своей задачей. Если доводы в пользу защиты будущего кажутся нам вполне убедительными, крайне безрассудно ими пренебрегать[124].

Даже если рассуждать о будущем в пессимистическом ключе и иметь отрицательные ожидания, полагая, что наши будущие взлеты более чем уравновешиваются возможными падениями, все равно найдется веское основание оберегать наш потенциал[125]. Начнем с того, что некоторые экзистенциальные катастрофы (например, вечный мировой тоталитаризм) при любом раскладе останутся неоспоримо ужасными, а потому заслуживающими нашего внимания. Но есть и более глубокая причина. При такой логике невероятную ценность приобретает получение информации о том, каким окажется наше будущее – благополучным или провальным. А поэтому лучше на всякий случай оберегать человечество, пока у нас не появится гораздо больше данных для ответа на этот важнейший вопрос[126].

Наши потомки будут лучше осведомлены не только о ценности будущего. Сегодня у нас по-прежнему не так уж много опыта. Мы еще не набили руку в решении таких сложных задач, как управление глобальной цивилизацией и всей планетой. Наша картина будущего затуманена нашим невежеством и искажена предвзятостью. Но если все пойдет хорошо, наши потомки будут гораздо мудрее нас. У них будет время гораздо лучше разобраться в положении человечества; они будут набираться сил и знаний у более справедливой, умелой и зрелой цивилизации; принимая решения, они, как правило, будут лучше понимать, что стоит на кону. В связи с этим сегодня – возможно, на самых ранних этапах истории – нам лучше не забывать о скромности, не торопиться с выбором и делать все возможное, чтобы наши потомки получили шанс, прозрев, принимать более взвешенные решения, чем мы сейчас[127].

Как мы пренебрегаем экзистенциальными рисками

Мир только начинает осознавать важность экзистенциального риска. Мы уже приступили к оценке самых значимых угроз и ищем способы их избежать, но добиться того, чтобы масштаб нашей деятельности соответствовал масштабу проблем, нам только предстоит. В контексте общего распределения глобальных ресурсов экзистенциальным риском прискорбно пренебрегают.

Рассмотрим возможность искусственной пандемии, входящую, как мы скоро увидим, в число самых серьезных рисков, с которыми сталкивается человечество. Годовой бюджет международного органа, ответственного за запрет биологического оружия (Конвенции о биологическом оружии), составляет всего 1,4 млн долларов, а это меньше бюджета среднего “Макдональдса”[128]. Все расходы на снижение экзистенциальных рисков, связанных с продвинутым искусственным интеллектом, ограничиваются десятками миллионов долларов, в то время как на развитие искусственного интеллекта выделяются миллиарды долларов[129]. Сложно точно измерить мировые расходы на снижение экзистенциального риска, но можно с уверенностью сказать, что человечество из года в год больше тратит на мороженое, чем на обеспечение того, чтобы разрабатываемые нами технологии нас не уничтожили[130].

В научных исследованиях ситуация примерно такая же. Подробно изучается риск небольших катастроф, но