На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

удерживаем его на этом уровне. Это прекрасный первый шаг, но его необходимо дополнить обязательством снижать риск и дальше. При вековом риске в 1 % у нас в среднем будет только 100 веков, прежде чем случится экзистенциальная катастрофа. Может показаться, что это долгий срок, но это лишь 5 % от продолжительности нашего существования к настоящему моменту и лишь крошечная доля того, чего мы должны бы достигнуть.

Напротив, если бы мы нашли способ непрерывно снижать риск в каждом веке, экзистенциальная катастрофа не была бы предопределена. Например, если бы с каждым следующим столетием мы снижали вероятность вымирания на одну десятую (1 %, 0,9 %, 0,81 %…), вероятность того, что мы не столкнемся с экзистенциальной катастрофой никогда, сколько бы веков ни прошло, превысила бы 90 %. Ведь вероятность того, что мы выживем во все периоды, такова:

(100 % – 1 %) × (100 % – 0,9 %) × (100 % – 0,81 %) × … ≈ 90,4598 %.

Это значит, что с вероятностью более 90 % мы проживем до того момента, пока не дойдем до какого нибудь непреодолимого внешнего рубежа: например, когда умрут последние звезды, когда все вещество преобразуется в энергию или когда мы достигнем всего, чего можно достичь, имея доступные нам ресурсы.

Непрерывное снижение риска может оказаться проще, чем мы думаем. Если бы риски каждого века были никак не связаны с рисками следующего века, со временем нам приходилось бы прилагать все больше усилий, чтобы их снижать. Но многие действия, которые мы можем совершить сегодня, снижают риски на долгие времена. Это, например, изучение экзистенциального риска и лучших стратегий для работы с ним, воспитание благоразумия и терпения в нашей цивилизации, а также создание институтов для исследования экзистенциального риска и управления им. Поскольку эти действия влияют и на риски в последующие периоды, они могут способствовать снижению векового риска, даже если количество усилий со временем остается неизменным. Кроме того, число новых антропогенных рисков может быть ограничено, и тогда в последующие столетия не будет появляться новых рисков, которыми придется управлять. Например, если мы доберемся до технологического потолка, у нас не будет возникать новых технологических рисков.

508

При расстановке приоритетов важно соблюдать баланс между обеспечением надежной долгосрочной защиты и тушением пожаров, чтобы дать себе шанс дожить до того момента, когда надежная защита пойдет нам на пользу. И баланс этот зависит от того, как, на наш взгляд, риск распределяется во времени. Возможны даже такие ситуации, когда лучше всего совершать действия, сопряженные с мгновенным риском, если это нивелируется тем, насколько они снижают долгосрочный риск. Примерами могут служить разработка продвинутого искусственного интеллекта и централизация контроля над глобальной безопасностью.

509

Это название предложил Уильям Макаскилл, который также изучает необходимость этого процесса и возможный механизм его работы.

Ник Бустрём (Bostrom, 2013, p. 24) выразил подобную идею: “Наши текущие представления об аксиологии могут быть ошибочными. Мы можем не знать – по крайней мере, не знать в деталях, – какие исходы будут считаться большой победой человечества. Возможно, мы пока не можем даже представить лучшие исходы для самих себя. Если мы действительно сильно сомневаемся в своих итоговых целях, нам стоит понять, что огромной ценностью обладает альтернативный вариант: сохранение – а также в идеале улучшение – нашей способности распознавать ценности и направлять свое будущее развитие соответствующим образом. Наделить будущую версию человечества огромными силами и умением пользоваться ими с умом – это, вероятно, лучший из доступных нам способов повысить вероятность того, что будущее заключит в себе огромную ценность. Для этого мы должны предотвратить любую экзистенциальную катастрофу”.

Неясно, насколько длительным должен быть этот период размышлений. Я полагаю, что разумно будет потратить на раздумья несколько веков (и даже больше), прежде чем вносить серьезные необратимые изменения в наше будущее, выбрав тот или иной его вариант. С нашей точки зрения может показаться, что это очень долго, но жизнь и прогресс в большинстве сфер не остановятся. Вспомним о таком периоде, как эпоха Возрождения, когда интеллектуальные проекты во многих сферах растягивались на целые века. Если речь идет о чрезвычайно долгосрочных проектах (на реализацию которых уйдут миллионы лет), я полагаю, что мы вполне можем взять даже большее время на раздумья, чтобы наверняка прийти к верному решению.

510

На мой взгляд, с серьезными размышлениями об идеальном будущем лучше всего справляется научная фантастика, и не в последнюю очередь это объясняется тем, что ей позволено рисовать миры, где уровень технологического развития значительно превышает текущий. В “твердой” научной фантастике описываются общества, амбиции и достижения которых ограничиваются лишь фундаментальными физическими законами. В “мягкой” научной фантастике рассматривается, что может пойти не так, если различные идеалы нашего времени будут доведены до крайности, и какие новые этические проблемы возникнут, если новые технологии откроют нам радикально новые пути для личного и общественного развития. Прекрасным примером, в котором объединяются оба поджанра, служит “Диаспора” (1997) Грега Игана, где почти все существа цифровые, что сильно меняет пространство возможной утопии.

Однако у таких рассуждений есть и минусы, поскольку они ограничены рамками художественных произведений. Из-за этого приходится соблюдать баланс между тем, чтобы исследовать миры, которые действительно могли бы быть утопиями, и делать их достаточно интересными для читателя, как правило допуская существование фундаментальных угроз благополучию человечества. И это значит, что внимание критиков направляется главным образом на стиль, раскрытие образов и тому подобные вещи, а конструктивные попытки авторов создать и детализировать свою картину будущего отходят на второй план.

511

Поскольку спрогнозировать итоги раздумья непросто, запустить процесс, вероятно, будет легче: нам поможет покров неведения. Если бы нам было более или менее ясно, к какому из вариантов будущего в конце концов подтолкнет нас долгое раздумье, у нас возник бы соблазн судить об этом в свете текущих представлений об этике. В таком случае те, чьи текущие виды на будущее далеки от того, каким оно станет в итоге, вероятно, захотели бы воспрепятствовать этим размышлениям. Однако, поскольку сейчас мы никак не можем сказать, к чему нас приведет этот процесс, мы все понимаем, что лучше выбрать будущее по дополнительном размышлении, вместо того чтобы просто вступать в противоборство, отстаивая свои текущие взгляды. Этот покров неведения, вероятно, сможет даже решить проблемы, возникающие из за того, что люди до абсурда уверены в своих взглядах. Ведь если представители каждого из лагерей полагают, что их позиция исключительно хорошо подкрепляется аргументами, они также будут считать,