На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

id="id291">

373

Danzig et al. (2011). В первом теракте “Аум синрикё” с применением зарина, осуществленном в 1994 году и направленном против судей, задействованных в процессах по делу организации, погибло 8 человек и пострадало 200. Вскоре после этого члены организации с помощью VX-газа убили человека, которого заподозрили в сотрудничестве с полицией. На следующий год в устроенном ими теракте в токийском метро погибло 13 человек и пострадало 6000.

374

В письме Эйнштейну о содержании их манифеста (датированном 11 февраля 1955 года) Рассел написал: “Хотя в настоящий момент в центре внимания находится водородная бомба, разрушительные возможности науки этим не ограничиваются, и вероятно, что совсем скоро бактериологическое оружие станет представлять не меньшую опасность” (Russell, 2012).

375

Из статьи Ледерберга “Биологическое оружие и гибель человечества” (1969).

376

Например, Пинкер пишет: “Угроза биологического терроризма тоже может оказаться призрачной. Биологическое оружие, от которого в 1972 году отказались практически все страны мира, подписав соответствующую международную конвенцию, ни разу не сыграло никакой роли в современных войнах. Запрет был вызван почти повсеместным отвращением к самой идее таких боеприпасов, но даже военных долго убеждать не пришлось, потому что микроскопические живые существа – никудышное оружие” (Pinker, 2018, p. 306; перевод Г. Бородиной и С. Кузнецовой).

377

См. примечание 54 к главе 2.

378

Tucker (2001). Исполнение положений Договора о нераспространении ядерного оружия проверяется Международным агентством по атомной энергии, где работает 2500 человек. Исполнение положений Конвенции о запрещении химического оружия проверяется Организацией по запрещению химического оружия, где работает 500 человек.

379

СССР подписал КБО в 1972 году и ратифицировал ее в 1975 году (Davenport, 2018). Разработка биологического оружия в стране велась с 1928 года как минимум до 1991 года (Carus, 2017).

380

ЮАР подписала КБО в 1972 году и ратифицировала ее в 1975 году (Davenport, 2018). Разработка биологического оружия в стране велась с 1981 по 1993 год (Gould & Folb, 2002).

381

Ирак подписал КБО в 1972 году и ратифицировал ее в 1991 году (Davenport, 2018). Разработка биологического оружия в стране велась примерно с 1974 по 1991 год (Carus, 2017).

382

В 2018 году советник президента США по национальной безопасности Джон Болтон сказал: “Есть… государства, которые входят в Конвенцию по биологическому оружию, однако, как мы полагаем, нарушают ее” (Bolton & Azar, 2018).

383

Известно, что в прошлом в Израиле велась разработка биологического оружия (Carus, 2017), и Израиль – одна из всего десяти стран, которые не подписали и не ратифицировали конвенцию (ее подписали 182 государства, включая все остальные развитые страны) (Davenport, 2018).

384

Стоит отметить, что есть и другие трудности. Создать функционирующий вирус только на основе его ДНК не так просто (хотя это удалось одной небольшой группе). Кроме того, в настоящее время сложно замещать ДНК в бактерии. Также существуют ограничения по продолжительности синтеза последовательности, и потому ДНК многих организмов сегодня не поддаются синтезу.

385

DiEuliis, Carter & Gronvall (2017); IGSC (2018).

386

Часто аргументом против обязательного скрининга служит то, что он может открыть конкурентам доступ к интеллектуальной собственности в виде заказываемых последовательностей ДНК. Но у этой проблемы, по видимому, должно быть криптографическое решение (Esvelt, 2018).

Нам известно немало случаев, когда подобные системы защиты пользовательских продуктов подвергались взлому, но они тем не менее могут обеспечить определенный уровень безопасности, поскольку требуют от злоумышленников экспертизы не только в биологии, но и в компьютерных технологиях. Кроме того, они могут помочь “честным людям оставаться честными”, избавляя исследователей от искушения проводить эксперименты над контролируемыми патогенами.

387

Термин предложил Bostrom (2011b). Неформально их также называют “инфоопасностями”.

388

См. Bostrom, Douglas & Sandberg (2016), где авторы делают обзор этой проблемы, проводят ее формальный анализ и предлагают некоторые решения. В работе Lewis (2018) это понятие применяется к биотехнологическим информационным опасностям.

389

Эту ситуацию усугубляет дополнительная неопределенность в вопросе о размере выгоды и риска, поскольку из за нее распределение оценок чистой выгоды становится шире: самые оптимистичные прогнозы оказываются еще дальше от центральных оценок.

Я сказал, что достаточно одной чрезмерно оптимистичной оценки, но если ученому нужно, чтобы информация была опубликована в журнале, то оценок должно быть две – автора и редактора. Это подсказывает, что решать соответствующую проблему нужно на уровне редакторов журналов, где в процессе участвует меньше людей. Можно, как предлагается в Lewis (2018), обязать первый журнал, отклонивший статью из соображений безопасности, делиться своими опасениями с другими, чтобы автор статьи не принялся рассылать ее во все журналы в поисках того единственного, который слишком оптимистично оценит риск.

В Esvelt (2018) предлагается ввести предварительную регистрацию потенциально опасных исследований, чтобы открытые и широкие дискуссии по вопросам безопасности проходили еще до появления опасной информации.

390

В 1999 году Айман аз-Завахири (нынешний лидер “Аль-Каиды”) написал, что планирует приступить к исследованиям химического и биологического оружия: “Хотя они чрезвычайно опасны, мы узнали о них лишь тогда, когда противник привлек к ним наше внимание, многократно выражая беспокойство в связи с тем, что их разработка не представляет труда” (Wright, 2002).

391

Этим соглашением был Женевский протокол 1925 года, в котором был раздел, запрещавший подписавшим протокол государствам первыми применять бактериологическое оружие. Японцы подписали протокол лишь в 1970 году, но получили информацию из самого факта его существования (Harris, 2002, p. 18).

392

Lewis et al. (2019).

393

Так, я специально привел лишь достаточно широко известные примеры.

394

McCarthy et al. (1955). Основы ИИ были заложены еще до Дартмутской конференции, но лето 1956 года обычно считается моментом появления ИИ как области исследований.

395

Это называется парадоксом Моравека по имени пионера ИИ и робототехники Ханса