На краю пропасти. Экзистенциальный риск и будущее человечества - Тоби Орд

Моравека, который в 1988 году написал: “Однако по мере появления все новых демонстрационных версий стало очевидно, что сравнительно легко вывести компьютер на уровень взрослого человека при решении задач в тестах на интеллект или при игре в шашки, но сложно или вовсе невозможно наделить его навыками годовалого ребенка в области восприятия и мобильности”.

396

Структура главным образом усовершенствовалась за счет появления сверточных нейронных сетей (СНС) и рекуррентных нейронных сетей (РНС). Обучение – за счет применения различных модификаций алгоритма стохастического градиентного спуска, таких как Adam и импульс Нестерова. Усовершенствования в сфере аппаратного обеспечения были спровоцированы переходом от центральных процессоров к графическим, а теперь – к более специализированным устройствам, таким как тензорные процессоры. Эти успехи подпитывали друг друга в рамках благотворного цикла: теперь, когда нейронные сети так хороши, имеет смысл собирать крупные базы данных для их обучения и разрабатывать специализированное аппаратное обеспечение для их работы, в результате чего все становится лучше, оправдывая всё новые инвестиции.

397

He et al. (2015).

398

Phillips et al. (2011); Ranjan et al. (2018).

399

Перевод (Hassan et al., 2018); создание фотографий (Karras et al., 2017); подражание голосу (Jia et al., 2018); беспилотные автомобили (Kocić, Jovicic & Drndarević, 2019); конструктор Lego (Haarnoja et al., 2018).

400

Bernstein & Roberts (1958); IBM (2011). На протяжении последних пятидесяти лет шахматные программы прибавляли примерно по 50 пунктов рейтинга Эло в год, причем примерно половину из этого им приносило усовершенствование алгоритма, а другую половину – усовершенствование оборудования (Grace, 2013).

401

Silver et al. (2018). Нужно осторожно относиться к таким цифрам и учитывать, какое оборудование использовалось. При обучении AlphaZero использовался гигантский объем вычислительной мощности (5000 тензорных процессоров), а значит, за указанные четыре часа она смогла смоделировать огромное количество партий в шахматы против других версий себя и таким образом нащупать наиболее выигрышную стратегию. Это важная оговорка при сравнении достижений AlphaZero с другими прорывами, поскольку программное обеспечение было усовершенствовано не так сильно, как кажется на первый взгляд. Но я думаю, что, оценивая риск, сопряженный с ИИ, важно знать, сколько времени система потратила на обучение, поскольку это показывает, как быстро ИИ-система может выйти из под контроля в реальном времени.

402

Strogatz (2018).

403

Возможно, AlphaZero даже превзошла тот уровень, который лучшие игроки в го считали идеальным. Принято думать, что для победы в партии, которую противник ведет идеально, лучшим игрокам нужна фора в три-четыре камня (Wilcox & Wilcox, 1996). Через 30 часов AlphaZero оказалась более чем на 700 пунктов рейтинга Эло выше лучшего из профессиональных игроков. Хотя сложно перевести фору в пункты рейтинга на таком исключительно высоком уровне игры, это примерно соответствует прогнозам для идеального ведения партии (Labelle, 2017). Было бы любопытно посмотреть, как AlphaZero играет с лучшими игроками, увеличивая фору, и понять, на сколько камней она опережает их в реальности.

404

Строго говоря, Кэ Цзе имел в виду версию AlphaGo Master, которая появилась раньше AlphaGo Zero (Wall Street Journal, 2017).

405

Прорывом стал алгоритм DQN (Mnih et al., 2015), в котором успешно соединились глубокое обучение и обучение с подкреплением. DQN продемонстрировал человеческий уровень в 29 из 49 игр Atari. Однако он не был в полной мере общим: как и при обучении AlphaZero, для каждой игры приходилось обучать отдельную копию сети. Впоследствии удалось обучить единую сеть играть во все игры на человеческом уровне и лучше, добившись среднего показателя в 60 % от человеческого уровня (Espeholt et al., 2018).

406

Посещаемость одной из главных конференций, NeurIPS, в период с 2012 по 2018 год повысилась в 4,8 раза. Объем венчурных инвестиций в ИИ в период с 2013 по 2018 год вырос в 4,5 раза (Shoham et al., 2018).

407

Основано на данных из Brundage et al. (2018), Coles (1994) и Shoham et al. (2018). Иллюстрации взяты в Goodfellow et al. (2014), Radford, Metz & Chintala (2015), Liu & Tuzel (2016) и Karras et al. (2017).

408

Анкету разослали всем исследователям, которые заявили свои работы на две ведущие конференции по машинному обучению в 2015 году (NeurIPS и ICML). Данные получены из ответов 352 откликнувшихся исследователей (Grace et al., 2018).

409

Любопытно, что наблюдалось существенное и статистически значимое различие между сроками, которые называли исследователи с разных континентов. Исследователи из Северной Америки полагали, что вероятность достигнет 50 % за 74 года, а исследователи из Азии считали, что на это уйдет всего 30 лет (европейцы занимали промежуточную позицию).

Обратите также внимание, что приведенная оценка, вероятно, довольно ненадежна. Часть респондентов отвечала на вопрос, сформулированный несколько иначе (последствия для рынка труда оценивались через освоение любой профессии, а не выполнение любой задачи). Они оценили, что с вероятностью 50 % поставленное условие будет выполнено к 2138 году, а с вероятностью 10 % – уже к 2036 году. Я не знаю, как трактовать такое расхождение, но оно наталкивает на мысль, что к этим оценкам следует относиться осторожно.

410

Если брать за ориентир что либо другое, нужно полагать, что вы способны систематически прогнозировать успехи соответствующего научного сообщества лучше, чем оно само. Основанием для этого может служить чрезмерный оптимизм специалистов при оценке своих шансов достичь поставленных целей, однако не стоит забывать, что общественность ожидает появления ОИИ еще раньше (Zhang & Dafoe, 2019).

411

Эта аналогия не идеальна. Исследователи ИИ не пытаются создать новый вид и выпустить его в дикую природу, а разрабатывают новые сущности для решения проблем. Однако все большее их число применяет для этого интеллект общего назначения, в который заложены свобода выбора и способность к самостоятельным действиям. Как мы увидим, текущая парадигма ОИИ естественным образом приобретает дополнительную установку на захват контроля над миром, чтобы защитить себя и добиться своей цели.

Теоретически могло бы существовать несколько видов, каждый из которых вершил бы свою судьбу, но в таком случае