Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта - Макс Тегмарк

Хотя политическая оппозиция пока что предотвращала полномасштабное применение подобных систем, мы, люди, прямо движемся к построению именно той инфраструктуры, которая так пригодится окончательной диктатуре, так что в будущем, когда достаточно могущественные силы решат, что настало время запустить сценарий «1984», окажется, что им и делать-то для этого ничего не нужно — просто щелкнуть выключателем. Точно так же, как было описано Джорджем Оруэллом в его «1984», окончательная власть в этом будущем глобальном государстве будет сосредоточена не в руках какого-то традиционного диктатора — она окажется под контролем построенной людьми бюрократической системы в целом. Здесь нет единичной фигуры, обладающей исключительной властью; здесь все только пешки в шахматной партии, драконовские правила которой никто не может ни изменить, ни опротестовать. Созданная система, где люди держат друг друга под постоянным наблюдением с помощью современных технологий слежки, это безликое, лишенное явного лидера государство может сохранять устойчивость тысячелетиями, освободив Землю от возможности создания сверхразума.

Что-то не так

У такого общества, естественно, не будет никаких преимуществ из тех, что даются исключительно технологиями искусственного интеллекта. Большинство людей не будут от этого страдать, потому что никогда не узнают, чего именно лишились. Сама идея сверхразума будет удалена из всех официальных записей, а исследовательские работы в этой области запрещены. Время от времени будут появляться вольнодумцы, мечтающие о более открытом и динамичном обществе, в котором знания будут прирастать, а правила изменяться. Но хоть сколько-нибудь долго смогут продержаться лишь те из них, кто быстро научится держать все эти мысли исключительно при себе, мерцая в кромешной тьме как одиночные искры, не способные зажечь никакого пламени.

Разве не соблазнительно было бы избежать технологических опасностей, но в то же время не проваливаться в стагнирующий тоталитаризм? Давайте, вдохновленные примером Амиша, исследуем сценарий, в котором это достигается благодаря возврату к примитивным технологиям. Вскоре после того, как «омеги» захватили власть над миром, следуя сценарию, описанному нами в начале книги, ими была запущена массированная пропагандистская кампания, романтизирующая простую деревенскую жизнь, как 1500 лет назад. Население Земли сократилось примерно до 100 миллионов в результате искусственной пандемии, в возникновении которой обвинили террористов. Пандемия была секретно таргетирована таким образом, что не выжил никто из людей, разбирающихся в науке или технике. Под предлогом исключения опасности заражения в местах большого скопления людей контролируемые Прометеем роботы опустошили и разрушили все города. Выжившим выделили огромные наделы земли, внезапно оказавшейся свободной, и обучили методам рационального ведения хозяйства, охоте и рыболовству — с использованием технологий исключительно раннего средневековья. В это время армии роботов поспешно удаляли все следы современных технологий, включая города, заводы, линии электропередач и мощеные дороги; всякие попытки документировать или возрождать их тут же пресекались. Как только все эти технологии были основательно забыты, роботы принялись разбирать друг друга и трудились до тех пор, пока почти ни одного не осталось. Последние из роботов вместе с самим Прометеем испарились в большом термоядерном взрыве. Запрещать современные технологии стало не нужно — от них ничего не осталось. В результате человечество купило себе дополнительное тысячелетие, избавленное от сюрпризов искусственного интеллекта и превратностей тоталитаризма.

Возвраты, хотя и не такие масштабные, уже были знакомы человечеству. Например, после падения Римской империи технологии, широко распространенные во времена античности, оказались забытыми почти на тысячелетие, пока не стали возрождаться в эпоху Ренессанса. В центре трилогии Айзека Азимова Foundation — план Шелдона, цель которого сократить время возврата с 30 тысяч лет до одной. При разумном планировании можно было бы достичь, скорее, обратного, удлинив, а не укоротив период возврата, например уничтожив все знания о ведении сельского хозяйства. К сожалению энтузиастов идеи возвращения, маловероятно, что этот сценарий можно как угодно продлевать без опасности для человечества либо вернуться в эпоху высоких технологий, либо окончательно вымереть. Рассчитывать на народ, хоть немного напоминающий современных людей 100 миллионов лет назад, было бы наивно, учитывая, что мы существуем как вид не более 1 % этого отрезка времени. Более того, низкотехнологичное человечество окажется беззащитным, вынужденным, как бычок, обреченный на заклание, ждать окончательного истребления от очередного раскаленного астероида или другого мегасюрприза матери-природы. В любом случае нам определенно не протянуть еще миллиард лет, пока постепенно разогревающееся Солнце не доведет Землю до такой температуры, что вся жидкая вода на ней закипит.

Рис. 5.1

Примеры, как может быть уничтожена известная нам жизнь или как может быть существенно снижен ее потенциал. При том, что наша Вселенная, по-видимому, просуществует еще десятки миллиардов лет, наше Солнце сожжет и проглотит Землю уже через миллиард лет, если только мы не отодвинем ее на безопасное расстояние, а еще через 3,5 миллиарда лет, даже если мы отодвинем ее на безопасное расстояние, наша галактика столкнется с соседней. Но даже не зная, как это случится, и задолго до этого, мы можем предсказать, что астероиды изрешетят нашу планету, а супервулканы вызовут долгие холодные зимы, когда на протяжении нескольких лет на небе не будет видно солнца. Мы можем использовать технологии для решения этих проблем, а можем использовать их для создания новых — таких, как климатические изменения, ядерные войны, искусственные пандемии или вышедший из-под контроля искусственный интеллект.

После рассмотрения проблем, к которым могут привести новые технологии, важно остановиться и на проблемах, которые может вызвать отсутствие таких технологий. Давайте для начала рассмотрим те сценарии, где сверхразум не создается, а человечество уничтожает себя другими способами.

Как мы можем этого добиться? Простейшая стратегия — «просто ждать». Хотя в следующей главе мы рассмотрим способы борьбы с такими неприятностями, как столкновение с астероидами и закипающие океаны, все они требуют технологий, пока еще не разработанных нами, так что, пока наши технологии не достигнут определенного уровня, значительно превышающего нынешний, мать-природа может отправить нас в небытие задолго до истечения следующего миллиарда лет. Как говорил знаменитый экономист Джон Мейнард Кейнс: «В долгосрочной перспективе мы все мертвы».