Последнее изобретение человечества. Искусственный интеллект и конец эры Homo sapiens - Джеймс Баррат

ИИ — технология «двойного назначения»; этим термином обозначают технологии, имеющие и мирные, и военные приложения. К примеру, ядерный синтез может обеспечивать города электричеством или разрушать их (или, как в случае с Чернобылем и Фукусимой, делать то и другое последовательно). Ракеты, сконструированные в ходе космической гонки, увеличили мощность и точность межконтинентальных баллистических ракет. Нанотехнологии, биоинженерия и генная инженерия обещают невероятные успехи в улучшающих жизнь гражданских приложениях, но они же буквально напрашиваются на катастрофические аварии и использование военными и террористами.

Когда Курцвейл объявляет себя оптимистом, он не подразумевает, что УЧИ окажется безобидным. Он говорит о том, что готов к взвешенному подходу, обычному для людей, сталкивающихся с потенциально опасными технологиям. И иногда люди терпят неудачу.

«Идет много разговоров об экзистенциальных рисках, — сказал Курцвейл. — Меня больше тревожат неприятные эпизоды, они куда более вероятны. Вы знаете, шестьдесят миллионов человек были убиты во время Второй мировой войны. Разумеется, эта цифра увеличилась за счет мощных разрушительных средств, которыми мы тогда располагали. Я настроен довольно оптимистично и считаю, что мы прорвемся, но я не настолько оптимистичен, чтобы думать, что нам удастся избежать болезненных эпизодов».

«Невероятные перспективы сочетаются с большими опасностями еще со времен приручения огня. Огонь помогал готовить еду, и им же сжигали вражеские деревни. Колесо может быть использовано и во благо, и во зло. Технология — это мощь; одна и та же технология может применяться с различными целями. Человеческие существа делают все на свете, занимаются и любовью, и войной; любое дело мы стремимся улучшить всеми возможными способами, в том числе техническими; мы будем этим заниматься и впредь».

Разные способы применения технологий неизбежны, и несчастные случаи всегда возможны — с этим сложно спорить. Тем не менее аналогия не работает — продвинутый ИИ совсем не похож на огонь или какую-то другую известную технологию. ИИ способен думать, планировать и обманывать своих создателей. Ни один другой инструмент не делает ничего подобного. Курцвейл считает, что существует способ ограничить опасные аспекты ИИ, и особенно ИСИ, и способ этот — соединить его с человеком при помощи машинного усиления интеллекта. Сидя на неудобном металлическом стуле, оптимист сказал: «Как я уже указывал, мощный ИИ рождается из множества разнонаправленных усилий и глубоко интегрируется в инфраструктуру нашей цивилизации. В самом деле, он будет буквально встроен в наше тело и мозг. В этом качестве он начнет отражать наши ценности, поскольку он станет нами».

Из этих рассуждений следует, что ИИ будет настолько же «безопасен», насколько безопасны мы сами. Однако, как я сказал Курцвейлу, homo sapiens не славится особой безобидностью при контактах с сородичами, другими животными и окружающей средой. Кто из вас убежден, что человек, снабженный усилителем мозга, окажется более дружелюбным и доброжелательным, чем машинный сверхразум? Усовершенствованный человек (те, кто с нетерпением ждет такой возможности, называют его сверхчеловеком) может обойти проблему базовых потребностей ИИ, сформулированную Омохундро. Не исключено, что такой человек будет обладать не только самосознанием и способностью к самосовершенствованию, но и встроенным набором отработанной веками человекоцентрической этики — и она подавит базовые потребности, которые Омохундро выводит из модели рационального экономического агента. Однако, несмотря на «Цветы для Элджернона»[25], мы понятия не имеем, что происходит с человеческой этикой, когда интеллект взлетает до небес. Можно привести множество примеров людей средних интеллектуальных способностей, которые вдруг начинают войну против собственной семьи, школы, фирмы или соседей. Гении, кстати говоря, тоже способны наделать шума — лучшие генералы мира по большей части не были идиотами. А сверхразум вполне может оказаться умножителем агрессии. Он может превратить обиду в убийства, разногласия в катастрофы — точно так же, как «удачно» подвернувшееся оружие может превратить потасовку в убийство. Мы просто не знаем. Однако следует заметить, что для ИСИ, созданного за счет усиления интеллекта, характерна биологическая агрессивность, которой у машин нет. Наш биологический вид имеет длинный послужной список самозащиты, объединения ресурсов, откровенного уничтожения противников и других движителей, о наличии которых у сознающих себя машин мы можем пока только гадать.

И кто же первый сможет воспользоваться достижениями науки и серьезно усовершенствовать себя? Самые богатые? Раньше считалось, что зла в богатых не больше, чем во всех остальных, но недавнее исследование Университета Калифорнии в Беркли позволяет усомниться в этом. Эксперименты показали, что богатейшие представители высших классов с большей вероятностью «демонстрируют тенденции к принятию неэтичных решений, отнимают у других ценные вещи, лгут на переговорах, обманывают с целью увеличить свои шансы на выигрыш и одобряют неэтичное поведение на работе». Нет недостатка в обеспеченных руководителях компаний и политиках, у которых одновременно с подъемом к вершинам власти, кажется, постепенно ослабевал моральный компас (если, конечно, он у них имелся изначально). И при этом политики и бизнесмены будут первыми, кто подвергнется серьезному интеллектуальному усовершенствованию?

Или, может быть, первыми будут солдаты? DARPA давно взяла на себя львиную долю расходов, так что разумно предположить, что первая модификация мозга будет испытана на поле боя или в Пентагоне. И если сверхразум сделает солдат сверхдружелюбными, DARPA потребует вернуть свои деньги.

Не исключено, конечно, что, когда дело дойдет до модификации человека, мир будет лучше подготовлен к этому, нежели сейчас, и позаботится о каких-то предохранителях, которые мы сегодня даже представить не можем. Кроме того, множество ИСИ, вероятно, лучше, чем один-единственный. Хорошо бы предусмотреть способ непрерывного мониторинга и наблюдения за ИИ; как ни парадоксально, лучшими сторожами для этого были бы другие ИИ. Подробнее мы поговорим о способах защиты от ИСИ в главе 14. Дело в том, что модификация разума не застрахована от моральных отказов. Сверхразум может оказаться опаснее любой из самых тщательно контролируемых технологий сегодняшнего дня и любого вида оружия.

Одновременно с технологией модификации разума нам придется развивать науку отбора кандидатов на эту операцию. Сингуляритарии тешат себя надеждой, что каждый, кто сможет себе это позволить, получит суперинтеллект; на самом же деле такой подход гарантированно привел бы к тому, что все остальные оказались бы игрушкой в руках первого же злобного сверхразума, полученного таким образом. Мы уже говорили о том, что первый в разработке УЧИ получит решительное преимущество. Тот, кто раньше всех сумеет получить УЧИ, — кем бы он ни был, — вероятно, создаст затем условия для интеллектуального взрыва. Он сделает это из опасения, что конкуренты, военные или корпоративные, обгонят его; никто не знает, насколько конкуренты близки к финишной черте. Я видел, какая гигантская пропасть отделяет создателей ИИ и УЧИ от исследования рисков, которые они должны были бы проводить. Мало кто из разработчиков УЧИ, с которыми я разговаривал, читал хоть что-то из работ Исследовательского института машинного интеллекта, Института будущего человечества, Института этики и новых технологий или Стива Омохундро. Многие даже не подозревают о существовании растущего сообщества людей, озабоченных разработкой интеллекта, превышающего человеческий, и проводящих важные исследования в отношении возможных катастрофических последствий этого. Если ситуация не изменится, я уверен, что короткий забег от УЧИ до ИСИ пройдет без достаточных мер предосторожности, которые могли бы предотвратить катастрофу.