Искусственный интеллект – надежды и опасения - Джон Брокман

что сопоставимый с человеческим ИИ нельзя создать только на основе машины с модельной слепотой; он требует симбиотического сотрудничества данных и моделей.

Наука о данных является наукой лишь в той мере, в какой она облегчает интерпретацию данных, – перед нами задача двух тел, связь данных и реальности. Данные сами по себе вряд ли окажутся наукой, какими бы «большими» они ни были и насколько бы искусно ими ни манипулировали. Непрозрачные обучаемые системы могут привести нас в Вавилон, но не в Афины.

Глава 3

Цель, заложенная в машину

Стюарт Рассел

профессор компьютерных наук и профессор-стипендиат по машиностроению в Калифорнийском университете (Беркли). Он автор (вместе с Питером Норвигом) книги «Искусственный интеллект: современный подход».

Ученый-компьютерщик Стюарт Рассел, наряду с Илоном Маском, Стивеном Хокингом, Максом Тегмарком и многими другими, настаивает на том, что следует уделять повышенное внимание тем потенциальным опасностям, которые сулит создание интеллекта сверхчеловеческого (или даже человеческого) уровня – так называемого ОИИ, общего искусственного интеллекта, чьи запрограммированные цели вовсе не обязательно будут совпадать с нашими собственными.

Ранние работы Рассела были посвящены описанию гипотезы «ограниченной оптимальности» как формального операционального определения интеллекта. Он разработал метод рационального метарассуждения, «суть которого, грубо говоря, заключается в том, что вы выполняете вычисления, которые, по вашим ожиданиям, улучшат качество итогового решения в максимально короткие сроки». Также Стюарт приложил руку к комбинированию теории вероятности с логикой первого порядка, благодаря чему возникла новая и гораздо более эффективная система мониторинга соблюдения условий договора о всеобъемлющем запрещении ядерных испытаний, и к задаче принятия долгосрочных решений (сам он предпочитает давать презентациям по последней теме названия вроде «Жизнь: играть и выигрывать за 20 триллионов ходов»).

Он сильно озабочен продолжающимися разработками автономного оружия, в частности смертоносных микродронов, которые можно с легкостью превратить в оружие массового уничтожения. Рассел составил черновик письма от имени сорока ведущих мировых исследователей ИИ к президенту Обаме, и его усилия ознаменовались рядом важных совещаний по вопросам национальной безопасности.

Ныне он сосредоточился на создании, повторяя его собственные слова, «доказуемо благотворного» ИИ. Стюарт желает гарантировать безопасность от ИИ за счет «внедрения явной неопределенности» в компьютерные системы: машины, таким образом, остаются в неведении относительно истинных целей людей-программистов, и подобный подход может привести к довольно радикальному переосмыслению тематики текущих исследований в области ИИ.

При этом имя Стюарта знакомо всем, кто обучался информатике и компьютерным наукам в последние двадцать лет. Вместе с соавтором он написал «полный» учебник по искусственному интеллекту, разошедшийся тиражом около 5 миллионов экземпляров на английском языке.

Среди множества вопросов, поднимаемых Норбертом Винером в книге «Человеческое применение человеческих существ» (1950) и сохраняющих актуальность по сей день, наиболее значимым для исследователей в области ИИ является вопрос, сформулированный следующим образом: «Возможно ли, что однажды человечество уступит машинам право распоряжаться своей судьбой?»

Винер считал машины ближайшего будущего слишком ограниченными для притязаний на глобальный контроль и предполагал, что посредством таких машин и машиноподобного контроля человеческие элиты низведут огромные массы людей до статуса «винтиков системы». Стараясь заглянуть в грядущее, он указывал на проблематичность правильной постановки целей для высокопроизводительных машин:

…мы узнаем некоторые элементарные и очевидные факты жизни, например: если найдешь джинна в кувшине, лучше его не выпускать; если рыбак слишком много раз просит благ от Небес по наущению своей жены, он останется ровно с тем, с чего начинал; если вам предложили три желания, нужно формулировать их с оглядкой на последствия.

Опасности достаточно очевидны:

Горе нам, если мы позволим ей [машине] определять наше поведение, прежде чем изучим законы ее действий и не будем полностью уверены, что ее работа строится на приемлемых для нас принципах. С другой стороны, подобная джинну машина, способная к обучению и принятию решений на базе этого обучения, никоим образом не окажется обязанной принимать те решения, какие приняли бы мы сами или какие были бы приемлемы для нас.

Десять лет спустя, увидев программу игры в шашки Артура Сэмюела, научившуюся играть намного лучше своего создателя, Винер опубликовал статью «Некоторые моральные и технические последствия автоматизации» в журнале «Сайенс». В этой статье он высказался недвусмысленно:

Если мы используем для достижения наших целей механического агента, в работу которого не можем эффективно вмешиваться… следует твердо удостовериться в том, что цель, заложенная в машину, есть та цель, к которой мы действительно стремимся…

На мой взгляд, вот источник того экзистенциального риска от разработки сверхинтеллектуального ИИ, о котором в последние годы говорили такие специалисты, как Илон Маск, Билл Гейтс, Стивен Хокинг и Ник Бостром.

Постановка целей перед машинами

Исследования в области ИИ до сих пор направлялись на понимание принципов, лежащих в основе интеллектуального поведения, и на «встраивание» этих принципов в машины, которые далее смогут демонстрировать такое поведение. В 1960-х и 1970-х годах преобладающей среди теоретиков характеристикой интеллекта считалась способность к логическим рассуждениям, включая также и умение планировать действия, гарантированно ведущие к достижению определенной цели. В последнее время получила признание и распространение концепция рационального агента, который воспринимает ожидаемую полезность и действует ради ее максимизации. Такие «субполя», как логическое планирование, робототехника и понимание естественного языка, являются частными случаями общей парадигмы. Исследования в области ИИ стали учитывать теорию вероятности для обработки неопределенностей, теорию полезности для определения целей и методики статистического обучения, призванные помочь машинам адаптироваться к новым обстоятельствам. Эти разработки обеспечили прочные связи исследований ИИ с другими дисциплинами, основанными на сходных концепциях, в том числе с теорией управления, экономикой, изучением операций и статистикой.

С точки зрения как логического планирования, так и деятельности рационального агента цель машины – будь то в форме «настоящей» цели, функции полезности или функции вознаграждения (как в обучении с подкреплением) – определяется экзогенно. Цитируя Винера, это «цель, заложенная в машину». Действительно, один из исходных принципов исследований ИИ гласит, что системы искусственного интеллекта должны быть универсальными, то есть способными воспринимать некую цель в качестве начального параметра и затем ее достигать, а вовсе не специализированными, где цель подразумевается конструкцией. Например, беспилотный автомобиль должен уметь принимать задаваемые разные пункты назначения, а не прокладывать маршрут к единственному фиксированному пункту назначения. Впрочем, некоторые характеристики «целей поездки» в беспилотных автомобилях остаются фиксированными: скажем, условие не давить пешеходов. Они встраиваются непосредственно в алгоритмы управления автомобилем, без явной формулировки: ни один современный беспилотный автомобиль не «знает», что пешеходам не нравится, когда их давят.

Постановка цели перед машиной, которая оптимизирует свое поведение в соответствии с четко определенными алгоритмами, кажется замечательным подходом, гарантирующим, что