Стеклянная клетка. Автоматизация и мы - Николас Дж. Карр

Социальные сети, например Facebook, все больше проникаются такими же идеями. Они стараются упорядочить хаотичный процесс привлечения новых участников путем «статистического» приобретения новых друзей, «like» и другими символами симпатии и привязанности, а также автоматизированным управлением многих аспектов человеческих отношений. Основатель Facebook Марк Цукерберг приветствует все эти достижения как символ «беспрепятственного общения», не требующего никаких осознанных усилий. Есть отталкивающий момент в применении социальных сетей – это стандартизация связей между людьми. Человеческие отношения требуют доверия, обходительности и жертвенности, что, с точки зрения технократического ума, является источником неэффективности и неудобства. Общение становится похожим на привязанность потребителя к товару, которая легко формируется, но так же легко и исчезает.

Подобно чрезмерно назойливым родителям, не дающим детям поступать самостоятельно, Google, Facebook и другие изготовители программ для личного пользования способствуют уничижению и нивелированию тех черт характера, которые по крайней мере в прошлом считались незаменимыми для полноценной энергичной жизни: изобретательности, любопытства, независимости, упорства, отваги. Неужели в будущем люди будут пользоваться всеми этими добродетелями в их бутафорском виде, совершая виртуальные подвиги руками таких персонажей, как Джон Марстон, в иллюзорных мирах на экранах наших компьютеров?

Представьте себе холодный декабрьский вечер. Пятница. Человек едет домой с корпоративного праздника. Точнее, сказать, его везут домой. Он недавно купил свою первую самоуправляющуюся машину, запрограммированный Google, сделанный на заводе Mercedes электромобиль eSmart. И за рулем не он, а программа. В свете автоматически настраиваемых светодиодных фар он видит затянутые льдом лужицы, но на них можно не обращать внимания, так как снабженный чувствительными датчиками робот регулирует скорость и газ в полном соответствии с дорожными условиями. Все идет гладко. Человек расслабился и погрузился в приятные воспоминания о праздничном вечере. Он углубляется в густой лес, нависающий с обеих сторон, и вдруг из-за деревьев на дорогу выбегает какое-то животное и застывает в свете приближающихся фар. Это соседский охотничий пес, никогда не отличавшийся дисциплинированностью.

Что делает робот-водитель? Нажмет ли он на тормоза, спасая собаку, но рискуя тем, что машина пойдет юзом? Или уберет виртуальную ногу с педали тормоза, пожертвовав собакой ради безопасности пассажира и автомобиля? Как будет компьютер разбираться в потоке переменных и вероятностей, чтобы за долю секунды принять решение? Если посчитано, что торможение будет означать для пса вероятность уцелеть, равную 53 %, и существует вероятность 18 %, что будет повреждена машина, а с вероятностью 4 % человек, сидящий в машине, получит травму, то сочтет ли компьютер спасение собаки правильным действием? Каким образом программа, работая самостоятельно, переведет набор чисел в решение, чреватое неприятными практическими и моральными последствиями?

Что, если это собака хозяина машины? Вместо собаки на дорогу мог выбежать ребенок… Вообразите, что утром тот же человек едет на работу, просматривая поступившую за ночь электронную почту, автомобиль идет по мосту со скоростью 40 миль в час. По тротуару мост переходит группа школьников. Дети послушно идут за взрослыми, ничто не предвещает неприятностей, однако машина сбрасывает скорость, предпочтя ошибку безопасности. Внезапно среди детей возникает короткая потасовка, и одного мальчишку выталкивают на дорогу. Человек в машине, деловито набирая очередное сообщение на клавиатуре смартфона, не замечает происходящего. Робот должен принять решение: либо увернуться от наезда, выйдя из ряда и выскочив на встречную полосу, чем он может убить хозяина, либо наехать на ребенка. Какую команду подаст компьютер на рулевую колонку? Учтет ли робот, что в машине едет еще и ребенок на детском сиденье, снабженном особыми датчиками? Что, если по встречной полосе идут машины и одна из них – школьный автобус? Когда-то Айзек Азимов составил кодекс поведения робота: «Робот не может причинять вред человеку или своим бездействием допускать ситуации, которые могут повредить человеку» [1]. Это вполне разумное требование, но оно было написано в те времена, когда мир был устроен проще.

«Появление самоуправляющегося автомобиля, – утверждает профессор психологии Нью-Йоркского университета Гэри Маркус, – лишит человека еще одной экологической ниши. Наступит новая эра, в которой машинам потребуются системы этических ценностей» [2]. Некоторые критики могут возразить, что она уже наступила. Медленно, но верно люди начали доверять компьютерам принятие морально значимых решений. Возьмем для примера широко разрекламированный пылесос-робот Roomba. Он не отличает комочки пыли от насекомых. Он сожрет и то и другое, не разбираясь в таких тонкостях. Если на пути Roomba окажется сверчок, то он засосет и его. Многие люди, пылесося квартиру, тоже едва ли обратят внимание на какую-то козявку, особенно если эта козявка – непрошеный гость в доме. Есть, однако, другие, которые остановятся, выключат пылесос, поднимут с пола сверчка и бережно вынесут за порог. (Последователи джайнизма, древней индийской религии, считают грехом причинение вреда любому живому существу.) Выпуская Roomba на ковер, мы предоставляем ему право принимать моральные решения от нашего имени. Газонокосилки-роботы, такие как LawnBott и Automower, несут смерть более совершенным проявлениям жизни – пресмыкающимся, земноводным и мелким млекопитающим. Большинство людей, увидев на лужайке жабу или полевую мышь, обычно щадят животных, а если случайно задевают их, то очень сожалеют о содеянном. Газонокосилки-роботы убивают, не испытывая угрызений совести.

До последнего времени дискуссии о нравственности роботов и других «разумных» машин носили чисто теоретический характер, становились сюжетами научно-фантастических романов или студенческих споров на философских факультетах. Этические моменты часто влияли на конструкции машин и механизмов. Оружие снабжали предохранителями, двигатели – регуляторами, поисковые системы – фильтрами, но от машин никогда не требовали совести. Им не нужно было приспосабливать работу к этическим капризам той или иной ситуации. Как только возникал вопрос об этической стороне применения машины, его решали люди. По мере того как роботы становятся все более умелыми и самостоятельными, они чаще неизбежно сталкиваются с ситуациями, в которых ни один выбор не может считаться правильным. Машинам придется, полагаясь только на себя, принимать решения. Невозможно механизировать сложную человеческую деятельность без автоматизации морального выбора.

Люди сами отнюдь этически не безупречны и часто совершают безнравственные поступки – иногда от беспомощности и безрассудства, иногда – преднамеренно. Это привело некоторых философов к мысли о том, что скорость, с какой роботы могут перебирать возможные решения, вычислять вероятности и взвешивать последствия, позволит машинам более рационально, чем человеку, подходить к выбору возможных действий. В этом взгляде есть зерно истины. В некоторых ситуациях, например там, где речь идет о деньгах и собственности, быстрое вычисление вероятностей оказывается достаточным для выбора действий, ведущих к оптимальному результату. Но вот другой пример: люди несутся через перекресток, когда желтый свет светофора меняется на красный, увеличивая тем самым вероятность дорожно-транспортного происшествия. Компьютер никогда не позволит себе такого опрометчивого действия. Моральные проблемы в большинстве своем намного сложнее. Попытка решить их математически приводит к фундаментальному вопросу: кто может определить «оптимальность» или «рациональность» того или иного действия в морально двусмысленной ситуации? Кто должен программировать совесть роботов? Их производители? Владельцы? Политики и законодатели? Может быть, философы? Страховые агенты?