Homo Deus. Краткая история будущего - Юваль Ной Харари

Но вот что беспокоит: из результатов того же исследования становится ясно, что к очередным президентским выборам в США Facebook будет осведомлен не только о политических предпочтениях десятков миллионов американцев, но и о том, кто из них относится к критической группе колеблющихся избирателей и как этих колеблющихся избирателей склонить в ту или другую сторону. Facebook сможет сказать, например, что в Оклахоме республиканцы и демократы идут вровень, что 32 417 избирателей еще не определились, и даже сформулировать, что именно должен говорить кандидат, чтобы склонить чашу весов в свою сторону. Где Facebook раздобыл эту бесценную политическую информацию? Мы сами ему ее предоставили.

В лучшую пору европейского империализма конкистадоры и купцы покупали целые острова и страны в обмен на цветные бусы. В XXI веке самое ценное, что у нас, людей, есть, – это наши персональные данные. А мы отдаем их тех-ногигантам в обмен на услуги электронной почты и забавные видео с котиками.

Став всезнающими оракулами, алгоритмы Google, Facebook и другие элементарно могут превратиться в посредников, а потом и в правителей[247]. Чтобы понять эту метаморфозу, посмотрим на Waze – навигационное приложение на основе GPS, которым пользуются многие водители. Waze – не просто карта. Миллионы пользователей непрерывно снабжают его информацией о пробках, автомобильных авариях и полицейских машинах и постах. Поэтому Waze знает, как направить вас в обход заторов к месту назначения кратчайшим из возможных маршрутов. Если при подъезде к перекрестку ваш инстинкт посылает вас вправо, а Waze рекомендует повернуть налево, то рано или поздно вы привыкаете следовать указаниям Waze и отвыкаете слушаться своих чувств[248]. На первый взгляд кажется, будто Waze играет лишь роль оракула. Вы задаете вопрос, оракул отвечает, но решение остается за вами. Однако, когда оракул полностью завоюет ваше доверие, то самым логичным следующим шагом будет – назначить его исполнителем. Достаточно назвать ему конечную цель, и он без вашего контроля сделает то, что нужно для ее достижения. С навигатором Waze это может случиться, если вы соедините его с беспилотным автомобилем и попросите: «Waze, выбери самый короткий путь», или «выбери дорогу поживописней», или «построй маршрут с минимальным расходом топлива». Командовать будете вы, но выполнять ваши команды будет Waze.

В результате следующего шага Waze из исполнителя может превратиться в правителя. Имея такие полномочия и зная гораздо больше, чем вы, он может начать манипулировать вами и другими водителями, формируя ваши желания и принимая за вас решения. Представьте, например, что Waze так хорошо себя зарекомендует, что им начнут пользоваться все. И представьте, что на шоссе № 1 образовалась пробка, в то время как шоссе № 2 сравнительно свободно. Если Waze оповестит об этом всех водителей, то все и устремятся на шоссе № 2, и движение там тоже остановится. Когда у всех один оракул и все верят этому одному оракулу, он становится правителем. Он будет думать за нас. Возможно, он уведомит лишь половину водителей, что шоссе № 2 свободно. Таким образом, и шоссе № 1 разгрузится, и шоссе № 2 не будет перегружено.

Microsof разрабатывает гораздо более сложную систему, названную Cortana в честь героини популярной серии видеоигр Halo. Cortana – это виртуальная голосовая помощница с элементами искусственного интеллекта, которую Microsof надеется интегрировать в будущие версии Windows. Пользователей будут подталкивать к тому, чтобы помощница была допущена ко всем файлам, имейлам и приложениям. Ознакомившись с ними, она сможет давать советы по миллиону вопросов и вообще сделаться виртуальным агентом, представляющим интересы пользователя. Cortana напомнит вам о приближении дня рождения жены, выберет ей подарок, зарезервирует столик в ресторане и за час до обеда подскажет вам, что пора принимать лекарство. Она предупредит вас, что если вы тотчас же не отложите книгу, то опоздаете на важную деловую встречу. Перед самой встречей Cortana сообщит, что у вас слишком высокое давление и слишком низкий уровень дофамина и что, как показывает статистика, при таких показателях вы склонны совершать серьезные деловые ошибки. Поэтому вам необходимо воздержаться от принятия решений и заключения сделок.

Не исключено, что Cortana и ее сородичи, превратившись из оракулов в агентов, начнут договариваться насчет своих хозяев напрямую, без их участия. Сначала моя Cortana всего лишь свяжется с вашей, чтобы согласовать место и время нашей с вами встречи. Потом потенциальный работодатель попросит меня не утруждать себя отправкой своего резюме, а просто разрешить, чтобы его Cortana пообщалась с моей. Или к моей Cortana обратится Cortana моей потенциальной возлюбленной, и они, сверив свои заметки и данные, станут решать, хорошая мы пара или нет, в то время как мы будем оставаться в абсолютном неведении.

Получив от людей определенные права, виртуальные помощницы могут начать интриговать друг против друга в интересах своих хозяев, так что успех на брачном рынке или рынке труда будет все больше зависеть от качества вашей Cortana. Богатые владельцы новейших версий будут иметь неоспоримое преимущество перед обычными людьми с их устаревшими версиями.

Однако самая темная зона – это личность хозяина голосовой помощницы Cortana. Как мы уже видели, люди – не индивидуумы, у них нет единого неделимого «я». Так чьим же интересам должна служить Cortana? Предположим, мое комментирующее «я» принимает новогоднее решение-обещание соблюдать диету и три раза в неделю посещать спортзал. Неделю спустя, когда приходит время отправляться в спортзал, переживающее «я» велит виртуальной помощнице включить телевизор и заказать пиццу. Как ей следует поступить? Подчиниться переживающему «я» или выполнить решение, принятое неделю назад комментирующим «я»?

Вы, пожалуй, спросите, так ли уж Cortana отличается от будильника, который заводит вечером комментирующее «я», чтобы переживающее «я» не опоздало утром на работу. Но Cortana получит над человеком куда большую власть, чем будильник. Переживающее «я» может заглушить будильник нажатием на кнопку. А Cortana изучит хозяина настолько хорошо, что будет точно знать, на какие внутренние кнопки нажимать, чтобы он следовал ее «советам».

Cortana не единственная в своем роде. Google Now и Siri – разработки Apple – движутся в том же направлении. На Amazon тоже работают алгоритмы, которые постоянно вас изучают и затем на основании накопленных данных рекомендуют вам ту или иную продукцию. Когда я захожу в реальный книжный магазин, то брожу между полками и выбираю подходящую книгу, руководствуясь своими чувствами. Когда я захожу в виртуальный магазин Amazon, меня тут же встречает алгоритм, сообщающий, что знает мои книжные предпочтения, и советующий книги, которые покупают люди с аналогичными вкусами.