Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта - Фрэнк Паскуале

могла бы значительно сократить издержки. Фирма может предоставлять образовательных роботов учебным заведениям даром, ставя себе долгосрочную цель собрать данные об учащихся и помочь маркетологам и другим специалистам понять их. Критическое значение имеют условия монетизации. Используются ли данные исключительно в контексте образования, в качестве помощи при обучении? Или они могут послужить для составления цифровых досье, в которых учащихся стигматизируют, о чем они сами не знают?

Социолог Эрвин Гоффман ввел понятие «закулисных» пространств, где можно исследовать альтернативные позиции и формы поведения вне поля зрения других[225]. Плохо регулируемые роботизированные системы могут привести к тому, что каждый момент в школе окажется в «зоне переднего плана», как на сцене. Программируются ли образовательные роботы так, чтобы записывать каждый момент, когда в пределах их досягаемости находится ребенок? Оповещают ли они детей или тех, кто рядом с ними, о том, что ведут запись?[226]Многие объединения потребителей жаловались на то, что игрушечные роботы следят за играющими с ними детьми. Если судить по одной петиции, поданной в Федеральную торговую комиссию США, «эти игрушки в силу своего устройства целенаправленно записывают и собирают личные разговоры детей, никак не ограничивая сбор, применение или публикацию этой личной информации»[227]. Как и многие другие условия предоставления услуг, те, что определяют взаимодействие

робота с детьми, практически не включают никаких защитных мер. Ими даже подразумевалось, что у компании есть «право изменять эти условия предоставления услуг в случае, если она сочтет это необходимым». Другими словами, все те защитные меры, которые сейчас есть, завтра могут быть отменены одним из «четырех всадников безответственности», о которых было сказано во второй главе[228].

Серьезным бизнесом стали биометрические голосовые отпечатки, используемые, в частности, для аутентификации[229]. Защитники прав потребителей обеспокоены тем, что данные о голосах не защищены и что они могут быть взломаны любыми преступниками. Еще большая опасность может возникнуть в обработке и применении данных, учитывая все чаще предъявляемое школам и государствам требование определять «проблемных детей» в самом нежном возрасте. Согласно одному недавнему исследованию, на 20 % граждан приходится 81 % уголовных приговоров, 78 % предписаний и 66 % пособий, причем вхождение в эту группу «можно определить уже в трехлетием возрасте благодаря исследованию здоровья мозга»[230]. Что, если определенная тональность голоса или паттерны общения могут послужить такими же показателями будущих поведенческих проблем? У кого есть доступ к таким данным? И как они могут применять их?[231]

Существуют веские аргументы в пользу ограничения любого сбора данных в образовательных учреждениях самими этими учреждениями (исключая случаи прямой опасности, в частности насилия или его возможности). Именно таковы основания калифорнийского закона о «сетевом стирании», который дает возможность детям удалить данные о своей деятельности в социальных сетях до 18 лет. В Генеральном регламенте ЕС о защите персональных данных такие «права на стирание» распространены на многие другие ситуации. Со временем они должны стать глобальным золотым стандартом прав учащихся, на которых воздействуют образовательные технологии. Как без такой защиты можно доверять аппарату сбора данных, который во многих случаях уже продемонстрировал свою опасность?[232]

Конечно, отдельные семьи могут попытаться избежать слежки и оценки, если у них достаточно ресурсов, и поискать школы с иным подходом. Так, многие родители из Кремниевой долине отправляют своих детей в низкотехнологичные школы в другие части страны. Однако способность отдельного человека сопротивляться системе и покидать ее легко переоценить. Как только будет контролироваться и отслеживаться критическая масса студентов, те, кто захотят выйти из системы, будут выглядеть подозрительно. Может быть, им есть что скрывать?[233] Школьные оценки стали практически универсальным дисциплинарным механизмом; вскоре может быть разработан «общий поведенческий показатель», оценивающий студентов по параметрам дружественности, внимательности и многого другого.

Исправление образовательно-технологического контроля или отказ от него

Сопротивление подобному контролю обычно принимает две формы – либо реформы, либо революции, то есть либо модификации, либо полного отрицания. Некоторые хотят усовершенствовать машины, применяемые в образовании, другие – просто отказаться от них. Хотя обе стороны едины в своем интересе к актуальным вопросам, между ними есть глубинное противоречие. Исправление образовательных технологий контроля означает то, что им нужно предоставить еще больше данных, уделить еще больше внимания, затратить еще больше человеческого труда, необходимого для настройки их алгоритмического ядра. Покончить с ними – значит переориентировать образовательную реформу на модели, больше завязанные на человека. Чтобы решить, какой путь выбрать, требуется более глубокое исследование обоих этих проектов.

Никто не хочет, что компьютер распределял заслуги и штрафы среди учеников и учителей случайным образом. Некоторые девочки, чьи профили были составлены китайской системой ClassCare, о которой мы упоминали в начале этой главы, жаловались на то, что их путали с другими, особенно когда они меняли прическу. Техническое решение этой проблемы выглядит простым, хотя и неприятным: надо вводить все больше изображений учеников в массив данных, чтобы можно было распознавать их характерные движения или отличительные черты, не связанные с лицом.

Даже когда всех учеников определяют правильно, исследователи ставят сложные вопросы о корреляции выражений лица и внутренних состояний сознания. Например, одна группа исследователей-психологов показала, что выражения лица не обязательно точно соотносятся с определенными эмоциями, не говоря уже о таких более общих ментальных состояниях, используемых в оценках, как «внимательность» или «отвлеченность». Поскольку «проявления эмоций одной и той же категории не всегда выражаются одним и тем же образом и не всегда опознаются по мимике», коммуникативные способности лица ограниченны. Кроме того, даже когда у нас есть больше данных, мы всегда должны 53 помнить о вариативности контекста и культуры[234]. О чем именно говорят блуждающие глаза – о фантазировании или глубоком погружении в мысли о решаемой в настоящий момент проблеме? Людям может быть сложно определить это, но их собственные колебания встраиваются в данные, формирующие суждения машины об этом предмете[235].

Исследователи программирования эмоций, которых все это не пугает, могут ответить двояко: направить еще больше ресурсов на тонкую настройку различения эмоций или, наоборот, полностью от него отказаться. Первый подход заставит искать данные с еще большим рвением, включить нестандартные источники данных, такие как постоянный мониторинг самого себя и ответ об эмоциональных состояниях испытуемых. Исследователи платформы mTurk компании Amazon провели более сложное и инвазивное исследование, которое стоило сущие копейки из расчета на HIT (human intelligence task, задачу для человеческого интеллекта). Но правда ли человеческое сердце настолько прозрачно? Как вообще можно считать, что отчеты субъектов о своих эмоциональных состояниях являются точными, не говоря уже о