Конец индивидуума. Путешествие философа в страну искусственного интеллекта - Гаспар Кёниг

Правосудие без виновных

Массовое внедрение ИИ в американскую судебную систему стало предметом пристального внимания. Мы поговорим о двух вопросах разной степени важности. Первый, более громкий, но менее фундаментальный, касается автоматизации применения закона. Уже сегодня алгоритмы используются судами для упрощения вынесения решения, поскольку наши своды законов стали слишком сложными[114]. Похожие технологии начали применять и адвокаты. Николь Кларк, с которой я встретился в чайной в Лос-Анджелесе, основала стартап машинного обучения для корреляционного анализа истории решений и корректировки защитных речей. Вполне возможно, что судебные процессы станут состязаниями искусственных интеллектов. Сегодня Николь опирается на решения, вынесенные судьей-человеком, и применяет к ним сложный семантический анализ. Но уже завтра ее машина сможет приступить к интерпретации машины-судьи, причем каждая будет пытаться проникнуть в алгоритмы другого… Проблемы, поднимаемые этими инновациями, хорошо известны и широко обсуждаются. С одной стороны, это риски дискриминации (недавно выяснилось, что алгоритмы, оценивающие риски рецидива, содержали в себе структурное предубеждение против афроамериканцев[115]), с другой – невозможность разъяснить все суждение в целом, обусловленная «черным ящиком» машинного обучения, с которым мы уже сталкивались. Но эти проблемы, какие бы тяжелые следствия они ни влекли, остаются, по сути, техническими, а потому могут быть устранены благодаря прогрессивному развитию ИИ, который сможет скорректировать порожденные им предубеждения и разработать процедуры «объяснимости». Все большее распространение получают принципы ответственности и прозрачности при применении алгоритмов[116]. В той мере, в какой современное правосудие должно отвергать любой элемент личной мести, справедливо и бесстрастно применяя право, автоматизация правоприменения, похоже, не противоречит принципам наших демократических обществ. Как показывает одно часто цитируемое исследование, рассуждения судей-людей зависят от состояния их желудков: выносимые ими приговоры обычно суровее к середине дня, чем после обеда[117]. ИИ мог бы исправить этот очевидный фактор несправедливости. Собственно, разве Чезаре Беккариа, юрист эпохи Просвещения, который преобразовал наше представление о пенитенциарной системе, не требовал «автоматичности» наказаний, поскольку не доверял ни одной интерпретации закона судьей?[118] Уж он-то, наверное, рукоплескал бы развитию ИИ, обещающему полную объективность…

Второй вопрос, с моей точки зрения более важный, – это вопрос автоматизации соблюдения закона. Возможно, не повиноваться закону будет все сложнее и сложнее. Когда алгоритм интегрирует в себя закон, он делает его одновременно невидимым и неумолимым. Я поговорил об этом за обедом в Пало-Альто с Джессом Левинсоном, основателем Zoox, одного из самых известных стартапов в Кремниевой долине, цель которого – создать и внедрить первый парк автономных такси. На что будет похож пресловутый умный город с его автомобилями, связанными сетью? В таком городе можно будет по закону запретить применение «ручных» машин, которые в силу своей непредсказуемости станут источником опасности для всех остальных. С правилами дорожного движения больше не забалуешь, если они вообще останутся, когда съезды и развязки можно будет оптимизировать в реальном времени. Придет конец небольшим превышениям скорости, слишком резкому перестраиванию и проезду на желтый свет. А что, спросил я своего собеседника, если надо ускориться в силу срочной ситуации, например чтобы довезти роженицу до больницы? «Можно придумать тревожную кнопку, которая позволит получить приоритет», – спешит ответить Джесс. Но для этого понадобится обоснование… Джесс, считающий себя либералом в европейском смысле слова (что большая редкость для Кремниевой долины), признаёт, что в этом смысле ИИ ведет к утрате чувства ответственности[119] и в то же время к риску бюрократизации. В самом деле, что это за закон, если ему повинуются в силу необходимости, а не по доброй воле? Разве быть гражданином не значит принуждать самого себя? Что останется от правового государства, если мы просто физически не сможем избегать его власти? Именно это канадский философ права Ян Керр назвал «аутопией» – по названию аттракциона «Евродиснея»: дети считают, что сами управляют маленькой машинкой, тогда как на самом деле невидимый механизм всегда ведет их по самой середине дороги, благодаря чему аварии становятся невозможными. Умный город – практическое воплощение «аутопии». Мы все станем такими детьми, сидящими за декоративным рулем.

Теоретически эта логика может распространиться на всю жизнь общества в целом. Полиция Лос-Анджелеса (LAPD) стала применять принцип «предиктивных полицейских действий», опираясь на прогностические алгоритмы, чтобы превентивно отправлять наряд в те места, где вероятно совершение преступления[120]. Представьте общество, в котором преступление стало невозможным. Чем оно будет – пацифистской утопией или же тоталитарным кошмаром в стиле «Особого мнения», когда полиция может арестовать вас на основании ваших предположительных намерений? Мишель Фуко настаивал на важности «нелегальности», серой зоны между правом и не-правом, в которой сегодняшние девианты формируют завтрашние правила. Речь не о том, чтобы отрицать всякое право, а о том, чтобы признать «равновесие терпимости, взаимной поддержки и интересов», – пишет Фуко в работе «Надзирать и наказывать». Зоны «нелегальности» образуют края трансгрессии, где классовые и социальные различия могут смешиваться друг с другом. Ускользая от нашего картезианского разума, они создают тысячи возможностей для разумного действия, которые никакой текст никогда не мог бы определить. Если не будет нелегальности, не лишится ли сама легальность своего смысла?

Автоматизация соблюдения права рискует превратить субъекта права в покорный объект. Но в то же время, и еще более фундаментальным образом, она передает юридическую ответственность от человека машине. Это как раз и объяснил мне Зак Харнед, юрист и основатель «Искусственного интеллекта и правового общества» в Стэнфордском университете. Кто сегодня отвечает за ошибку при назначении лекарства? Врач, а не фармацевтическая индустрия. Но кого нужно будет винить завтра, если назначение лекарства доверят ИИ? Автоматизация решения подрывает все юридическое поле ответственности в целом. В настоящий момент производителя программного обеспечения нельзя преследовать за плохую рекомендацию. Эта парадигма восходит к индустриальной эпохе, и ее, по словам Зака, придется адаптировать к новым временам. Кто сможет обвинить пассажира беспилотного автомобиля в том, что он проехал на красный свет?

Значит ли это, что создатель программы ИИ становится ответственным с того самого момента, когда ее пользователь перестает отвечать за свои действия? Нет, если считать, что алгоритм работает с определенной долей автономии. Отвергая перспективу появления сверхинтеллекта, мы все равно признаём за машиной способность к обучению. Как обвинить программиста в решении, не запрограммированном им напрямую, если происходило машинное обучение, условия для возможности которого он, однако же, создал? Разумеется, никто не давал беспилотной машине инструкции ехать на красный свет. Но ИИ, учитывая миллионы ранее встреченных ситуаций, мог решить, к примеру, что лучше пойти на такой риск, чем столкнуться с идущей сзади на большой скорости машиной. Это просто подсчет вероятностей!

Отсюда споры о том, можно ли считать роботов субъектами