Роботы-убийцы против человечества. Киберапокалипсис сегодня - Елена Ларина

Израиль тоже развернул другую полуавтономную наземную систему «Guardium», которая, по сообщениям, используется для того, чтобы патрулировать границу Израиля с Сектором Газа. «Guardium» разработан для того, чтобы выполнять обычные для охраны границы задачи, такие как патрулирование границы по запрограммированному маршруту. Но система может самостоятельно реагировать на незапланированные события, в соответствии с рекомендациями, запрограммированными с учетом особенностей местности и доктрины безопасности. У «Guardium» может быть режим «автономного выполнения миссии».

Беспилотные самолеты, такие как американский «Х-478», имеют большую степень автономии, чем широко рекламируемые «дроны». Оператор миссии следит за самолетом, но активно не управляет им, как в настоящее время это делается для дронов. Х-478 самостоятельно взлетает, выполняет запрограммированное задание и возвращается на базу после команды оператора миссии.

В 2010 г. Великобритания представила опытный образец своего боевого самолета «Taranis». Разработчики описали его как автономный и невидимый беспилотный самолет стратегической авиации. «Taranis», как ожидают, пока сохранит человека в петле принятия решения, но подразумевается возможность его большей автономии в будущем.

Другие страны также разрабатывают или выпускают беспилотные самолеты, которые являются предшественниками полностью автономного оружия. Израильская «Гарпия», например, была охарактеризована как «комбинация беспилотного самолета и крылатой ракеты». Ее задача – самостоятельно долететь до запрограммированной зоны патрулирования, обнаружить там сигналы вражеских радаров и затем уничтожить цель (систему, на которой установлен радар).

Теперь расскажем о «роях». Американские вооруженные силы планируют массовое использование автономных самолетов большими группами («роями»). Самолеты сами распределяют между собой цели, а диспетчер управляет ими как единой группой, а не индивидуально каждым самолетом. В случае использования «роев», человеческое участие в работе системы минимальное, потому что оператор физически не в состоянии отследить большое количество целей и очень быстро принять решение по каждой из них.

Поскольку люди все еще сохраняют контроль над решением использовать летальное оружие, вышеупомянутые системы оружия еще не полностью автономны, но они развиваются быстро в этом направлении. Сторонники полностью автономного оружия рекламируют его военные преимущества, такие как сокращение численности войск, требуемых для военных операций, высокой «бдительности» и мгновенной реакции часовых, не подверженных страху. Критики полностью автономного оружия в первую очередь беспокоятся о безопасности мирного населения в зоне военных действий.

Цивилизованное общество выработало законы и нормы гуманного ведения войны, юридически закрепленные в документах международного гуманитарного права. Существует оружие (в частности, химическое оружие и противопехотные мины), применение которого запрещено международным гуманитарным правом. И государства, подписавшие Конвенцию о запрещении химического оружия и о запрещении противопехотных мин, или уже уничтожили запасы такого оружия либо приступили к его уничтожению.

А как обстоят дела с полностью автономным оружием?

Смогут ли роботы-убийцы выполнять требования международного гуманитарного права, минимизировать потери гражданского населения в зоне военного конфликта? Критики полностью автономного оружия приводят множество убедительных доводов, что это невозможно, а его сторонники предлагают различные способы, как сделать роботов-убийц гуманнее.

«Роботы-убийцы» не смогут соблюдать международное гуманитарное право» – считают противники полностью автономного оружия.

Первоначальная оценка полностью автономного оружия показывает, что, похоже, роботы-убийцы будут неспособны соблюдать ключевые принципы международного гуманитарного права. Они будут неспособны следовать правилам гуманного ведения военных действий, различения (противника и мирных жителей), пропорциональности (применения оружия) и военной необходимости (применения оружия). Даже убежденные сторонники полностью автономного оружия признают, что проблема различения противника от гражданского лица является одной из нескольких «пугающих проблем».

3.1.1. Проблема различения

Правило различения (требует, чтобы солдат перед тем, как открыть огонь по цели, различил (определил) – это противник или мирный житель) является одним из самых больших препятствий для полностью автономного оружия. У полностью автономного оружия нет способности ощутить или интерпретировать различие между солдатами противника и гражданскими лицами, особенно в современной боевой окружающей обстановке.

Изменение характера вооруженного столкновения за прошлые несколько десятилетий (от войны между солдатами на поле боя – к асимметричным конфликтам), характеризуемого боями на городских улицах среди гражданского населения, сделало различение воюющих и невоюющих людей очень трудным. Государства, активно разрабатывающие автономное оружие (США, Израиль, европейские страны), воюют преимущественно с террористами, которые не носят униформы или знаков отличия. Вместо этого они стремятся быть как можно более похожими на гражданское население. Казалось бы, что робот может легко дать ответ ДА или НЕТ на вопрос с двойным ответом – действительно ли человек является противником? Но фактически полностью автономное оружие не сможет дать правильный ответ, если воюющие стороны не будут носить форму и/или знаков отличия (например, погоны). Различение гражданского лица и вооруженного террориста находится вне рамок машинного восприятия. В любом случае террористам было бы легко обмануть этих роботов, например, пряча оружие.

3.1.2. Проблема пропорциональности

Требование, чтобы применение оружия было пропорциональным (одно из самых сложных правил международного гуманитарного права) нуждается в человеческой оценке ситуации, что непосильно для полностью автономного оружия. Тест пропорциональности запрещает применение оружия, если ожидаемый вред гражданским лицам превышает ожидаемый эффект от его военного применения. Определение пропорциональности применения того или иного оружия зависит в большой степени от конкретной ситуации на поле боя. Юридически правильный ответ в одной ситуации может стать неверным даже при небольшом изменении фактов, лежащих в основе юридической оценки.

Очень маловероятно, что робот сможет анализировать огромное количество возможных сценариев, чтобы правильно интерпретировать ситуацию в режиме реального времени. Проблемы робота с анализом такого количества ситуаций из-за ограниченности вычислительной мощности компьютера и программного обеспечения вмешались бы в его способность правильно выполнить тест пропорциональности. Те, кто интерпретирует международное гуманитарное право в сложных и динамичных сценариях, призывают на помощь человеческое суждение, а не автоматическую способность принятия решения компьютером. Тест пропорциональности субъективен, учитывает довольно широкий спектр мнений и должен, прежде всего, быть вопросом здравого смысла и разума военных начальников.