Роботы-убийцы против человечества. Киберапокалипсис сегодня - Елена Ларина

32. Вместе с тем широко признается, что существует необходимость проявлять осмотрительность и контролировать в той или иной форме использование государствами такой технологии сверх и помимо того, что предусмотрено уже действующими общими стандартами, предписанными нормами международного права. Обозреватели согласны с тем, что для выработки надлежащего подхода к БАРС требуется проведение международной дискуссии.

33. Как и в случае любой технологии, революционизирующей применение смертоносной силы, может существовать недостаточно знаний относительно связанных с такой технологией потенциальных рисков, пока эта технология не разработана, что затрудняет формулирование надлежащей ответной реакции; однако впоследствии наличие таких систем и могущество влиятельных заинтересованных кругов могут исключить возможность принятия мер, направленных на достижение надлежащего контроля[10]. Эта задача дополнительно усложняется гонкой вооружений, которая может возникнуть в том случае, если только некоторые страны будут обладать подобной оружейной технологией. Лучшего момента, чем сегодня, чтобы заняться решением этих проблем, у нас, возможно, не будет. В отличие от других революционных изменений в военной сфере, когда серьезные размышления в основном начинались после возникновения новых методов и способов ведения войны, сегодня есть возможность коллективно сделать паузу и в упреждающем порядке рассмотреть риски, связанные с БАРС. Настоящий доклад представляет собой призыв взять такую паузу, чтобы можно было серьезно и основательно заняться этим вопросом.

34. Одна из причин неотложности рассмотрения данного вопроса заключается в том, что нынешние оценки будущей роли БАРС будут затрагивать объем финансовых, людских и иных ресурсов, направляемых на разработку этой технологии в течение следующих нескольких лет. Нынешние оценки – или их отсутствие – рискуют тем самым в определенном отношении стать самосбывающимися пророчествами.

35. Предыдущий Специальный докладчик рассматривал вопрос о БАРС в его докладе в 2010 году[11], призвав, в частности, созвать группу экспертов для рассмотрения вопроса о применении робототехники и соблюдении международных норм в сфере прав человека и норм гуманитарного права[12]. В настоящем докладе это предложение поддерживается и подчеркивается, и в нем содержится призыв к государствам объявить национальные моратории на некоторые виды работ, связанных с БАРС.

36. Как и в случае БПЛА и прицельного убийства, БАРС ставят вызывающие беспокойство вопросы, касающиеся защиты жизни в соответствии с системами МППЧ и МГП. Специальный докладчик напоминает о верховенстве не допускающего отступлений права на жизнь в соответствии как с договорным, так и с международным обычным правом[13]. Произвольное лишение жизни является противоправным как в мирное время, так и в условиях вооруженного конфликта.

1. Определения

37. Хотя определения основных терминов могут различаться, нижеследующее объяснение может служить отправным пунктом[14].

38. Согласно широко распространенному определению (с которым, в частности, согласны министерство обороны Соединенных Штатов Америки и «Хьюман райтс уотч»[15]), термин БАРС означает роботизированные системы оружия, которые после их приведения в действие могут выбирать и поражать цели без последующего вмешательства со стороны оператора. Важный элемент заключается в том, что робот располагает автономным «выбором» в том, что касается определения цели и нанесения поражающего удара.

39. Роботы нередко характеризуются как механизмы, функционирование которых строится на основе простой парадигмы «зондирование – думанье – действие»: они имеют сенсоры, позволяющие им в определенной мере оценить ситуацию; процессоры, или искусственный интеллект, «принимающий решение» о том, как отреагировать на полученный импульс; и эффекторы, которые исполняют такие «решения»[16]. Степень автономности, которой наделяют роботов процессоры, следует рассматривать в качестве континуума между существенной вовлеченностью человека, с одной стороны, как в случае БПЛА, когда «в контуре управления» задействован человек, и полной автономностью, с другой, как в случае БАРС, когда люди находятся вне «контура управления».

40. В соответствии с предполагаемым сегодня сценарием операторы будут, по крайней мере, оставаться элементом, так сказать, «расширенного контура управления»: они будут программировать конечные цели в роботизированных системах и принимать решение о приведении систем в действие и, если необходимо, деактивировать их, а автономные оружейные системы будут преобразовывать такие цели в задачи и выполнять их, не требуя дальнейшего вмешательства оператора.

41. Контролируемая автономия означает присутствие оператора «над контуром управления» (в отличие от «в контуре» или «вне контура»). Такой оператор контролирует и может отменить решения робота. Однако возможность отмены решения может в реальных условиях быть весьма ограниченной, поскольку процесс принятия решения роботами зачастую измеряется наносекундами, и информационная база таких решений может на практике быть недоступной для контролера. В таких условиях люди де-факто находятся вне контура управления, и тогда машины на деле представляют собой БАРС.

42. Термин «автономный» следует отличать от терминов «автоматический» или «автоматизированный». Автоматические системы, такие, как, например, бытовое оборудование, работают в структурированной и предсказуемой среде. Автономные системы могут функционировать в открытой среде в неструктурированных и динамичных условиях. В этом случае их действия (подобно действиям людей) могут в конечном счете быть непредсказуемыми, особенно в таких хаотичных ситуациях, как вооруженный конфликт, и тем более когда их действия зависят от действий других автономных систем.