В последние три-четыре года в мире набирает силу движение, которое остается в России почти незамеченным, - за запрет «автономных боевых роботов» (в РФ их принято называть «смертоносные автономные системы» (САС). За запрет выступают неправительственные организации «Stop Killer Robots», «Article 36», «International Committee for Robot Arms Control», известные бизнесмены, например Илон Маск, Стив Возняк, лауреаты Нобелевской премии, ученые и программисты в сфере искусственного интеллекта и даже целые корпорации. Одни считают, что полностью автономные вооружения не смогут соблюдать международное гуманитарное право (МГП) и создадут путаницу с определением лиц, ответственных за противоправные действия роботов. Другие полагают, что, даже если однажды «терминаторы» смогут выполнять «боевые функции» точнее и аккуратнее, чем живые бойцы, их автономное применение все равно следует запретить в интересах высшей ценности - человеческого достоинства.

Некоторые правительства с этим согласны, сегодня 35 стран выступают за полный запрет автономных вооружений. Иные сомневаются, считая тему надуманной или преждевременной, поскольку, как кажется, еще никто не видел настоящего автономного боевого робота, способного убивать без участия оператора.

Между тем технологии, позволяющие создать смертоносные автономные системы, имеются. Они еще недостаточно совершенны для создания эффективных мобильных наземных САС, но стационарные боевые роботы уже существуют. Пример - роботизированные пулеметные вышки «Katlanit» в Израиле, «Samsung SGR-A1» в Южной Корее или «Common Remotely Operated Weapon Station» в США1. Эти автономные пулеметы могут самостоятельно уничтожить цель, если она соответствует заложенному в программу образу. Только моральные принципы ограничивают их применение - все производители заверяют, что перед атакой роботы запрашивают подтверждение у командира.

Другой пример - автономный барражирующий боеприпас «Harpy» производства израильской компании «Israel Aerospace Industries». Разработчик наделил его умением самостоятельно распознать и уничтожить вражескую бронированную машину. После того как общественность возмутилась, фирма «IAI» выпустила «доработанную» версию боеприпаса под названием «Harpy-2», или «Harop». Этот самонаводящийся снаряд перед атакой обращается за инструкциями к оператору.

Не за горами автономизация и самых сложных систем: некоторые разрабатываемые сегодня гиперзвуковые и космические аппараты, в частности «Lockheed Martin SR-72», «Boeing X-37B Orbital Test Vehicle» или «X-43A Hypersonic Experimental Vehicle», можно также отнести к САС.

Во многом благодаря негативному информационному фону ряд систем, способных к полностью самостоятельному ведению боевых действий, сегодня используется в режиме дистанционного управления либо под контролем оператора. Но можно не сомневаться, что военные некоторых государств уже разрабатывают программы, которые в критической ситуации позволят превратить дистанционно управляемые системы в автономных ударных роботов.

И хотя требования по соблюдению законов ведения войны и принципов международного гуманитарного права распространяются в том числе и на боевые действия с применением САС, многие эксперты и общественные деятели считают необходимым превентивно запретить САС либо принять специальное международное регулирование в отношении подобных автономных систем.

По ряду причин создание режима контроля над САС представляет сложную задачу.

1. САС очень сложно дать определение:

- например, до сих пор нет универсального международно признанного определения «оружия»;

- под предлагаемые определения могут подпадать ряд боевых систем, которые находятся на вооружении армий мира уже несколько десятилетий (в частности, системы ПВО, противокорабельные ракеты, крылатые ракеты, ракеты воздух - воздух, системы активной защиты бронетехники, донные мины, торпеды и т. д.);

- автономное и высоко автоматизированное оружие - юридически определить различие между этими понятиями также непросто.

2. Само понятие «контроль» применительно к САС тоже имеет несколько толкований2. Некоторые государства, в частности Япония, считают, что заложенный разработчиком в изделие алгоритм поведения - это тоже форма человеческого контроля над машиной. То есть возможно вести речь о двух способах контроля: при разработке вооружений и при их применении.

3. Задача обеспечения эффективного контроля над программным обеспечением САС сложна технически и едва ли выполнима политически: соображения секретности и национальной безопасности будут доминировать для каждого государства.

4. Пока в экспертной среде принято считать, что в мире не создано полноценных САС. Часть экспертов предлагает подождать, пока появятся конкретные образцы и будут понятны связанные с ними угрозы.

Также было бы неверно думать, что появление САС обнаружило в международном праве чистые страницы, которые необходимо немедленно заполнить:

- МГП подробно описывает правила ведения войны, и военные всех стран обязаны строго соблюдать их даже в случае использования САС. Международное право позволяет определить лицо, ответственное за военные преступления, совершенные в том числе с применением автономных роботов, и это в значительной степени является сдерживающим фактором для развития САС;

- хотя запрет на использование САС прямо не прописан в международном законодательстве, в мировом общественном мнении сформировалось убеждение, что автономное применение ударных дронов негуманно и аморально. Своеобразное неписанное табу на применение САС становится определенным ограничителем для военных и политиков;

- ряд международных экспертов, в частности робототехник из института технологии в Джорджии профессор Рональд Аркин3, допускают, что САС смогут эффективнее людей соблюдать положения МГП и принципы применения силы, поскольку они не подвержены стрессу, их датчики по точности нередко превосходят органы чувств человека, а программное обеспечение на основе искусственного интеллекта позволяет ограничить применение оружия заданными параметрами;

- современные средства управления и контроля позволяют фиксировать весь процесс применения боевого робота, что в перспективе может упростить вопрос об ответственности за возможные нарушения;

- развивающиеся в последние годы блокчейн-технологии потенциально открывают новые возможности осуществления достоверного технического контроля за применением боевых роботов как в ходе учений, так и в случае боевого применения.

Проблема значимого человеческого контроля

Формально проблема значимого человеческого контроля имеет четыре составляющих:

1. Риски для гражданских лиц со стороны САС;

2. Риски нарушения прав человека и человеческого достоинства;

3. Неспособность САС соблюдать законы ведения войны;

4. Неопределенность в отношении юридической ответственности за намеренные и непреднамеренные последствия использования таких систем4.

Однако каких бы роботов-убийц не выдумали создатели в будущем, следует помнить, что государства и их граждане обязаны соблюдать уже действующие нормы и принципы международного права, которые содержат большой перечень правил и ограничений при ведении войны.

МГП было создано для защиты человеческих ценностей, и в толковании большинства экспертов некоторые его документы прямо относятся к проблеме САС.

Оговорка Мартенса - сформулированное русским юристом и дипломатом Ф.Ф.Мартенсом в 1899 году правило о том, что, даже если то или иное положение прямо не предусмотрено статьями действующего права, в ситуациях вооруженных конфликтов сторонам необходимо в первую очередь руководствоваться принципами гуманности, человечности и здравого смысла. 

Впоследствии Оговорка Мартенса вошла в тексты ряда международных документов как признание того, что «принципы гуманности и требования общественного сознания» являются законными источниками МГП.

По мнению многих юристов-международников, принцип гуманности подразумевает человеческий контроль над насилием в ходе войны, принятием политических и стратегических решений, что предусматривает значимый человеческий контроль над САС.

«Принципы гуманности», вытекающие из Всеобщей декларации прав человека 1948 года и Международного пакта о гражданских и политических правах 1966 года.

Статья 36 Дополнительного протокола I 1977 года к Женевским конвенциям 1949 о новых видах оружия, которая гласит, что «при изучении, разработке, приобретении или принятии на вооружение новых видов оружия, средств или методов ведения войны Высокая Договаривающаяся Сторона должна определить, подпадает ли их применение, при некоторых или при всех обстоятельствах, под запрещения, содержащиеся в настоящем Протоколе или в каких-либо других нормах международного права, применяемых к Высокой Договаривающейся Стороне»5.

Данная статья толкуется многими в пользу того, что, если новое оружие (САС) не способно к избирательному и соразмерному применению, оно должно быть признано запрещенным.

Различные документы формируют право вооруженных конфликтов с его основными принципами:

1. Различие между гражданским населением и комбатантами;

2. Принцип пропорциональности (соразмерности) применения силы6;

3. Принцип военной необходимости7;

4. Ограничения средств и методов ведения войны (запрет на излишние разрушения или причинение чрезмерных страданий)8.

То есть обязательства по соблюдению норм МГП в условиях военных действий подробно описаны, и они распространяются в том числе на САС. Но, поскольку действующие международные документы возлагают обязанность по толкованию обязательств на национальные правительства, международные эксперты опасаются, что те будут толковать их в свою пользу, пренебрегая понятиями морали и человеческого достоинства. Из этого активисты делают вывод: есть необходимость в более детальном изложении норм МГП применительно к САС.

21 декабря 2016 года 5-я Обзорная конференция Конвенции по «негуманному» оружию (КНО) приняла решение сформировать Группу правительственных экспертов (ГПЭ) с полномочиями «изучить и согласовать возможные рекомендации в отношении вариантов, связанных с новыми технологиями в области САС».

Последние консультации о будущем смертоносных автономных систем 27-31 августа 2018 года в Женеве на площадке КНО завершились согласованием десяти принципов, на которых в будущем мог бы базироваться подход международного сообщества к САС. Ключевые из них: все разработки в сфере искусственного интеллекта военного назначения должны вестись в соответствии с международным гуманитарным правом, а ответственность за применение подобных систем в любом случае должен нести человек9. По мнению наблюдателей, несмотря на заметные терминологические разногласия, участники конференции в целом согласны с тем, что применение силы должно всегда находиться под «значимым человеческим контролем».

Возможные варианты правового регулирования САС

В дискуссии вокруг контроля над САС можно условно выделить две партии. Активисты первой предлагают сначала узаконить принцип значимого человеческого контроля над САС и уже после обсуждать и согласовывать определения автономности, контроля и собственно САС. Сторонники второй партии предлагают начать с терминов и определений, чтобы подступиться к принципам «с полным пониманием сущности проблемы».

Соревнование двух подходов может материализоваться в международных документах различной степени силы:

1. Политическая декларация;

2. Политически обязывающее соглашение;

3. Руководящие принципы по контролю над САС;

4. Кодекс добросовестной практики;

5. Полный запрет на разработку, испытания, производство, приобретение и передачи САС.

 

1. Политическая декларация

В политической декларации государства-подписанты выражают беспокойство в связи с существующей в мире проблемой и заявляют о своей решимости бороться с ней.

Применительно к САС такая декларация, могла бы содержать:

- подтверждение того, что действующие нормы международного права распространяются на САС;

- признание необходимости обеспечения значимого контроля над САС со стороны человека;

- отказ от разработки полностью автономных вооружений и систем, которые могли бы применять вооружение без реального контроля со стороны человека;

- выражение готовности реализовать намерения в национальных законодательствах, военных доктринах  и международных стратегиях;

- обязательство обеспечить значимый человеческий контроль при разработке, испытаниях, производстве, принятии на вооружение, хранении, обучении пользованию и применении САС в национальных вооруженных силах.

Если бы основные государства - производители высокотехнологичных вооружений поставили подпись под подобной декларацией, такой документ произвел бы заметный эффект в мире и мог бы стать моральным маяком для мирового сообщества.

Политическая декларация может стать наиболее легко достижимым документом, первым шагом к последующим мерам, которые детализировали бы обязательства, а возможно, и предусматривали бы меры контроля и ответственность сторон.

 

2. Политически обязывающее соглашение

В случае, если государства сочтут возможным использовать более твердую терминологию, например вместо слова «намерения» применят термин «обязательства», то речь может идти о политически обязывающем соглашении. В нем участники договорятся соблюдать определенные требования в отношении САС:

- обеспечивать надежный контроль со стороны человека на всех этапах «жизненного цикла» автономных боевых систем (human-on-the-loop);

- соблюдать определенные меры транспарентности, например публиковать регулярные обзоры по проблематике САС (weapons reviews);

- хотя основной акцент в таком соглашении делается на позитивных обязательствах, оно может включать и определенные меры контроля.

Подобно опубликованному 8 декабря 2017 года совместному докладу ЕС и Великобритании, названному «Brexit», политически обязывающее соглашение не является юридически обязывающим. Однако с политической точки зрения оно является свершившейся сделкой, подлежащей к исполнению. Как и в случае с Brexit, за политически обязывающим соглашением по САС может последовать более детальный юридически обязывающий договор.

 

3. Руководящие принципы по контролю над САС (Good Practice Guidelines for LAWS Control)

Руководящие принципы являются мягкой альтернативой юридически обязательным правилам, они принимаются в качестве рекомендации для решения определенных проблем, в нашем случае - в отношении САС.

Такой свод советов не имеет иной силы, кроме силы примера, однако может служить экспертным ориентиром для политиков и общественности, а также отправной точкой для профессиональной дискуссии.

В мире не накопилось значительного опыта правоприменительной практики, касающейся САС, и, возможно, еще не настало время для глубокого обобщения передового опыта в этой части. Между тем два документа заслуживают упоминания - «Записка о концепции совместных действий 2/11 Центра разработки военных концепций и доктрин Министерства обороны Великобритании (Joint Doctrine Note)»10 и «Директива Министерства обороны США №3000.09»11. 

В документе «Joint Doctrine Note», который касается беспилотных летательных аппаратов, Министерство обороны Соединенного Королевства подчеркивает, что оно не разрабатывает оружия, которое можно было бы отнести к категории САС, и не намерено разрабатывать его в будущем. Минобороны Великобритании заявляет, что британское оружие всегда будет находиться под контролем человека.

Приказ Минобороны США «DoDD 3000.09» определяет порядок и ответственность при разработке и использовании автономных и полуавтономных военных систем, а также устанавливает меры, призванные свести к минимуму вероятность непреднамеренных ударов. В частности, «до принятия решения о начале разработки САС ответственные должностные лица МО должны убедиться, что конструкция системы обеспечивает командирам и операторам возможность осуществлять необходимые уровни человеческого контроля при использовании силы». Ответственные органы обязаны «подтвердить, что операторы автономных и полуавтономных систем вооружения изучили возможности систем, доктрины и тактики, методы и процедуры в целях обеспечения необходимого уровня человеческого контроля при применении силы и они применяют системы в соответствии с законами войны»12.

 

4. Кодекс добросовестной практики

Другой возможный путь регулирования проблемы САС - Кодекс добросовестной практики. Рассмотрим его на примере «Таллиннского руководства по применению юридических норм международного права к военным действиям в киберпространстве» (The Tallinn Manual on the International Law Applicable to Cyber Warfare). «Таллиннское руководство», составленное при активном участии Центра передового опыта совместной киберзащиты НАТО, является наиболее полным академическим исследованием того, как действующее международное право может быть применимо к киберконфликтам и кибервойнам. Его появление фактически привело к расколу в мире на два лагеря в отношении путей регулирования киберпространства. Но если абстрагироваться от сопровождающих «Таллиннское руководство» серьезных политических разногласий, то его формальное содержание может послужить примером скрупулезного академического и юридического подхода и для решения проблемы САС.

Кодекс добросовестной практики САС мог бы разобрать такие вопросы, как законы войны и боевые роботы; принципы морали и гуманности, соблюдение прав человека при создании и применении САС; принцип значимого человеческого контроля; ответственность при разработке и применении САС; транспарентность на различных этапах жизненного цикла САС; обзоры новых технологий; правила боевого применения САС.

 

5. Полный запрет на разработку, испытания, производство, приобретение и передачи САС

Полный превентивный запрет - это «традиционный» способ решения проблем в рамках КНО, где в разные годы были запрещены вооружения, оставляющие необнаруживаемые осколки; ослепляющее оружие; зажигательное оружие; наземные мины и мины-ловушки. По своему характеру эти запреты собственно являются политически обязывающими соглашениями.

Полный запрет САС был бы простейшим способом регулирования, ведь в рамках четырех действующих протоколов КНО нет ни одного, где бы оговаривался механизм контроля за соблюдением установленных запретов. Механизмов нет, тем не менее запреты действуют, и поводов беспокоиться за их нарушение возникало немного.

Но действующие протоколы КНО касаются тех видов оружия, которые «сами себя выдают» и чье появление будет сразу замечено. Иное дело САС. Применение автономных вооружений возможно скрыть или засекретить, а для их идентификации нужна профессиональная экспертиза.

Доверяй, но проверяй

Можно вообразить, что для верификации САС будет сформирован механизм вроде того, который действует в рамках Организации по запрещению химического оружия (ОЗХО). Организация по контролю над САС, вероятно, должна стать еще более многочисленной, и ей потребуется большое количество новейших технических средств, чтобы фиксировать факты автономного применения систем вооружений, количество которых в будущем может исчисляться тысячами, а возможно - сотнями тысяч.

Создание такой системы потребует сложных организационных и технологических решений, крупных затрат и привлечения большого числа международных чиновников, притом что желающие обойти упомянутые средства контроля найдут для этого премного недорогих способов.

То есть ответ на вопрос о необходимости создания организации по контролю над соблюдением запрета на САС по типу ОЗХО не выглядит однозначно положительным. Химическое оружие является оружием массового уничтожения. Оно неоднократно доказывало свою неизбирательную природу в ходе сражений. О неизбирательном характере САС сегодня возможно говорить только теоретически. И, конечно, сегодня нет причин относить САС к оружию массового уничтожения, хотя ситуация может измениться в будущем.

Опубликование военных доктрин, боевых уставов, обзоров возникающих технологий и новых вооружений может оказаться неплохим средством для снятия подозрений и озабоченностей. Возможно, меры транспарентности и информационного обмена станут более эффективными для контроля над САС.

Российский фактор

По ряду причин тема САС носит чувствительный характер для России. Наша страна причисляет себя к группе лидеров в создании боевых робототехнических комплексов. С советских времен политическое и военное руководство страны делало ставку на максимальную автоматизацию процессов в сфере ПВО, различных ракетных системах. Известно, что для обеспечения национальной безопасности Советский Союз создал единственную в своем роде автоматизированную систему «Периметр», получившую на Западе известность под названием «Мертвая рука».

Существующие российские системы, включая «Периметр», являются высокоавтоматизированными, их никак нельзя отнести к автономным. Однако возможны сюрпризы. У российских дипломатов и военных на памяти свеж урок с принятием 3 декабря 2008 года Конвенции о запрещении кассетных боеприпасов. В России этот документ считается примером дипломатического наперстничества: конвенция содержит длинный перечень исключений, который позволяет продолжить производство кассетных боеприпасов по западным стандартам. Для российских стандартов исключений не было, и Россия остается среди стран, отказавшихся присоединиться к Дублинской конвенции.

С тех пор инициативы по контролю над вооружениями, включая САС, принято рассматривать через призму «антироссийской направленности». Такая позиция Москвы дает повод западным СМИ незаслуженно называть Россию главным «спойлером» процесса контроля над автономными вооружениями.

Между тем РФ «исходит из того, что работа по выработке рабочего определения и базовых функций во многом должна выстраиваться исходя из конечной цели дискуссии по проблематике САС - изучение возможностей наиболее адекватного использования данного вида оружия в будущем и поддержания над ним должного уровня контроля со стороны человека»13. Россия лишь настаивает, что «конкретные формы и методы такого контроля должны оставаться на усмотрение государств».

При этом страны Евросоюза не выказывают заинтересованности в запрете автономных вооружений (например, Германия и Франция предлагают ограничиться политической декларацией), а США прямо выступают в пользу развития САС. Американские аргументы изложены в докладе «Гуманитарные преимущества возникающих технологий в сфере смертоносных автономных систем вооружений»14, где, в частности, говорится: «Вооружения, которые ведут себя в соответствии с намерениями командиров и операторов, могут реализовать их стремление проводить операции в соответствии с законами войны и свести к минимуму ущерб гражданскому населению».

США являются бесспорным лидером в сфере исследований и создания САС. Годовой бюджет США на военные НИОКР составляет 80 млрд. долларов, он в два раза превосходит исследовательские бюджеты компаний «Google», «Microsoft» и «Apple» вместе взятые15. Пентагон ежегодно тратит 7,4 млрд. долларов только на несекретные исследования в области искусственного интеллекта16. Китай планирует до 2030 года стать глобальным лидером в сфере искусственного интеллекта, вложив в нее 150 млрд. долларов. Россия надеется побороться за лидерство со скромным бюджетом - 12,5 млн. долларов в год17.

Автономные боевые роботы завтра выйдут на поля сражений. Это может стать следствием естественного технического прогресса: например, в силу того, что популярная нынче роевая тактика по определению подразумевает автономную работу группы дронов без участия человека. Автономный режим на поле боя может стать вынужденным по той причине, что противник применил средства радиоэлектронной борьбы (РЭБ) и связь с боевыми системами стала невозможна. Мы заранее опасаемся железных «мозгов», нацеленных на уничтожение. Но в конечном счете опасения заслуживают не роботы, а люди, стоящие за ними. Люди могут открыть этот ящик Пандоры, но люди также обладают здравым смыслом, чтобы найти для этой проблемы превентивное решение.

 

 

 1Sentry gun // URL: https://en.wikipedia.org/wiki/Sentry_gun

 2Asaro P. Jus nascendi, Robotic Weapons and the Martens Clause, Published: unknown date by  Edward Elgar Publishing in Robot Law. Р. 367-386; doi:10.4337/9781783476732.00024 // URL: http://www.peterasaro.org/writing/Asaro%20Jus%20Nascendi%20PROOF.pdf

 3Hambling D. Why the U.S. Is Backing Killer Robots. 14 Sept. 2018 // URL: https://www.popularmechanics.com/military/research/a23133118/us-ai-robots-warfare/

 4Asaro P. Op. cit.

 5Дополнительный протокол I к Женевским конвенциям от 12 августа 1949 г., касающийся защиты жертв международных вооруженных конфликтов // URL: http://www.conventions.ru/view_base.php?id=1107

 6Принцип пропорциональности (соразмерности) в международном праве // URL: http://interlaws.ru/princip-proporcionalnosti-sorazmernosti-v-mezhdunarodnom-prave/

 7Русинова В.Н. Принцип военной необходимости в международном гуманитарном праве: оправдано ли забвение? // URL: http://отрасли-права.рф/article/6360

 8Егоров С.А. Вооруженные конфликты и международное право. М., 1999 // URL: https://bfveteran.ru/pravo/703-osnovnye-princzipy-prava-vooruzhennyx-konfliktov.html

 9Report of the 2018 session of the Group of Governmental Experts on Emerging Technologies in the Area of Lethal Autonomous Weapons Systems. 23 October 2018 // URL: https://www.unog.ch/80256EDD006B8954/(httpAssets)/20092911F6495FA7C125830E003F9A5B/%24file/CCW_GGE.1_2018_3_final.pdf

10Записка о концепции совместных действий 2/11 Центра разработки военных концепций и доктрин Министерства обороны Великобритании (The Development, Concepts and Doctrine Centre, Ministry of Defence // URL: https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/644084/20110505-JDN_2-11_UAS_archived-U.pdf

11Directive DoDD 3000.09 // URL: https://fas.org/irp/doddir/dod/d3000_09.pdf

12Авторский перевод положений Приказа Минобороны США DoDD 3000.09 // URL: https://fas.org/irp/doddir/dod/d3000_09.pdf

13О российских подходах к выработке рабочего определения и базовых функций смертоносных автономных систем вооружений в контексте целей и задач Конвенции. Доклад делегации РФ. Женева, 9-13 ноября 2018 г.

14Humanitarian benefits of emerging technologies in the area of lethal autonomous weapon systems. Доклад делегации США на КНО. Женева, 9-13 апреля 2018 г.

15Carter A. Shaping Disruptive Technological Change for Public Good. Aug. 2018 // URL: https://www.belfercenter.org/publication/shaping-disruptive-technological-change-public-good?utm_source=SilverpopMailing&utm_medium=email&utm_campaign=TAPP_Ash%20Carter_Shaping%20Disruptive%20Technological%20Change%20for%20Public%20Good%20(1)&utm_content=&spMailingID=20227006&spUserID=NTE4NzgwNzI4MTAS1&spJobID=1340856526&spReportId=MTM0MDg1NjUyNgS2

16Polyakova A. Weapons of the weak: Russia and AI-driven asymmetric warfare. 15 Nov. 2018 // URL: https://www.brookings.edu/research/weapons-of-the-weak-russia-and-ai-driven-asymmetric-warfare/#footnote-5

17Ibid.