ГЛАВНАЯ > Экспертная аналитика

Игры человеческого разума породят чудовищ?

12:59 03.02.2016 • Михаил Куракин, заместитель главного редактора журнала «Международная жизнь»

«Терминаторы» ещё не ходят и не летают по улицам городов и не ведут военных действий. Полностью автономных роботов, способных принимать собственные решения пока не существует. Однако, проблемы, связанные с разработкой подобных устройств, уже волнуют международные организации, а ряд стран вообще предлагают уже сейчас отказаться от подобных разработок.

Например, представители Франции предложили заключить Международное соглашение о запрете на развитие полностью автономных робототехнических систем военного назначения. Имеются в виду системы, которые способны уничтожать противника самостоятельно, без участия человека-оператора. Опасения специалистов в области создания кибернетических систем основываются на целом ряде проблем, которые возникают в связи с появлением «универсальных машин для убийства». В основе стремления запретить автономных роботов лежит мысль о том, что подобные устройства несут угрозу самому существованию Человечества.

Сценарии апокалипсических событий вроде восстания роботов или «сошедшего с ума» искусственного интеллекта уже неоднократно воплощались в научно-фантастических фильмах и книгах. Выход из строя системы управления боевого автономного робота, при котором он начнёт уничтожать и «своих» и «чужих» или просто посторонних гражданских лиц уже не кажется невозможным. Уже были прецеденты, когда «сумасшедший» банковский или биржевой компьютер своими «решениями» приносил грандиозные убытки не только владельцам. http://roboting.ru/

 Критики боевой роботехники отмечают, что нельзя позволять роботам принимать свои собственные решения об атаке, потому что роботы не имеют технической возможности отличать сражающихся от тех, кто не участвует в сражении. То есть роботы не отвечают "принципу различения", который имеется в документах, например, Женевской конвенции. Этот принцип требует, чтобы оружие никогда не было нацелено на тех, кто не участвует в сражении. Неоспоримо, что для робота чрезвычайно сложно отличить террориста, направившего на него свой пистолет, от, скажем, девчушки, указывающей на него рожком с мороженым. Хуже того, в реальных условиях сегодняшних войн даже людям порой бывает чрезвычайно непросто соблюдать этот принцип, поскольку любой боевик, скажем, на ближнем Востоке легко может выглядеть точно так же, как обычный местный пастух, нередко имеющий при себе автомат AK-47, чтобы защищать свое стадо коз.

Другой предмет для серьёзнейшего беспокойства назрел уже сейчас. Ведь  использование летальных роботов оборачивается непропорциональным применением силы относительно масштаба военной задачи. Имеются в виду так называемые "сопутствующие потери" или непреднамеренные смерти оказавшихся поблизости и ни в чём не повинных гражданских людей. На Ближнем Востоке такое происходило уже очень часто, когда ракетным ударом с американского беспилотника уничтожались не только «злодеи», но и абсолютно непричастные к боевикам люди. Или вообще, по ошибке,  уничтожались десятки людей ( например, расстрелянные с воздуха свадьбы в Афганистане).  Спрашивается,  какова "приемлемая степень" соотношения убитых невинных людей за каждого ликвидированного таким вот манером "плохого человека"? Два к одному? Или десять к одному? А может быть, и тысяча к одному?

Кроме того, уже сейчас, даже управляемые боевые роботы выходят из- под контроля.   В сентябре 2011 небольшой разведывательный дрон-самолёт RQ-Shadow столкнулся с военным транспортным самолётом в Афганистане, заставив того совершить аварийную посадку. При тестовом полёте боевого дрона-вертолёта MQ-8B Fire Scout в США его операторы потеряли управление роботом примерно на полчаса, в течение которых машина пролетела свыше 20 миль в направлении строго ограниченного для полётов воздушного пространства вокруг Вашингтона. Несколько лет тому назад в Южной Африке, при демонстрации новой пушки-робота "Эрликон", способной автоматически поражать цели ПВО, произошёл технический сбой, из-за которого робот открыл огонь по окружающим его людям, убив девять человек и ранив ещё четырнадцать. http://programming-lang.com/

Есть и другие основания опасаться новых технологий. Внедряемые сейчас боевые роботы с некоторой степенью автономности в своих решениях поднимают закономерные вопросы о том, кто должен нести бремя ответственности за возможный вред и ущерб, наносимый такими роботами. Даже если этот ущерб наносится случайно, а не предумышленно. Очевидно, что сам робот никакой ответственности понести не может. Кто тогда должен отвечать? Оператор, запустивший машину? Или программисты, писавшие софт для железных "мозгов"?  Или же фирма-изготовитель машины? А может, отвечать должен продавец?  Уже сейчас просматриваются намёки на то, что изготовители роботов будут пытаться заранее освободить себя от всякой ответственности. По той же примерно схеме, как это делают в софтверной индустрии с помощью  лицензионного соглашения с конечным пользователем, с которым все наверняка знакомы, поскольку обязаны принять его в качестве обязательного условия при начале использования нового программного обеспечения.

Возможно, решение всех этих проблем, которые возникают уже сейчас в связи с развитием искусственного интеллекта и боевых роботов было сформулировано писателем-фантастом Айзеком Азимовым, который придумал три закона робототехники - обязательные правила поведения для роботов (рассказ «Хоровод», 1942 год). Законы гласят: 1. Робот не может причинить вреда человеку или своим бездействием допустить, чтобы человеку был причинен вред. 2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону. 3.Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам. Вопрос только в том, согласны ли принять и воплотить эти законы  создатели военных роботов? Ведь если принять эти нехитрые правила, то, по сути, – автономных военных роботов производить будет нельзя.

Читайте другие материалы журнала «Международная жизнь» на нашем канале Яндекс.Дзен.

Подписывайтесь на наш Telegram – канал: https://t.me/interaffairs

Версия для печати