Современная Южная Корея (Республика Корея, далее - Корея) - одна из самых технологически развитых стран мира. Там разработаны и успешно применяются самые передовые технологии, включая технологии, относимые к искусственному интеллекту (далее - ИИ). Южнокорейские технологические гиганты, такие как Samsung, LG, SK и подобные, создают так называемые экосистемы, включающие самый широкий набор технологических решений и товаров - начиная уже с упомянутых решений с применением ИИ и заканчивая железнодорожными поездами1, 2.

Как и любая другая технология, ИИ может быть использован как во благо общества, так и в злонамеренных целях. В данной статье рассмотрим риски злонамеренного использования технологий ИИ (далее - ЗИИИ) в Южной Корее в информационно-психологическом аспекте.

Риски злонамеренного использования технологий искусственного интеллекта: информационно-психологический аспект

Широкое внедрение в практику технологий ИИ влечет за собой определенные риски, в том числе связанные со злым умыслом. Специалисты и исследователи расходятся в определении конечного перечня данных рисков, однако представители особо отмечают как гуманитарные, так и технические специальности. Особо выделен информационно-психологический аспект, то есть злонамеренное влияние посредством технологий ИИ как на сознание отдельных людей, так и массы, в частности риски, сопряженные со следующими вариантами применения ИИ.

Технологии deepfake (глубокие фейки) - синтез аудио- или видеопотока на основе использования ИИ, позволяющего достоверно имитировать речь и внешность конкретного человека. Риск развития подобных технологий очевиден - в скором времени, не видя живого человека прямо перед собой собственными глазами, однозначно утверждать, что некое высказывание принадлежит определенной личности, будет невозможно. А люди, лишенные в силу различных факторов (загруженность по работе, проблемы в семье и т. д.) возможности дотошного применения к получаемой информации методов критического анализа, становятся в такой ситуации максимально уязвимыми к манипуляциям с помощью фейков, созданных с использованием личностей «лидеров мнений», которым они доверяют.

Также подобные технологии позволяют создавать медиаконтент, находящийся вне закона в большинстве стран мира, к примеру, запрещенные порнографические материалы с использованием реально существующих личностей и особо охраняемых законом категорий населения, таких как несовершеннолетние дети.

Использование ИИ в целях формирования повестки дня (agenda setting), в том числе с применением эффекта «эхо-камеры», когда боты в социальных сетях множественно поддерживают необходимую точку зрения, оставляя позитивные комментарии, а распознавая негативный настрой к заданному тезису, «топят» его отрицательным голосованием. Находя «подтверждение» заданной точке зрения, живые люди склонны поддаваться подобной манипуляции и смещать собственную оценку событий и фактов в сторону, необходимую выгодоприобретателю3.

Третий крупный риск-блок, связанный с ИИ, - уязвимости самих систем ИИ, считающихся заведомо доверенными. С помощью эксплуатации как программных, так и алгоритмических уязвимостей, злоумышленники могут сменить поведение ИИ и заставить применять в генерируемом потоке информации оскорбления (что может нанести репутационный ущерб компании - оператору системы) либо, опять же, продвигать необходимую злоумышленникам повестку. Определенные риски несут и специфичные уязвимости - такие как эффект «галлюцинаций» ИИ. «Добросовестно» заблуждаясь или находясь под влиянием злоумышленника, ИИ (в частности, так называемая большая языковая модель может выдать очень убедительное обоснование откровенно ложного тезиса4, что, возможно, приведет и к убеждению контактирующих с ИИ людей в этой лжи, то есть снова к манипуляции.

Наконец, четвертый риск-блок - непосредственно проблематика ИИ в кибербезопасности. Современные генеративные модели могут быть крайне эффективны в фишинговых и вишинговых атаках, создавая как эффективно снижающие бдительность пользователей убедительные тексты, так и обращаясь к «жертвам» с помощью аудио и видео от имени их близких, родственников и иных доверенных лиц с целью хищения денежных средств или убеждения к совершению каких-либо других вредных для себя действий.

Риски ЗИИИ в Южной Корее на реальных примерах

В 2019 году, при Президенте Мун Чжэ Ине, правительство Кореи приняло Национальную стратегию по искусственному интеллекту (далее - Стратегия)5. И в очередной раз основными приоритетами стали государственная поддержка отрасли ИКТ в части проектов, посвященных ИИ, содействие развитию и внедрению подобных проектов в жизнь общества, а среди целей задекларировано мировое лидерство в данной области.

Вопросы безопасности в Стратегии также затронуты - упоминается среди целей достижение третьего места в рейтинге кибербезопасности МСЭ и «предотвращение дисфункции и выработка этики ИИ». При этом единственной конкретной «дисфункцией» объявлены имеющие прямое отношение к теме данной работы deepfakes (созданные с помощью ИИ ложные аудио- и видеоматериалы).

Необходимо отметить, что в тексте Стратегии ни один из рисков применения ИИ не связан с возможными психологическими последствиями для людей, и все, что хоть каким-то образом затрагивает взаимодействие ИИ с человеком, скрыто за размытым определением «этика».

Промежуточными целями при этом заявлено проведение НИОКР с целью разработки новых проектов и одновременного предотвращения сбоев (нарушений, инцидентов), возникающих в результате развития ИИ, а также создание системы межведомственного сотрудничества (2020 г.)

Авторами стратегии также описаны опасения по поводу таких побочных эффектов (развития ИИ), как дезинформация, кража личности и финансовое мошенничество в тех областях, где ожидается создание новых рынков и услуг (например, приложений для медицинской телеметрии) с помощью технологии синтеза видео. Вследствие этих опасений декларируется необходимость разработки технологий выявления и обнаружения deepfake и пересмотра соответствующих законов и правил при осуществлении сотрудничества в уголовных расследованиях, а также создания системы управления качеством, проверяющей надежность и безопасность продуктов и услуг искусственного интеллекта.

Экзистенциальная важность безопасного и доверенного применения технологий ИИ подчеркивается при этом примером из новейшей корейской истории - по сей день в корейском обществе, по крайней мере в научном сообществе, идут достаточно оживленные дискуссии на тему легитимности применения нынешним президентом страны технологий ИИ в ходе собственной президентской выборной кампании. Создание своего «цифрового двойника» позволило Президенту страны Юн Сок Ёлю вести предвыборную агитацию одновременно в нескольких районах Кореи, при этом физически находясь в одном и том же месте6. По сути, подобное применение ИИ является логическим развитием идей управления народными массами посредством таргетированных информационных кампаний в социальных сетях.

2023 год также многократно демонстрировал не только выгоду, но и рисковую сторону повсеместного внедрения технологий ИИ в жизнь южнокорейского общества.

Так, декларируя целью борьбу с «кибербуллингом», Naver, крупнейший южнокорейский оператор веб-сервисов, внедрил на основе ИИ службу уведомлений о вредоносных (негативных) комментариях, которая может отслеживать оскорбления в разделе комментариев новостных статей. Используя решение под названием «Cleanbot Observer», медиакомпании могут очищать разделы комментариев после обнаружения статей с большим количеством оскорблений7.

По сути, Naver внедрил систему, позволяющую манипулировать информационным фоном и создавать благоприятную репутацию даже у инфоповодов, вызывающих резко отрицательную реакцию пользователей.

Виртуальные личности, создаваемые с помощью технологий ИИ, стали в начале 2024 года уже обыденностью в южнокорейском обществе8. Виртуальные двойники «поступали» в университеты в качестве студентов, «стажировались» в крупных компаниях и регулярно появляются в прямом эфире телевидения, поддерживая продажи различных товаров - от продуктов питания до предметов роскоши. И представители компаний-разработчиков утверждают, что это только начало. Они «работают над технологией, которая позволит расширить использование искусственного интеллекта человеком», - со слов Пак Джи Ын, генерального директора компании «Pulse9», являющейся одним из главных игроков южнокорейского рынка ИИ. Спрос на виртуальных двойников в Корее изначально был обусловлен индустрией K-pop, а идея виртуального «idol» (кумира) - не склонного к скандалам и способного работать 24 часа в сутки, семь дней в неделю - оказалась популярной среди заведомо настойчивых музыкальных агентств страны. Но теперь «Pulse9» «расширяет свою роль в обществе, чтобы показать, что эти виртуальные люди - не просто фантастические идолы, но могут сосуществовать с людьми как коллеги и друзья», - заявляет Пак.

Необходимо отметить, что подобный бесконтрольный подход к внедрению ИИ в массовое использование может привести к потере обществом доверия к медиаинформации в целом. Ведь без неких правил применения таких технологий, ответственности за несоблюдение этих правил генерация медиаконтента становится ничем не ограничена - и создатели виртуальных двойников либо злоумышленники, получившие к ним доступ, смогут транслировать посредством данных фальшивок любые выгодные для себя тезисы. А параллельный переход на удаленное образование может позволить компрометацию образовательной системы - преподаватели не смогут отличать замещающих их студентов-цифровых двойников от реальных личностей на занятиях и экзаменах.

В контексте образования необходимо также упомянуть проблему отсутствия у ИИ понимания этических общественных норм. На прошедшем 11 мая 2023 года семинаре «AI Security Day Seminar», проведенном при поддержке корейских агентств развития сети Интернет и безопасности (далее - KISA) и Министерства науки и ИКТ, Шин Ён Нэ, управляющий директор «Microsoft Korea», рассказал об эксперименте 2016 года, когда компания была вынуждена отключить чат-бот под названием TAY (thinking about you) всего через 16 часов после открытия к нему публичного доступа. Бот начал делать массу общественно порицаемых утверждений, например со слов Шина: «Мне нравится Гитлер, и я ненавижу феминисток»9. В силу массового использования чат-ботов современными школьниками и студентами для подготовки рефератов и иных текстовых работ бесконтрольный доступ к подобным технологиям может привести к нарушению морально-этических установок в молодежной среде, потому что информация, транслируемая ИИ, зачастую пользуется излишним доверием.

Так, в 2023 году созданные с помощью технологий ИИ deepfake рекламные объявления, рекламирующие инвестиционные схемы «быстрого обогащения» с участием известного южнокорейского журналиста Сон Сук Хи, неоднократно распространялись в социальных сетях Кореи. Эксперты подтвердили журналистам, что некоторые наиболее популярные видеоролики по упомянутым ключевым словам с участием Сона («обогащение»), просмотренные тысячи раз, созданы с помощью искусственного интеллекта. Отдельный «репортаж» был сфальсифицирован на веб-странице крупной южнокорейской газеты «Чосон ильбо». При этом по состоянию на 30 ноября 2023 года (дата публикации) Сон, по собственным заявлениям, не продвигал никаких инвестиционных схем10. Данный эпизод красноречиво иллюстрирует проблему манипуляции общественным сознанием и повесткой с применением deepfake.

В июне 2023 года представитель корейской компании из отрасли кибербезопасности SK Shieldus заявил, что эксперты компании обнаружили применение генеративных моделей ИИ, таких как «ChatGPT» и «Bard» в мошеннических атаках с применением подделки речи. Со слов представителя компании, в случае, ставшем известным ее специалистам, мошенники имитировали с помощью ИИ голос ребенка с целью выманить денежные средства его родителей11. На фоне того, что телефонное мошенничество было и остается в Корее серьезной проблемой, целями при этом, как правило, являются представители старшего поколения и другие наиболее уязвимые категории населения, а попадание инструментов ИИ в руки мошенников усугубляет ситуацию. 

Киберпреступники также следят за прогрессом и используют его достижения в собственных целях. Так, в 2023 году группой южнокорейских исследователей была создана модель «DarkBERT», обученная для работы с информацией из «Dark Net» (темный Интернет). Как заявлено исследователями, недавние изыскания показали, что существуют явные различия в языке, используемом в «Dark Net», по сравнению с языком «Surface Web» («поверхностный», «основной» Интернет). Поскольку исследования «Dark Net» обычно требуют текстового анализа предметной области, языковые модели, специфичные для «Dark Net», могут предоставить исследователям ценную информацию12. Данной моделью не преминули воспользоваться в своих целях злоумышленники. Хакер под никнеймом «CanadianKingpin12» заявил о создании вредоносного чат-бота на базе «DarkBERT», призванного снизить входной барьер для потенциальных киберпреступников и позволить им разрабатывать сложные фишинговые кампании по компрометации деловой электронной почты (business email compromise), находить и использовать уязвимости «нулевого дня» (наиболее актуальные уязвимости, не обнаруживаемые средствами защиты), исследовать критические слабости инфраструктуры, создавать и распространять вредоносное ПО и многое другое13.

В 2023 году в Корее также был вынесен первый приговор, связанный со злонамеренным использованием ИИ в сфере создания противозаконного медиаконтента. К двум с лишним годам тюремного заключения был приговорен мужчина, использовавший технологии генеративных моделей ИИ для создания более чем 360 изображений, содержащих детскую порнографию14. Необходимо отметить, что данный приговор создал прецедент, так как вынесшая решение судейская коллегия особо прокомментировала тот факт, что законодательство, посвященное порнографическим материалам, следует распространить и на машинно-генерируемые изображения. Так как в противном случае ИИ становится лазейкой, позволяющей создавать разлагающие мораль общества материалы в обход законодательства.

Изучая информационный фон вокруг темы злонамеренного использования технологий ИИ в Корее, можно прийти к выводу, что наиболее беспокоящим южнокорейское общество риском является применение deepfake. Так, на парламентских слушаниях 10 октября прошлого года Рю Хо Чжон, председатель Комитета по культуре, спорту и туризму, представила видео, в котором министр культуры Ю Ин Чон поет популярную песню Ким Кван Сока. Демонстрация послужила напоминанием о потенциальных опасностях технологии, подчеркнув острую необходимость регулирования. Рю призвала к обязательной маркировке подобного контента и предложила собственный законопроект о регулировании применения технологии deepfake. Министр культуры Ю Ин Чон выразил поддержку законопроекту, признав важность решения обозначенных Рю проблем15.

18 декабря 2023 года Министерство науки и ИКТ Кореи и KISA анонсировали предстоящий выпуск Отчета по основным киберугрозам за 2023 год и прогноза по угрозам 2024 года, в котором будет уделено самое пристальное вниманием рискам злонамеренного использования ИИ. При этом затрагиваются как уже упомянутые в настоящей работе риски, так и проблема использования генеративных моделей как инструментов создания сложного вредоносного программного обеспечения (далее - ВПО). Без помощи ИИ многим злоумышленникам для создания подобного ВПО не хватило бы квалификации16.

Рассмотрим теперь планы и шаги, которые корейское правительство собирается предпринимать для обеспечения безопасности ИИ и доверия к этому технологическому направлению. В соответствии с упомянутой выше Стратегией, значительные инвестиции в размере 22 млрд вон (16,2 млн долл.) в период с 2022 по 2027 год будут направлены на разработку генеративных технологий искусственного интеллекта следующего поколения, а также введение маркировки контента, созданного искусственным интеллектом. Правительство станет рекомендовать использование водяных знаков, чтобы помочь пользователям идентифицировать контент, созданный искусственным интеллектом, и рассматривает возможность поэтапного введения обязательной маркировки контента, созданного искусственным интеллектом, после получения отзывов от отрасли. Таким образом правительство Республики планирует бороться с проблемой бесконтрольного использования deepfakes.

Помимо этого, в Парламент Кореи внесли проект закона, запрещающего использование технологий deepfake на 90-дневном отрезке времени, окружающем дату любых выборов в Республике17, а использование deepfake для нанесения вреда «общественным интересам» с этого года преследуется законодательно. При этом упомянутые акты нуждаются в детализации (в частности, точного описания «вреда общественным интересам»), а прочие отраженные в настоящей работе риски ЗИИИ на текущий момент не нашли должного отражения в нормативных документах южнокорейского правительства. В декабре 2023 года Президент Юн Сок Ёль анонсировал «Цифровой биль о правах», в котором, помимо прочего, будут упомянуты вопросы рисков ИИ, однако степень их проработанности неизвестна18.

 

Подытоживая, необходимо упомянуть актуальность как темы рисков непосредственно злонамеренного использования искусственного интеллекта, так и рисков опосредованного вреда внедрения систем ИИ. В настоящее время технологии ИИ начинают проходить апробацию и в такой «чувствительной» области, как медицина, а конкретно в сферах психологии и психиатрии. И применение, к примеру, чат-ботов в качестве собеседников для пациентов, по свидетельствам исследователей и практикующих психологов, может приводить к совершенно неожиданным вредоносным последствиям для психического здоровья пациентов19. Поэтому необходимо резко сокращать запаздывание регулирования технологий ИИ по сравнению со скоростью их внедрения. В настоящее время наблюдается существенное преобладание в части применения технологий ИИ в общественной жизни над наличием выработанных действенных мер противодействия их злонамеренному использованию и определения ответственности в случаях наступления негативных последствий. 

 

 

1How the Republic of Korea became a world ICT leader ? // ITU, 2020 // URL: https://www.itu.int/hub/2020/05/how-the-republic-of-korea-became-a-world-ict-leader/

2How South Korea made itself a global innovation leader // Nature Index, 2020 // URL: https://www.nature.com/nature-index/news/how-south-korea-made-itself-a-global-innovation-leader-research-science

3Базаркина Д.Ю., Дам В.Н., Пашенцев  Е.Н., Фан К.Н.А., Матяшова Д.О. Угрозы злонамеренного использования искусственного интеллекта против России и Вьетнама в Северо-Восточной Азии, 2021 // URL: https://cyberleninka.ru/article/n/politicheskaya-situatsiya-v-severo-vostochnoy-azii-i-ugrozy-zlonamerennogo-ispolzovaniya-iskusstvennogo-intellekta-vyzovy/viewer

4История года: влияние искусственного интеллекта на кибербезопасность // Лаборатория Касперского, 2023 // URL: https://securelist.ru/story-of-the-year-2023-ai-impact-on-cybersecurity/108558/

5National Strategy for Artificial Intelligence // The Government of the Republic of Korea, 2019 // URL: https://wp.oecd.ai/app/uploads/2021/12/Korea_National_Strategy_for_Artificial_Intelligence_2019.pdf

6Пашенцев Е.Н. Злонамеренное использование искусственного интеллекта и вызовы международной информационно-психологической безопасности // РСМД, 2022 // URL: https://russiancouncil.ru/analytics-and-comments/columns/cybercolumn/zlonamerennoe-ispolzovanie-iskusstvennogo-intellekta-i-vyzovy-mezhdunarodnoy-informatsionno-psikholo/ South Korea’s Presidential Deepfake // Vastmindz, 2022 // URL: https://www.vastmindz.com/south-koreas-presidential-deepfake/

7Naver adopts AI-based malicious comment notification system for online news articles // Aju Korea Daily, 2023 // URL: https://www.ajudaily.com/view/20230714152047802

8In South Korea, AI-driven virtual humans go mainstream // The Japan Times, 2023 // URL: https://www.japantimes.co.jp/business/2023/09/26/tech/ai-humans-south-korea/

9Korean MS «GPT-5·6 will continue to be released... fully aware of AI risks»// Yonhap News Agency, 2023 // URL: https://www.yna.co.kr/view/AKR20230511091100017

10Video and photos of South Korean journalist misused in doctored ‘investment scheme’ ads // AFP, 2023 // URL: https://factcheck.afp.com/doc.afp.com.344G7CK

11Generative AI suspected in phishing scams // UPI, 2023 // URL: https://www.upi.com/Top_News/World-News/2023/06/22/South-Korea-AI-phishing-voice-cloning/
1401687455215/

12Y. Jin, E. Jang, J. Cui, J.W. Chung, Y. Lee, S. Shin. DarkBERT: A Language Model for the Dark Side of the Internet // KAIST, S2W Inc., 2023 // URL: https://arxiv.org/pdf/2305.08596.pdf

13’DarkBERT’ GPT-Based Malware Trains Up on the Entire Dark Web // Dark Reading, 2023 // URL: https://www.darkreading.com/application-security/gpt-based-malware-trains-dark-web

14South Korea sentences man for creating child abuse images using AI // Futurism.com, 2023 // URL: https://futurism.com/the-byte/south-korea-ai-child-abuse

15South Korea Parliament Highlights Deepfake Concerns: Proposes Regulatory Legislation Amid Rising Dangers // BNN, 2023 // URL: https://bnnbreaking.com/politics/south-korea-parliament-highlights-deepfake-concerns-proposes-regulatory-legislation-amid-rising-dangers/

16Cybercrime abusing generative AI such as ChatGPT will increase in 2024 // NK Economy, 2023 // URL: http://www.nkeconomy.com/news/articleView.html?idxno=12729

17Half the world will vote in elections next year – will AI influence their choices? // Hankyoreh, 2023 // URL: https://english.hani.co.kr/arti/english_edition/e_international/1121375.html

18Yoon says spread of disinformation could threaten liberal democracy // Korea Times, 2023 // URL: https://www.koreatimes.co.kr/www/nation/2023/12/113_359806.html

19Systematic review and meta-analysis of AI-based conversational agents for promoting mental health and well-being // npj Digital Medicine, 2020 // URL: https://www.nature.com/articles/s41746-023-00979-5