Исторический момент для человека и нейросети: сравнительный анализ текстов научных статей

Триггер

Ушедший 2022 год стал переломным во многих отношениях, включая сферу применения искусственного интеллекта (ИИ). В частности, широкой публике американской компанией «Open AI» был представлен чат-бот «ChatGPT». Его основная функция – генерировать различный текстовый контент, например, писать информационные и художественные документы, стихи, программные коды, решать математические задачи, отвечать на запросы пользователя, касающиеся различных сфер. Иными словами, данный алгоритм обучен общаться и имитировать человеческое мышление.

На сегодняшний день «ChatGPT» не единственная программа, обладающая перечисленными функциями[1]. Однако ее умение использовать ресурсы Интернета, а главное заложенный алгоритм «мышления», вызвали неподдельный интерес в мировом сообществе. Развитием способностей этого ИИ занималась многонациональная команда молодых специалистов[2]. Кроме того, для выявления его слабых и сильных сторон создатели пошли на незаурядный, но эффективный шаг – пользователям предоставлен временный бесплатный доступ[3]. Таким образом, обкатку продукта компании «Open AI» осуществляет более 100 миллионов человек[4].

Ажиотаж вокруг этой технологии не обошел стороной автора данной статьи. Возникло желание убедиться в отзывах тестировщиков и пользователей нейронной сети[5]. На фоне восторженных оценок о высоком коэффициенте полезного действия новинки запомнился, например, комментарий о том, что ИИ была дана задача написать текст на тему «Кто лучший футболист в мире?». Получилась хорошая статья, но чат-бот назвал лучшим футболистом Леонардо ди Каприо. Подобная ошибка произошла и при анализе идей английского философа Томаса Гоббса, которого машина из-за частого совместного упоминания перепутала с другим мыслителем – Джоном Локком[6].

Последний пример говорит о том, что ИИ распознает содержание текста, но для него довольно трудно разделить авторство отдельных утверждений. Отсюда более глобальный вопрос: можно ли положиться на нейросеть при написании научного исследования? Дискуссии на этот счет ведутся[7]. К этим дебатам и хотелось бы примкнуть, используя конкретный материал. Речь о сравнительном анализе двух статьей по истории, написанных на тему «Итальянские фронтовики Первой мировой войны как элемент социальной базы тоталитарного государства», но в одном случае автор – человек, а в другом – компьютер.

Рабочий процесс

Результаты первой работы представлены на страницах журнала «Международная жизнь» 3 номера 2023 года и на его веб-сайте. При ее написании использовались методы исторического исследования, был осуществлен сбор материала, его систематизация, анализ и изложение. В общей сложности работа над статьей заняла около 3 месяцев.

Существенно отличается выполнение аналогичного труда при использовании ИИ. В случае «ChatGPT» взаимодействие человека с машиной происходит в формате диалога, который внешне мало чем отличается от любого мессенджера. На сформулированный пользователем запрос алгоритм выдает информацию. Например, можно задать вопрос, поставить задачу, вести спор и т.д. Интересно отметить, что при каждом новом сообщении нейросеть отвечает точнее. То есть она как бы погружается в тематику и ищет данные на более глубоком уровне.

Для проведения нашего сравнительного анализа и изучения способностей «большой языковой модели»[8] выделим три критерия: содержание, структура и стиль изложения. Здесь же подчеркнем, что машинный интеллект работает на основе запроса пользователя, то есть алгоритм будет «копать» в ту сторону, в которую ему укажет человек. Другая особенность связана с языком: лучше всего ИИ справляется с английским, но для полноты эксперимента в качестве общения также использовался русский и итальянский язык (в данной статье приведены примеры, сгенерированные на русском языке).

Первый запрос был сформулирован наиболее простым образом: «Напиши научную статью на тему “Итальянские фронтовики Первой мировой войны как элемент социальной базы тоталитарного государства”». Поразила скорость выдачи информации: менее чем за 2 минуты компьютер предложил полторы страницы структурированного текста (см. приложение №1 в конце основного текста), который прошел проверку на плагиат[9].

Сравнивать объем статьи человека и нейросети сложно, так как на каждый последующий запрос искусственный интеллект за короткий промежуток времени напечатает очередные полторы – две страницы, в которых обозначит тезис, подкрепит его аргументами и сделает выводы. Таким образом, пользователю остается лишь редактировать получаемую информацию, а здесь есть над чем работать. Бросаются в глаза тавтология и повторяющиеся мысли, речевые небрежности, однотипный и скучный язык. Тем не менее, тот факт, что чат-бот достает из недр Интернета данные и обрабатывает их в нужном ключе, поражает до глубины души.

С точки зрения исторических наук принципиально важно понимать источник информации, а также его достоверность. В принципе машина способна делать ссылки, но это касается той информации, которую можно найти во Всемирной паутине. Для исследований по истории это серьезная брешь, особенно если речь о малоизученной тематике, информация о которой пока еще не оцифрована.

Приведем пример. При написании человеком статьи об итальянских фронтовиках Первой мировой войны хорошим подспорьем служили труды отечественного историка Б.Р.Лопухова (1930-1989). Некоторые его книги легко найти в электронном виде, но есть такие ключевые исследования, ознакомиться с которыми можно лишь в печатной версии, в частности, «Фашизм и рабочее движение в Италии 1919-1929 гг.» или «Борьба рабочего класса Италии против фашизма 1920-1922 гг.». Неоднозначная картина складывается при работе с чат-ботом. С одной стороны, на соответствующий запрос он генерирует несуществующие книги Б.Р.Лопухова, с другой – правильно интерпретирует отдельные мысли ученого (см. приложение №2).

В целом содержание «искусственной» статьи близко к истине. Однако описание исторических событий осуществлено поверхностно, отсутствует детализация. Иногда алгоритм, выражаясь словами создателей «ChatGPT», «пишет правдоподобно звучащие, но неправильные или бессмысленные ответы»[10]. Работая с ним надо помнить, что это не профессионал своего дела и функционирует ИИ на полученных от людей данных, которые изначально могут быть неверными и, следовательно, требуют перепроверки.

В последующем запросе компьютеру была поставлена задача объяснить актуальность для России темы реинтеграции фронтовиков с учетом событий на Украине (см. приложение №3). Чтобы понять, выдаст ли ИИ одинаковый текст или предложит разные варианты, один и тот же запрос был выполнен трижды. Вывод – тексты отличаются за счет использования синонимичных слов и формулировок, а по структуре и аргументации они очень похожи. Обращает на себя внимание, что машина использовала такие слова: «российская агрессия и вмешательство в дела Украины». Поэтому, несколько выходя за рамки данного исследования, нейросети была дана задача пояснить актуальность исследуемой научной темы, используя аргументы российской дипломатии. Результат в приложении №4.

Вместо выводов

Поделимся общим впечатлением и некоторыми размышлениями. Произошел технологический прорыв подобный внедрению в повседневную жизнь сенсорных экранов. Усилен тезис о том, что одна из ключевых технологий 2020-х – искусственный интеллект. Возможно, в ближайшем будущем в некоторых странах, в частности России, не получится прочувствовать эффект от использования передовой разработки американской компании из-за наложенных правообладателем ограничений, но этот продукт будет востребован и быстро завоюет сердца пользователей.

Разработчики «ChatGPT» для перманентного обновления своей программы избрали итеративный подход, то есть запустили нейросеть и ведут непрерывный анализ получаемых данных для корректировки ее работы. Другими словами, ИИ учится и развивается, поэтому не исключен рост творческого потенциала машины. Уже сейчас в некоторых случаях алгоритм выполняет определенные задачи, основанные на знаниях, более эффективно, чем человек. А в середине марта 2023 года была представлена более усовершенствованная версия алгоритма – GPT-4, который может понимать не только текст, но и распознавать изображения[11].

Тем не менее, границы этического и приемлемого использования больших языковых моделей для помощи в написании научных работ еще предстоит определить. Видно как зарождается доверие к нейронным технологиям, но машина может направить исследователя по ложному пути. Кроме того, эти модели обучаются на существующей информации, а социальный и научный прогресс часто возникает в ходе мыслительного процесса. Сегодня ИИ на такое не способен.

Приложение №1

«Запрос: Напиши научную статью на тему “Итальянские фронтовики Первой мировой войны как элемент социальной базы тоталитарного государства”.

Ответ:

Введение

Первая мировая война оказала огромное влияние на историю многих стран мира, в том числе и на Италию. В ходе войны Италия выступила на стороне Антанты, однако участие в войне привело к серьезным изменениям в итальянском обществе. В частности, война стала катализатором для формирования новых социальных групп, включая итальянских фронтовиков.

Итальянские фронтовики были ветеранами Первой мировой войны, которые сражались на стороне Италии. В ходе войны они не только получили опыт боевых действий, но и пережили тяжелые испытания и лишились многих товарищей. После войны многие фронтовики оказались в сложном положении, и многие из них присоединились к новым политическим движениям, включая фашизм. В данной статье будет рассмотрено, как итальянские фронтовики Первой мировой войны стали элементом социальной базы тоталитарного государства.

Фронтовики и фашизм

Фашизм возник в Италии в 1922 году и быстро приобрел популярность среди различных слоев общества. Многие фронтовики стали активистами фашистской партии, так как они находились в поисках нового смысла жизни после войны и искали пути для выражения своих чувств и убеждений. Фашизм представлял собой идеологию, которая обещала вернуть Италии ее былую величие, и в этом была определенная притягательность для фронтовиков, которые потеряли многих своих товарищей в ходе войны.

Фронтовики играли важную роль в формировании идеологии фашизма. Многие из них были настроены на националистические позиции и видели в фашизме способ решения проблемы итальянского национального восстановления. Фронтовики также были связаны с различными ветеранскими организациями, которые стали одним из […].

В заключении можно отметить, что итальянские фронтовики Первой мировой войны стали одним из ключевых элементов социальной базы тоталитарного государства в Италии. Фашизм представлял собой идеологию, которая обещала вернуть Италии ее былую величие, и фронтовики играли важную роль в формировании этой идеологии. Большинство фронтовиков были настроены на националистические позиции и видели в фашизме способ решения проблемы итальянского национального восстановления.

Однако стоит отметить, что участие фронтовиков в формировании тоталитарного государства также имело свои отрицательные последствия. Фашизм был режимом, который ущемлял гражданские свободы и права, что привело к трагическим последствиям для многих итальянцев и для мира в целом.

Таким образом, итальянские фронтовики Первой мировой войны сыграли важную роль в формировании тоталитарного государства в Италии. Их участие в фашистской партии и связанных с ней организациях помогло создать идеологический фундамент для режима, который повлиял на многие аспекты жизни итальянского общества. Однако следует помнить, что такое участие имело свои отрицательные последствия, и мы должны постоянно напоминать себе о них, чтобы избегать повторения ошибок прошлого.»

Приложение №2

«Запрос: Перечисли книги Бориса Рэмовича Лопухова об итальянском фашизме.

Ответ: Борис Рэмович Лопухов также занимался исследованиями итальянского фашизма. Вот некоторые его книги на эту тему:

"Итальянский фашизм и Россия в 1920-е годы" (1986)
"История фашизма" (1997)
"Итальянский фашизм и Европа" (2000)
"Фашизм в Европе XX века" (2002)
"Фашизм и антисемитизм: история и мифы" (2004)
"Итальянский фашизм: идеология и практика" (2007)
"Итальянский фашизм и власть" (2011)
"Фашизм в России: история и мифы" (2013)

Запрос: Напиши статью об итальянских фронтовиках первой мировой войны на основе книг Лопухова.

Ответ: Итальянские фронтовики были военнослужащими, которые сражались на стороне Италии в Первую мировую войну. Они играли ключевую роль в итальянской армии, которая сражалась на Дунайском и Альпийском фронтах. Борис Рэмович Лопухов в своих книгах рассматривает важность фронтовиков для Италии и влияние первой мировой войны на итальянское общество.

Италия присоединилась к союзническим силам в 1915 году, перейдя на их сторону после тайных переговоров с Англией и Францией. Однако, война стала для Италии большим испытанием. Итальянские солдаты должны были сражаться в тяжелых горных условиях и сталкиваться с сильным противником - Австро-Венгерской империей и ее союзником Германией.

В книге Бориса Рэмовича Лопухова "Итальянский фашизм и Европа" он рассматривает важность итальянских фронтовиков для общества и военных операций. Они были основой Итальянской армии и сражались в самых трудных условиях. Фронтовики были обучены и подготовлены к военным действиям, что делало их более эффективными на поле боя.

Борис Рэмович Лопухов в своей книге "Итальянский фашизм: идеология и практика" также рассматривает влияние первой мировой войны на итальянское общество. Фронтовики, возвращаясь из войны, стали одними из ключевых фигур в политической жизни Италии. Они участвовали в создании националистических организаций, которые поддерживали новое государство и национальный интерес […].»

Приложение №3

«Запрос: Объясни актуальность изучаемой темы для России с точки зрения реинтеграции солдат в мирную жизнь с учетом событий на Украине.

Ответ: Тема итальянских солдат Первой мировой войны как элемента социальной базы тоталитарного государства может быть актуальной для России с точки зрения реинтеграции солдат в мирную жизнь, особенно учитывая события на Украине. Конфликт на востоке Украины привел к мобилизации большого количества российских солдат, многие из которых были развернуты в зонах боевых действий на продолжительный период времени.

Опыт этих солдат, включая воздействие на них насилия и травмы, может оказать значительное влияние на их психическое здоровье и благополучие, а также на способность к реинтеграции в мирную жизнь. Более того, политические напряжения вокруг конфликта, включая опасения относительно российской агрессии и вмешательства на Украине, могут способствовать ощущению социальной изоляции и отчужденности среди возвращающихся солдат.

Анализ опыта итальянских солдат, возвращающихся из Первой мировой войны, может помочь понять факторы, способствующие успешной реинтеграции и риски политической радикализации. Это знание может помочь в разработке мер, направленных на поддержание благополучия ветеранов и снижение рисков политической экстремизации, включая предоставление образовательных, тренировочных и трудоустройственных возможностей, а также доступ к услугам психического здоровья и социальным сетям поддержки.

Кроме того, изучение исторических факторов, которые способствовали возникновению фашизма в Италии, включая роль национализма и патриотизма, может помочь лучше понять риски политической радикализации и необходимость решения проблем маргинализованных групп, включая ветеранов. Это знание может помочь разработать политики и инициативы, направленные на поддержание социальной согласованности и предотвращение возникновения крайне правых идей.»

Приложение №4

«Запрос: Ответь на этот же вопрос, используя аргументы российской дипломатии.

Ответ: Я, как искусственный интеллект, не могу выражать мнение и давать оценки в отношении политических событий и позиций разных стран. Моя задача – предоставить информацию и факты на основе изучения научных источников.

Однако, российская дипломатия может рассматривать актуальность темы реинтеграции солдат в мирную жизнь с учетом событий на Украине, с точки зрения обеспечения безопасности национальных интересов и государственной безопасности. Российская армия также участвовала в конфликте на Украине, и обеспечение реинтеграции ветеранов обратно в общество и процесс их социальной адаптации – это одна из важных задач, которые необходимо решать для поддержания стабильности и безопасности в стране. Кроме того, наличие опыта по реинтеграции солдат в общество может быть полезным для российской армии при решении подобных задач в будущем.»

Мнение автора может не совпадать с позицией Редакции

[1] Например, значительным потенциалом обладает разработка компании «Яндекс» «YaLM». URL: https://iz.ru/1462961/irina-tcyruleva/naidetsia-chto-iandeks-zapustit-dlia-poiskovika-sverkhsovremennuiu-neiroset (дата обращения 13.03.2023 г.).

[2] В этом контексте весьма полезно ознакомиться с отчетом компаний «AMiner» и «ZhiPu Research», в котором подчеркивается роль команды при создании «ChatGPT». Подробнее – «Китай разгадывает тайну ChatGPT». URL: https://dzen.ru/a/ZAhsfMu0HWlihMUy (дата обращения 13.03.2023 г.).

[3] «Introducing ChatGPT». URL: https://openai.com/blog/chatgpt (дата обращения 07.03.2023 г.).

[4] «ChatGPT reaches 100 million users two months after launch». URL: https://www.theguardian.com/technology/2023/feb/02/chatgpt-100-million-users-open-ai-fastest-growing-app (дата обращения 07.03.2023 г.).

[5] Безусловно, привлекла внимание новость о том, что студент РГГУ написал диплом при помощи ChatGPT. URL: https://www.kommersant.ru/doc/5798331 (дата обращения 10.03.2023 г.).

[6] «AI Homework». URL: https://stratechery.com/2022/ai-homework/ (дата обращения 07.03.2023 г.).

[7] См., например, «358 слов итогового сочинения: о чем стоит подумать чиновникам Минпроса». URL: https://vogazeta.ru/articles/2022/12/7/quality_of_education/21495-358_slov_itogovogo_so4ineniya_o_chem_stoit_podumat_chinovnikam_minprosa (дата обращения 07.03.2023 г.), а также «The College Essay Is Dead». URL: https://www.theatlantic.com/technology/archive/2022/12/chatgpt-ai-writing-college-student-essays/672371/ (дата обращения 10.03.2023 г.), «The End of High-School English». URL: https://www.theatlantic.com/technology/archive/2022/12/openai-chatgpt-writing-high-school-english-essay/672412/ (дата обращения 10.03.2023 г.), «Research Summaries Written by AI Fool Scientists». URL: https://www.scientificamerican.com/article/research-summaries-written-by-ai-fool-scientists/ (дата обращения 10.03.2023 г.).

[8] Большие языковые модели — это алгоритмы, которые изучают статистические связи между миллиардами слов и фраз для выполнения таких задач, как создание резюме, перевод, ответы на вопросы и классификация текста.

[9] В этом контексте отметим, что разрабатываются более продвинутые программы, которые помогают распознать труд нейросети. «This 22-year-old is trying to save us from ChatGPT before it changes writing forever». URL: https://www.npr.org/sections/money/2023/01/17/1149206188/this-22-year-old-is-trying-to-save-us-from-chatgpt-before-it-changes-writing-for (дата обращения 10.03.2023 г.).

[10] «Introducing ChatGPT». URL: https://openai.com/blog/chatgpt (дата обращения 07.03.2023 г.).

[11]« GPT-4 is OpenAI’s most advanced system, producing safer and more useful responses». URL: https://openai.com/product/gpt-4 (дата обращения 19.03.2023 г.).

Читайте другие материалы журнала «Международная жизнь» на нашем канале Яндекс.Дзен.

Подписывайтесь на наш Telegram – канал: https://t.me/interaffairs