Вчимося розпізнавати ШІ-тексти

– Припиняй бавитися в Roblox і сідай за шкільний проєкт!

– Тату, я вже зробила.

– Як «зробила»? Адже ще десять хвилин тому ти й не починала.

– ChatGPT допоміг.

Приблизно така розмова ще кілька років тому здавалася неможливою, тепер же – звична справа. Діти освоїли штучний інтелект. Ну як «освоїли»? Навчилися халявити за його допомогою, розв’язувати задачі з фізики, алгебри, геометрії, складати онлайн-тести з хімії та біології, реалізовувати шкільні проєкти й навіть писати твори з української літератури.

Чи це небезпека? Загроза для майбутнього покоління, інтелектуального рівня наших нащадків? Варто бити на сполох? Можливо. Хоч, може, і навпаки, як не став загрозою свого часу арифмометр, калькулятор, комп’ютер, планшет. Ми все це освоїли і лише інтелектуально й ужитково зросли. Просто довелося тим, хто ставить завдання, по-іншому їх формулювати, із врахування технічних нововведень.

Водночас варто визнати, що найближчий рік-два, допоки триватиме перехідний період, життя учителям, викладачам, редакторам і різним начальникам суттєво ускладнить необхідність вишукувати елементи продукту, створеного ШІ.

Мені як редактору теж доводиться займатися цією невдячною справою. Наразі виявити елементи ШІ в текстах буває не надто складно. Проте, припускаю, що із вдосконаленням розумних програм це ставатиме щоразу складніше.

Зрештою вже зараз досконаліші (платні) версії ШІ здатні писати вірші, імітуючи будь-який стиль – від Тараса Шевченка до Луїзи Ґлюк, романи – від примітивного «палп фікшина» до незбагненої прози Джеймса Джойса. А ще тексти пісень, новели, оповідання, кіносценарії тощо, тощо, тощо. І це не може не лякати нас, так званих трудівників пера. Ходили навіть чутки, що текст, згенерований ШІ, виграв цьогорічну премію Commonwealth Short Story, члени журі нібито вшанували його «тиху переконливість». Тепер письменники нівроку напружилися.

Авторитетна британська газета The Economist у свіжій редакційні статті, яка так і називається «Як розпізнати ШІ-писанину» (How to spot AI writing), дає кілька порад, як таки відрізнити оригінальні тексти людини – найвищого творіння природи (Бога) – від витівки бездушного (бездуховного) ШІ, як не потрапити в пастки ІТ-прогресу, виявити підступ нейронки. Автори статті визнають, що робити це буде дедалі складніше.

Наразі ШІ часто ловлять на таких очевидних ознаках, як, наприклад, зловживання довгими тире «—». Також можна впіймати на частому використанні слів на кшталт «максимізувати», «мінімізувати», «заглиблюватися» тощо. Проте в більшості випадків текст, написаний ШІ, розпізнається не за одним-єдиним словом, навіть не за фразою, а за цілою «багатою тканиною» особливостей.

Нейроботи, як уже було сказано, не мають єдиного літературного стилю, вони також пишуть по-різному. Як пояснює в коментарі для The Economist лінгвістка з Гданського університету Кароліна Рудницька, не існує єдиного стилю письма ШІ, так само як не існує єдиного стилю людського письма. Проте вона стверджує, що існує кілька способів розпізнати текст, згенерований ШІ, а точніше «великою мовною моделлю» (Large Language Model – LLM). Один із них – використання алгоритмів виявлення, навчених розпізнавати особливості прози, написаної людиною або згенерованої ШІ. Pangram – провідна компанія в цій галузі – стверджує, що досягає точності 99,98%. Однак, застерігає Рудницька, ці детектори – це алгоритми типу «чорної скриньки», які можуть давати й хибні результати, не пояснюючи, чому дійшли того чи іншого висновку.

Дослідники The Economist також намагалися перевіряти тексти на наявність підозрілих слів або порівнювати наукові статті, опубліковані до та після того, як LLM стали загальнодоступними. Однак ці підходи теж мають вади. Адже мова, як відомо, – живий організм, вона розвивається, наповнюється неологізмами. Тому частенько буває складно зрозуміти: це природна мовна трансформація чи вибрик ШІ.

Тому, як зазначає The Economist, дослідникам потрібна була надійна точка опори. Тож треба було у фундамент чек-тесту закласти ті тексти, які б у принципі не викликали сумнівів ні в редакції видання, ні в читачів, тобто тексти, опубліковані в цій же газеті.

«Ми провели дослідження, у рамках якого попросили провідні LLM – ChatGPT від OpenAI, Claude від Anthropic, Gemini від Google та Grok від xAI – написати версії наших статей без консультацій з Інтернетом. (Як підказку ми надали їм згенеровані ШІ резюме, які експериментально додали до деяких своїх статей). Тож ми отримали пакет текстів, написаних людьми та ШІ, і порівняли їх. Загалом обсяг текстів для перевірки охоплював 55 940 речень та 1,2 млн слів. Щоб переконатися, що ми виявляємо особливості ШІ, а не наші власні, ми також порівняли тексти, згенеровані ШІ, із журналістськими матеріалами CNN, New York Times та Washington Post. Уривки з популярних романів, опублікованих у період з 1950 до 2022 року, стали ще одним тестом», – розповіли журналісти видання.

І якими ж були результати? Тексти, згенеровані ШІ, можна було відрізнити за вибором слів і пунктуацією, а також за структурою речень та абзаців. Вони не вирізнялися чіткістю й елегантністю і часто були шаблонними.

Проте набір слів, яким раніше зловживали нейроботи, змінився. Вони вже не «максимізують», не «мінімізують» і не «заглиблюються». Натомість вони пропонують значну кількість складових слів, таких як «взаємозалежність», «реіндустріалізація». Присутня наукова лексика, як-от «параметр» чи «методологія». У порівнянні з людськими текстами ботівські рясніють дієслівними іменниками – «розширення», «доведення», «порушення».

Автори The Economist зауважили, що значну частину цієї ШІ-мови можна визначити як те, що Джордж Орвелл називав «претензійною дикцією». Він свого часу обурювався, коли його колеги-письменники, «одягали прості твердження» у складні слова й наукові жаргони, щоб здаватися розумними. «Такі пишномовні автори вірять, що латинські чи грецькі слова величніші за саксонські», – нарікав Орвелл. От і в текстах нейроботів трапляється значно більше латинізмів, ніж у текстах, написаних людьми.

Тепер щодо пунктуації. Колишній маркер – довге тире, яким раніше зловживали «великі мовні моделі», вже не актуальний для сучасніших ітерацій. Сьогодні лише Claude використовує довгі тире частіше, ніж живі люди, тоді як нові моделі ChatGPT використовують їх значно рідше.

Кращим способом розпізнавання нейронки, як стверджує The Economist, було б шукати тексти, у яких майже немає розділових знаків. LLM у цьому плані досить «джойсівські»: вони використовують менше ком і крапок з комою, ніж люди (і майже не використовують дужок). «Вони використовують менше розділових знаків частково тому, що пишуть довші речення. А от сполучник “і” є тим словом, яким вони зловживають найбільше, а частково тому, що не цитують експертів», – констатують журналісти-дослідники.

Наостанок вони звертають увагу на структуру речень. Речення ботів зазвичай довгі, інколи на цілі абзаци. Вони рідко перериваються короткими, влучними твердженнями. Що робить читання нівроку нудним. Отже, маємо досить чітку ознаку: якщо текст нудний – значить це ШІ. Ну, не завжди, звісно. Нудних графоманів вистачає й серед живих людей. Але все ж.

«Так, інколи навіть LLM намагаються зробити свої речення жвавішими. Але для цього вони часто вдаються до сталих риторичних прийомів. Їхні улюблені – “не X, а Y”, “не тільки..., але й...” та “правило трійки” (групування ідей по три робить їх більш вражаючими, як і ми це щойно зробили). ChatGPT і Claude використовують більше таких конструкцій на кожні 1000 речень, ніж інші LLM і люди», – застерігають автори статті.

Але не розпружуємося, бо нейроботи швидко навчаються. Нині ми ще можемо розпізнати текст, написаний ШІ, виявляючи в ньому безособові, пишномовні фрази, переповнені латинськими словами. Так, принаймні поки що. Проте, як засвідчує дослідження The Economist, з кожним оновленням, кожною новою ітерацією, тексти, створені ШІ, стають дедалі схожішими на людські. Навіть компанія Pangram, яка наразі успішно розпізнає тексти, згенеровані ШІ, визнає, що в майбутньому може зіткнутися з труднощами. LLM навчаються на людських текстах і навіть враховують людські реакції на тексти ШІ.