Почему ИИ-детекторы не узнают тексты, написанные человеком

Рубрика: Теория и статистика | Время на чтение: 15 мин.

Последние несколько лет искусственный интеллект помогает мне во всём, чем я занимаюсь, включая создание контента. На прошлой неделе я решил сделать перерыв. Никакого ИИ-помощника, никаких промптов, никакой последующей шлифовки текста. Только одна статья, написанная по старинке — целиком и полностью мной.

Почему ИИ-детекторы не узнают тексты, написанные человеком

Закончив работу, я поступил вполне предсказуемо и снова обратился к ИИ: прогнал текст через несколько самых известных детекторов искусственного интеллекта. Результаты оказались крайне противоречивыми:

Один сервис определил, что текст на 100% сгенерирован ИИ.
Другой оценил вероятность участия ИИ в 78%.
Третий показал 42%.
Четвёртый решил, что текст написал человек.
А еще пара сервисов отказались сообщить результат, пока я не заплачу.

Я проверил ИИ-детекторы на текстах, написанных до появления ChatGPT, Claude и им подобных

Та же статья. Те же слова. И каждый раз — разные ответы. В связи с этим у меня возник простой вопрос: если эти инструменты не могут прийти к единому мнению о том, что, как я знаю, создано исключительно человеком, то что именно они выявляют?

И если компании, редакторы и заказчики принимают решения, опираясь на эти показатели, то что происходит, когда каждый детектор выдаёт разный результат?

Сразу оговорюсь: я не собираюсь называть конкретные ИИ-детекторы и публично их критиковать. Одни из них лучше других, и на рынке всегда будут как качественные, так и неудачные продукты. Суть проблемы гораздо шире, чем недостатки какого-то одного инструмента: она кроется в самой концепции противопоставления человека и ИИ при проверке текстов, а также в порочной практике, продиктованной страхом и ведущей к ложной экономии.

Оглавление

Я проверил ИИ-детекторы на текстах, написанных до появления ChatGPT, Claude и им подобных

Если детекторы ИИ действительно работают, то они должны безошибочно справляться с одной задачей: распознавать тексты, созданные до эпохи генеративного искусственного интеллекта. Поскольку такие тексты заведомо не могли быть написаны машиной, они служат идеальным индикатором того, способны ли эти инструменты отличать человеческое письмо от машинного. За более чем 15 лет писательской деятельности — в том числе в качестве аспиранта Института Социально-Экономических Исследований — у меня накопилось немало старых работ для такой проверки.

Первой статьёй, которую я взял для анализа, был материал 2014 года — написанный за восемь лет до запуска ChatGPT.

Большинство инструментов подтвердили авторство человека, хотя один из них оценил вероятность этого лишь в 66%. Другой же определил вероятность использования ИИ как 0% (о нём я расскажу подробнее позже).

В 2019 году я написал статью про техническое SEO; она вышла задолго до появления ChatGPT. Результаты проверки оказались ненамного лучше:

один инструмент оценил вероятность использования ИИ в 35%;
другой показал 16%;
а третий и вовсе заявил, что обнаружил следы GPT — продукта, которого на тот момент даже не существовало.

Поначалу это казалось забавным. Но потом стало не до смеха, ведь речь шла уже не об одном странном результате. Если детекторы не способны достоверно распознать тексты, написанные ещё до появления генеративного ИИ, то насколько можно доверять тем оценкам, которые они выдают сегодня?

С другой стороны, вполне можно утверждать, что это явный показатель того, какого прогресса достиг искусственный интеллект: он настолько приблизился к имитации человеческой речи, что многие детекторы не могут уловить разницу.

Детекторы ИИ продолжают выдавать ложноположительные результаты

Чем больше я проводил тестов, тем очевиднее становилось, что это не единичный случай. Я также решил проверить другую статью, написанную мной летом 2021 года — более чем за год до появления ChatGPT. Мнения инструментов снова разделились. Один определил текст как написанный человеком с вероятностью 86%. Другой же пришёл к совершенно иному выводу, оценив вероятность того, что текст создан ИИ, в 76%. Одна и та же статья — и совершенно разные вердикты.

К тому моменту я уже проверил тексты, датированные 2014, 2019, 2021 и 2026 годами, и результаты работы детекторов постоянно противоречили друг другу.

Существует немало серьёзных исследований на эту тему (мой эксперимент был лишь небольшой пробой пера). В ходе исследований, где через ведущие ИИ-детекторы пропускали тексты, заведомо написанные людьми (в том числе газетные авторские колонки), выяснилось, что многие из них ошибочно классифицировались как созданные искусственным интеллектом.

Особого внимания заслуживает неожиданный факт, выявленный исследователями из Стэнфорда: проблема оказалась ещё более острой для тех, для кого английский язык не является родным. Некоторые детекторы ошибочно помечали значительную часть их работ как сгенерированную ИИ. Для компаний, сотрудничающих с авторами из разных стран, это весьма неприятная новость.

В то же время исследование 2026 года, опубликованное на платформе ScienceDirect, показало, что даже незначительная правка текста человеком позволяла большей части контента, созданного ИИ, успешно обходить проверку.

В итоге ситуация складывается неоднозначная: инструменты могут безосновательно обвинять авторов-людей, но при этом пропускать контент, который должны были бы выявить. К тому же, обойти их защиту можно с помощью всего лишь нескольких правок.

Всё это отнюдь не способствует ясности или росту доверия к подобным системам.

Иллюзорная выгода инструментов для обнаружения ИИ

Если взглянуть на ситуацию шире, меня беспокоит то, что эти детекторы играют на страхе авторов. Результаты проверки в разных сервисах могут кардинально различаться. В конечном счете всё сводится к двум вещам: растерянности авторов и страху, который превратили в товар.

Страх перед написанием текстов. Авторы начинают сомневаться в собственных качественных работах, опасаясь, что какой-нибудь инструмент решит, будто текст «похож на сгенерированный ИИ». Раньше контент оценивали по таким критериям, как польза, оригинальность и качество изложения. Теперь же всё чаще первым делом задаются вопросом: не сочтёт ли детектор, что текст написан машиной? Именно здесь что-то пошло не так.

Этот страх пронизывает всю индустрию. Авторы боятся обвинений в использовании ИИ. Агентства опасаются, что клиенты будут проверять тексты детекторами. Бизнес беспокоится о последствиях для позиций в поисковых системах и риске блокировок в LinkedIn. Детекторы — хороши они или плохи — лишь подпитывают эти страхи. Люди в панике скупают подобные продукты, руководствуясь эмоциями, поскольку те внезапно начинают казаться им жизненно необходимыми.

Цена этого — потеря рабочих мест. Авторы лишаются заказов, потому что встревоженные клиенты проводят проверки и воспринимают полученные цифры как истину в последней инстанции, превращая ненадёжную технологию в причину кризиса доверия в сфере создания контента. К тому же доступ к самому вердикту всё чаще становится платным: за него требуют деньги, взимая плату за каждую проверку, за каждое слово или за каждое рабочее место. Платите — и вам скажут, человек вы или нет.

Предложение «очеловечить» текст

На этом рынке есть компании, которые одной рукой продают детектор ИИ, а другой — инструмент для «очеловечивания» текста, призванный помочь ему обмануть такие же детекторы, как у них самих.

Многие из вас (смею предположить) с этим сталкивались: сначала вердикт о том, что текст написан не человеком, а следом — предложение купить дополнительную услугу. Как я уже говорил, они обожают заявлять, что ваш текст похож на сгенерированный ИИ, если есть хоть малейший повод. Впрочем, даже если повода нет, они всё равно пытаются что-нибудь продать.

Я сам с этим столкнулся, когда проверял статью, написанную мной ещё в 2014 году. Один из детекторов оценил её как написанную человеком на 100%, но тут же предложил «очеловечить» текст — разумеется, за плату и с переходом на расширенную версию. Что именно «очеловечить»? Самого человека? Ироничнее некуда.

В этом и заключается суть всего бизнеса вокруг инструментов для обнаружения ИИ: это индустрия, которая берёт плату с авторов, контент-маркетологов и редакторов за то, чтобы они «очеловечивали» контент, изначально созданный человеком. Называйте вещи своими именами: это никому не нужный побор.

Это ложная экономия. Деньги продолжают вливаться в систему проверки, которая на самом деле ничего не может надёжно подтвердить, а процесс монетизации идёт своим чередом. Авторы начинают сомневаться в себе. Редакторы и авторы смотрят друг на друга с подозрением. А с выходом каждой новой модели «гонка вооружений» начинается заново. Страх приносит прибыль, но к истине никто так и не приближается.

Почему детекторам сложно отличить текст человека от текста ИИ

Здесь кроется ещё одна ирония. Генеративный ИИ и инструменты-помощники для письма создавались именно для того, чтобы имитировать человеческую речь. В этом и заключалась их главная задача. Эти модели обучались на текстах, написанных людьми, чтобы научиться создавать контент, достаточно естественный для того, чтобы сойти за человеческий. Тот факт, что детекторам теперь трудно уловить разницу, — пожалуй, лучшее доказательство успеха этой затеи.

Именно это делает все споры вокруг детекторов столь странными. Мы требуем от одной ИИ-системы определить, не слишком ли «по-человечески» звучит другая ИИ-система, хотя последняя изначально и проектировалась так, чтобы имитировать человеческую речь.

Имитация удалась — а ведь именно к этому всё и шло.

Если специализированные детекторы не могут стабильно отличить текст, написанный человеком, от текста, созданного с помощью ИИ, то на каком основании авторов обвиняют в неправомерных действиях лишь из-за того, что они воспользовались помощью искусственного интеллекта?

LinkedIn, инструменты обнаружения ИИ и «мусорный контент»: социальный аспект

Споры вокруг инструментов для выявления ИИ-контента охватывают всё новые сферы, становясь при этом всё более запутанными. Издательская индустрия сейчас переосмысливает своё отношение к текстам, созданным искусственным интеллектом. Тем временем в LinkedIn появилась функция, позволяющая пользователям помечать публикации как «похожие на ИИ-мусор» (AI slop), если они подозревают, что те были сгенерированы нейросетью. По сути, это тоже своего рода обнаружение, но в роли «детекторов» выступают сами люди, хотя цели и подходы здесь иные.

Патрик Коффи из The Wall Street Journal опубликовал статью на эту тему, проанализировав результаты работы сторонних инструментов для обнаружения ИИ-контента в публикациях на LinkedIn. Примечательно, что в LinkedIn поставили под сомнение эти данные, но при этом отказались предоставить собственную сопоставимую статистику. Вот несколько показательных цитат:

«Судя по всему, в рамках этих исследований любой контент, созданный с участием ИИ, приравнивается к низкопробному «ИИ-мусору», однако мы придерживаемся иного взгляда, — заявила представительница LinkedIn. — …ИИ может служить отличным вспомогательным инструментом, помогающим людям формулировать идеи, оттачивать стиль или делать текст более лаконичным».

А Дэн Рот, главный редактор и вице-президент LinkedIn по вопросам контента, высказывает справедливую мысль:

«Очевидно, что значительная часть контента на LinkedIn создаётся с помощью ИИ, но никто — включая саму компанию — не знает точных цифр; а те, кто утверждает обратное, просто пытаются продать свой инструмент для выявления ИИ-контента».

Проблема низкопробного контента, созданного ИИ, действительно существует, но я не уверен, что её решит появление специальной кнопки. Стоит дать людям возможность «помечать» публикации, как некоторые начнут использовать этот инструмент против конкурентов или просто против постов, которые им не нравятся. Функция, задуманная для очистки ленты, с таким же успехом может привести к тому, что пользователи начнут нападать друг на друга.

Но за этим скрывается и более сложный вопрос. Будет ли LinkedIn использовать отмеченные публикации для настройки будущих моделей ИИ, помогающих в написании текстов? Если да, то миллионы пользователей фактически бесплатно обучают искусственный интеллект писать так, чтобы тексты больше не попадали под такие отметки. Время покажет.

Оценка контента при участии человека на всех этапах процесса

Я вовсе не пытаюсь оправдать слабый контент, созданный искусственным интеллектом. Мне попадалось его немало. Впрочем, я читал и множество некачественных материалов, написанных исключительно людьми.

И чтобы расставить все точки над «i»: используйте ИИ. Он по праву занял место в современных маркетинговых процессах — в том числе и в моей работе. При создании контента ИИ действительно помогает генерировать идеи, проводить исследования, находить инсайты и решать творческие задачи.

Проблема не в самом использовании ИИ для маркетинга и создания контента. Проблема заключается в точности инструментов для его обнаружения, в страхе, который они порождают, и в оценках, выдаваемых за истину в последней инстанции.

Думаю, именно здесь многие заблудились. Вместо того чтобы зацикливаться на вопросе о том, написал ли это ИИ, и на проблеме «ложных оценок», задавайте вопросы, которые действительно важны:

Это точно и актуально?
Это оригинально?
Есть ли за этим реальный опыт или знания?
Добавляет ли это что-нибудь полезное?
Дочитает ли читатель книгу до конца и почувствует ли, что время было потрачено не зря?

Подобные вопросы позволяют выявить слабый контент гораздо надёжнее, чем любые показатели детекторов. Они всегда так делали.

Это также гораздо ближе к позиции Google. Компания уже много лет придерживается неизменного принципа: поощрять полезный и достоверный контент, независимо от того, как именно он был создан. Меры, принимаемые Google, направлены на борьбу с низкокачественным контентом в массовом масштабе; компания не занимается тем, чтобы определять, кем — человеком или нейросетью — было написано каждое конкретное предложение.

Если компании действительно заботятся о том, как создаётся контент, им лучше разработать чёткую политику в отношении ИИ, а не полагаться на оценки детекторов.

В академической среде Школа бизнеса Келли при Индианском университете в своём руководстве по использованию ИИ для преподавателей прямо запрещает применять инструменты для его обнаружения. Там эти средства называют ненадёжными, предписывают сотрудникам вообще не загружать в них студенческие работы и вместо этого ориентироваться на чётко прописанные правила. Если ведущая бизнес-школа не доверяет таким показателям при оценке студенческих эссе, то почему бренд должен полагаться на них при анализе маркетинговых текстов?

А если для вас действительно важно понимать происхождение материала, опирайтесь на людей — коллег и профессиональное сообщество. История черновиков. Контроль версий. Редакторская правка. Общий корпус работ автора. Всё это даёт гораздо больше контекста, чем процентный показатель, выданный «чёрным ящиком».

Рост страха перед процессом письма

То, что начиналось как небольшой личный эксперимент, указывает на гораздо более масштабную тенденцию, охватывающую всю индустрию. Инструменты для обнаружения ИИ-контента порождают страх. Страх, что честный человеческий труд будет поставлен под сомнение. Что тексты, созданные с помощью ИИ, будут отвергнуты. Что единственная оценка, выданная одной программой, будет принята за истину. Страх рождает спрос. Спрос рождает продукты. Так возникает ложная экономика.

Именно так и утверждается страх перед письмом. Честный труд вызывает сомнения лишь потому, что машина выдала некое число. В этом нет ничего здорового — ни для авторов, ни для редакторов, ни для индустрии в целом.

Всегда критически оценивайте некачественный контент. Проверяйте факты и доверяйте человеческому суждению больше, чем автоматическим инструментам. Поощряйте в авторах оригинальность мышления и реальную компетентность. Но не путайте всё это с показателями детекторов.

А если уж вы решили проводить проверки, направляйте их на действительно важные аспекты — например, на выявление плагиата, где результат действительно имеет значение.

Я бы не стал тратить деньги на попытки доказать, что текст написан человеком. Я бы потратил их на то, чтобы сделать этот текст лучше.

Ради прозрачности отмечу: при работе над этой статьёй (как и над большинством контента в этом году) я пользовался помощью ИИ.