В последние годы искусственный интеллект стал неотъемлемой частью нашей жизни, и вопросы о его способности распознавать собственные тексты становятся всё более актуальными. В интервью ИА Нарьян-Мар on-line заведующий лабораторией доверенного искусственного интеллекта РТУ МИРЭА Юрий Силаев рассказал о том, как нейросети справляются с этой задачей.
Когда нейросеть получает на анализ два текста в новом диалоге и её спрашивают, какой из них был сгенерирован ранее, модель иногда действительно может выбрать правильный вариант. Однако важно понимать, что такой ответ не следует воспринимать как окончательное доказательство авторства. Когда предыдущая генерация текста недоступна модели в текущем контексте, она не «вспоминает» конкретный текст. Вместо этого нейросеть ориентируется на признаки, которые считает характерными для машинной генерации.
Среди таких признаков можно выделить слишком ровную структуру, предсказуемое построение абзацев, определённую лексическую лексику, последовательность аргументов или общий стиль изложения. Однако стоит отметить, что ни один из этих признаков не является эксклюзивным для ИИ. Человек также способен писать структурированно и шаблонно, и текст, созданный нейросетью, может потерять большую часть своих характерных черт после редактирования.
Более того, нейросеть может ошибаться как в одну, так и в другую сторону: она может ошибочно считать своим текстом произведение, написанное человеком, или, наоборот, решить, что сгенерированный ею текст принадлежит человеку. На результаты анализа влияют даже такие факторы, как формулировка вопроса, длина текста и жанр, к которому относится данный текст.
Юрий Силаев уточнил, что существует и другая причина для таких ошибок. Модель может ориентироваться не столько на реальное авторство, сколько на своё представление о том, как выглядит «хороший ответ нейросети». Например, аккуратно структурированный и грамотно написанный текст может показаться ей более похожим на собственный. Это создаёт парадоксальную ситуацию: иногда ИИ фактически отвечает не на вопрос «писал ли я это?», а на вопрос «похоже ли это на текст, который я мог бы написать?»
Таким образом, если вы решите обратиться к чат-боту с вопросом: «это написал ты?», это можно сделать из простого любопытства. Однако использовать полученный ответ как проверку авторства нецелесообразно. Более того, нельзя только на основании этого обвинять школьника, студента или сотрудника в использовании нейросети. Даже специализированные детекторы работают с вероятностью и могут ошибочно классифицировать человеческие тексты как текст, созданный ИИ.
Надежнее всего анализировать не один «процент ИИ», а исследовать происхождение текста: историю его создания, черновики, промежуточные версии, источники и способность автора объяснить свои аргументы и ход работы. Хотя сам текст может содержать признаки машинной генерации, в большинстве обычных ситуаций он не несёт универсальной надежной метки, по которой можно однозначно установить, что эти строки написал человек, а эти — нейросеть.