Люди пока превосходят нейросети в распознавании текстов искусственного интеллекта

Люди распознают тексты, написанные искусственным интеллектом, точнее, чем сами нейросети. Об этом сообщает Scientific Reports.

Участники эксперимента определили авторство текстов с точностью 83 процента, тогда как чат-боты справились с задачей в 67 процентах случаев. В исследовании участвовали семь языковых моделей: ChatGPT-4o, ChatGPT-3.5, Llama-3, Gemma 2, Gemini 2.5, Phi-3 и Orca 2. Их ответы сравнили с самоописаниями 70 человек. Всем предложили пройти психологические опросники и рассказать о своих интересах, планах на будущее и поведении в стрессовых ситуациях.

Отдельно исследователи проверили, как участники и нейросети оценивают черты характера из модели «Большая пятерка». Она включает открытость новому опыту, доброжелательность, добросовестность, экстраверсию и эмоциональную стабильность. Выяснилось, что языковые модели формируют достаточно устойчивые представления о собственной личности и чаще приписывают себе добросовестность, доброжелательность и эмоциональную стабильность, чем люди.

На следующем этапе десять человек и шесть чат-ботов определяли авторство текстов. Участники чаще обращали внимание на длину ответов и неестественный, излишне технический или аналитический стиль нейросетей. В машинных текстах также чаще встречались слова, связанные со временем, артикли и предлоги, тогда как люди больше писали о досуге, эмоциях и отношениях.

Исследователи предполагают, что языковые модели в будущем можно будет использовать для предварительной оценки личностных особенностей и подбора сотрудников. По словам ведущего автора работы Софи Кернер, такие инструменты способны сделать первичную психологическую оценку автоматизированной и доступной.