Пять крупных языковых моделей проверили, насколько точно они способны оценивать личностные особенности людей по материалам интервью. В исследовании участвовали 645 человек, с каждым из которых провели беседу. Затем специалисты оценили их по 38 показателям, связанным с чертами характера и моральными ценностями.
Те же интервью передали пяти системам искусственного интеллекта. Модели должны были самостоятельно спрогнозировать, как участники ответили бы на вопросы психологических тестов. Полученные результаты сравнили с оценками, сделанными специалистами.
Наиболее точно нейросети воспроизводили характеристики, о которых люди прямо рассказывали, описывая себя. К таким признакам относились, например, религиозность, экстравертность или интровертность. При этом скрытые мотивы и менее очевидные особенности личности оказались для моделей значительно сложнее.
Искусственный интеллект хуже распознавал скрытую тревожность, гедонистические установки и представления о справедливости. Кроме того, исследователи обнаружили склонность языковых моделей идеализировать людей. Они завышали оценки доброты и честности, одновременно занижая показатели нарциссизма, макиавеллизма и психопатии.
Результаты показали, что оценивать личность человека только с помощью ИИ пока нельзя. Перед практическим применением такие системы требуют дополнительной проверки и калибровки, отмечает МК.