Исследователи опубликовали на портале arXiv результаты испытания ChatGPT-4.5 в тесте Тьюринга. Новая версия популярного чат-бота продемонстрировала удивительные результаты, когда ей давали определенную роль. В таких случаях искусственный интеллект убеждал людей в своей «человечности» в 73% случаев, что значительно превышает вероятность случайного угадывания в 50%.
Примечательно, что без «персонализации» эффективность GPT-4.5 снижалась до 36%. Еще более скромные результаты показали GPT-4o (21%) и разработанный почти шестьдесят лет назад чат-бот ELIZA (23%).
Эксперимент проводился в онлайн-формате и состоял из восьми раундов с участием 300 человек. Участникам случайным образом присваивались роли «проверяющего» или «отвечающего», причем один из «отвечающих» всегда был чат-ботом. Искусственный интеллект настраивали по-разному: либо давали нейтральный промпт, либо конкретную роль, например, молодого человека, разбирающегося в интернет-культуре.
Тест Тьюринга, предложенный британским математиком Аланом Тьюрингом в 1950 году, предполагает текстовую беседу машины с человеком-судьей, который одновременно общается с другим человеком. Если судья не может определить, кто из собеседников компьютер, это указывает на способность машины мыслить подобно человеку.
Однако стоит отметить, что современные языковые модели — это виртуозные собеседники, обученные на огромных объемах человеческих текстов. Они способны генерировать убедительные ответы даже на незнакомые вопросы. Высокие результаты в тесте Тьюринга не доказывают, что искусственный интеллект действительно мыслит как человек, а скорее демонстрируют его способность имитировать человеческое общение.
