Недавнее исследование, проведенное учеными Колумбийского университета, выявило существенные ограничения в способности крупных языковых моделей, таких как ChatGPT-4, анализировать медицинские записи. Это открытие ставит под сомнение надежность использования подобных систем искусственного интеллекта в медицинской практике.
Исследование фокусировалось на способности ChatGPT-4 определять, использовали ли пациенты защитные шлемы при получении травм во время езды на скутерах и велосипедах. Ученые проанализировали более 54 тысяч случаев обращений в отделения неотложной помощи за период с 2019 по 2022 год.
Результаты показали, что ChatGPT-4 не смог эффективно заменить традиционные методы поиска информации в текстовых данных. Модель демонстрировала удовлетворительные результаты только при наличии полного набора ключевых слов, используемых в стандартном текстовом поиске. Особые трудности возникали при интерпретации отрицательных формулировок, таких как «без шлема».
Несмотря на потенциал использования крупных языковых моделей для анализа медицинской документации, текущий уровень развития технологии не позволяет полагаться на нее в полной мере. Исследователи подчеркивают, что ChatGPT-4 пока не способен последовательно и надежно выполнять задачи по извлечению информации из клинических записей.
Источник: ferra.ru