Новое исследование показало, что ИИ, обученный читать рентгеновские снимки и сканирование с помощью компьютерной томографии, может определить расу человека с 90-процентной точностью. Ученые понятия не имеют, как алгоритмы могут это сделать. Это исследование еще больше беспокоит ученых из-за возможных расовых предубеждений, которые люди, возможно, неосознанно передавали при разработке моделей ИИ.
Результаты исследования вызывают тревожные вопросы о роли искусственного интеллекта (ИИ) в медицинской диагностике, оценке и лечении. Они предполагают, что следует проявлять особую осторожность при внедрении моделей ИИ в медицинские технологии, потому что, даже если предоставленные изображения считаются анонимными, ИИ все еще может их охарактеризовать.
Исследование было опубликовано в журнале “The Lancet Digital Health“.
Удивительная точность
Искусственный интеллект проанализировал сотни тысяч рентгеновских снимков. Каждый из них содержал информацию о расе пациента. Затем международная команда исследователей из США, Канады и Тайваня проверила, сможет ли алгоритм распознать расу по фотографиям, которые он ранее не знал.
Оказалось, что компьютер может с удивительной точностью предсказать расу пациентов только на основе рентгеновских снимков, независимо от возраста или пола. Для некоторых групп система достигла 90-процентной эффективности.
“Наша цель состояла в том, чтобы провести всестороннюю оценку способности ИИ распознавать расовую идентичность пациента на основе медицинских изображений”, – пишут исследователи в опубликованной работе. “Мы показали, что стандартные модели глубокого обучения ИИ могут быть обучены прогнозировать расу на основе рентгеновских изображений с высокой эффективностью”, – добавляют они.
Исследования вызывают большое волнение в контексте предыдущих анализов. В них было показано, что ИИ, сканирующий рентгеновские снимки, с большей вероятностью пропустит признаки заболевания у чернокожих людей. Чтобы предотвратить это, ученые должны в первую очередь понять, почему это происходит.
По своей природе ИИ имитирует человеческое мышление, чтобы быстро видеть закономерности в данных. Однако это также означает, что он может бессознательно поддаваться тем же предрассудкам, что и люди. Хуже того, сложность ИИ затрудняет избавление от предвзятости, которую включили в алгоритмы.
На данный момент ученые не уверены, почему система ИИ так хорошо справляется с распознаванием расы на основе рентгеновских изображений. Даже если дать ограниченную информацию, например, удалив подсказки плотности кости или сосредоточив внимание на небольшой части тела, модели все еще удивительно хорошо угадывали расу.
Возможно, система обнаруживает какие-то признаки меланина, пигмента, придающего коже цвет, который еще не известен науке.
Новое исследование добавляет к растущему количеству доказательств того, что системы ИИ часто могут отражать предвзятость и предубеждение людей, будь то расизм, сексизм или что-то еще. Искаженные данные могут привести к искаженным результатам, что делает их гораздо менее полезными.
Это должно быть сбалансировано с мощным потенциалом искусственного интеллекта, который может обрабатывать гораздо больше данных быстрее, чем люди – от методов обнаружения болезней до моделей изменения климата.
Исследование по-прежнему оставляет много вопросов без ответа. На данный момент важно знать, что в системах ИИ может возникнуть расовая предвзятость.
