Учёные Массачусетского технологического института (MIT) и их коллеги разработали систему, которая за несколько секунд сопоставляет рентгеновские снимки, сделанные во время операции, с трёхмерными медицинскими изображениями пациента. Точность метода достигает субмиллиметрового уровня, а адаптация к конкретному человеку занимает около пяти минут. Результаты работы опубликованы в журнале Nature.
Технология получила название xvr — сокращение от X-ray volume registration, то есть регистрации рентгеновского изображения в объёме. Она предназначена для малоинвазивных вмешательств, при которых врачи вводят катетеры, эндоскопы и другие инструменты через небольшие разрезы и контролируют их перемещение с помощью рентгена. Поскольку рентгеновский снимок представляет собой плоское изображение, специалистам бывает трудно определить точное положение и направление инструмента внутри тела.
Для решения этой задачи рентгеновские данные необходимо совместить с предварительно полученными компьютерными или магнитно-резонансными томограммами. Ручная настройка занимает много времени и требует от врача указывать положение инструмента с помощью числовых параметров или анатомических ориентиров. Существующие универсальные системы на основе искусственного интеллекта также могут работать нестабильно из-за различий в анатомии пациентов.
Разработчики выбрали другой подход: модель адаптируется не ко всем людям сразу, а к конкретному пациенту. Сначала xvr берёт его трёхмерную компьютерную или магнитно-резонансную томограмму и с помощью физического моделирования создаёт тысячи реалистичных рентгеновских изображений с разных ракурсов — примерно по 1000 кадров в секунду. На этих данных система обучается сопоставлять реальные двухмерные снимки с трёхмерной моделью тела, не используя искусственно придуманные изображения.
Полное обучение отдельной модели заняло бы около 12 часов, поэтому исследователи предварительно подготовили универсальную модель на данных более чем 2000 пациентов разного возраста, с различными типами изображений и обследованными областями тела. После этого её можно адаптировать к новому пациенту примерно за пять минут, сохранив точность индивидуального обучения. В испытаниях использовали крупнейший доступный набор реальных регистраций 2D/3D, собранный в пяти больницах и включавший данные о десятках костей и систем органов у взрослых и детей.
По данным MIT News, xvr примерно на порядок превзошла существующие методы искусственного интеллекта по точности и устойчивости на разных пациентах, участках тела и медицинских процедурах. Руководитель работы Вивек Гопалакришнан отметил, что объединение двухмерной и трёхмерной информации может сделать специализированные вмешательства, включая экстренное лечение инсульта, доступнее для жителей удалённых районов. В дальнейшем команда планирует ускорить работу системы для применения в реальном времени, проверить её надёжность в дополнительных условиях и адаптировать технологию к движущимся частям тела, а также к роботизированной хирургии.