Исследователи разработали систему искусственного интеллекта Brain-IT, способную восстанавливать изображения, которые человек рассматривает, по данным сканирования мозга. Технология использует функциональную магнитно-резонансную томографию (фМРТ), чтобы измерить активность зрительной коры — области мозга, обрабатывающей зрительную информацию. Затем компьютерная модель определяет общую композицию изображения и ключевые сведения о его содержании, после чего передаёт данные генератору изображений.
Описание системы опубликовано в исследовании на сервере препринтов arXiv, а результаты представили на конференции ICLR 2026, прошедшей 23–25 апреля. Brain-IT создана на основе Universal Brain Encoder — подхода, который связывает отдельные небольшие объёмы ткани мозга, называемые вокселями, с определёнными визуальными признаками. Одни воксели могут реагировать на края и текстуры, другие — на более сложные категории, включая лица, тела и сцены.
В отличие от прежних систем, которые обычно отдельно обучали для каждого участника эксперимента и набора данных, Universal Brain Encoder способен работать с информацией от разных людей. Он также может переносить полученные закономерности между наборами данных и томографами с разной напряжённостью магнитного поля. Brain-IT действует в обратном направлении: вместо прогноза мозговой реакции по изображению система пытается определить увиденное по зарегистрированной активности.
Декодер распределяет тысячи показателей активности зрительной коры по 128 группам, объединяя сведения о форме, цвете, расположении объектов и других признаках. На выходе формируются два вида прогнозов: семантический, описывающий вероятное содержание сцены, и структурный, передающий общую компоновку изображения. Структурные данные задают генератору основу, а семантические помогают уточнить детали будущей картинки.
При сравнении с изображениями, которые видели участники эксперимента, Brain-IT показала более высокие результаты по стандартным метрикам реконструкции, чем ранее применявшиеся методы. Для нового участника эксперимента одного часа данных фМРТ оказалось достаточно, чтобы получить результат, сопоставимый с системами, обученными на 40 часах записей. При этом генератор может сглаживать текстуры, делать черты лица чётче и добавлять детали, поэтому реалистичная реконструкция не всегда является точной копией исходного изображения.
Brain-IT не позволяет восстановить воспоминания или мысленные образы, поскольку работает с активностью мозга при непосредственном восприятии изображения. «Мы не читаем мысли людей», — заявила соавтор исследования Михал Ирани из Института науки Вейцмана в беседе с Live Science. По её словам, для получения изображений необходимы согласие и осознанное участие человека; дальнейшая работа также связана с изучением возможных медицинских применений, включая анализ рассеянного склероза, посттравматического стрессового расстройства, аутизма и психических нарушений.