Ученые научили ИИ по снимкам МРТ воссоздавать картинку, на которую смотрит человек

Ученые из Научного института Вайцмана в Израиле создали ИИ, который на основе МРТ-снимка мозга воспроизводит изображение, на которое смотрел человек. Также ИИ-инструмент может и наоборот по изображению предсказать активность мозга.

Как сообщает MIT Technology Review, исследователи надеются, что эта разработка позволит узнать больше о том, как работает мозг, и, возможно, поможет людям, страдающим от синдрома запертого сознания, общаться или поможет ученым воссоздать содержание снов.

Нейробиологи годами работали над способами использования функциональной магнитно-резонансной томографии (фМРТ) для реконструкции того, что люди видят и что происходит в их сознании. Первые попытки давали размытые и трудноразличимые изображения.

На этот раз Мишаль Ирани ее коллеги начали с анализа общедоступных данных сканирования мозга. Функциональная МРТ отслеживает движение насыщенной кислородом крови в мозге. Те области, которые «загораются» на снимке, считаются самыми активными. Один элемент снимка охватывает около трёх кубических миллиметров ткани, в каждом кубическом миллиметре примерно 16 тысяч нейронов.

Во время исследования ученые показывали восьми людям по 9 тысяч изображений. На них и обучали ИИ, у которого две ветви — одна для предсказания структуры изображения (например, где находятся цвета), а вторая для предсказания его содержимого (например, связка бананов на тарелке).

На основе этих предсказаний ИИ создает итоговую картинку. В процессе команда столкнулась с проблемой — им не хватало данных, чтобы дальше обучать ИИ. Тогда они решили добавить энкодер, который наоборот предсказывает снимок мозга по изображению. В итоге этот энкодер и создавал примеры для тренировки ИИ-декодера.

Объединив данные нескольких исследований, учёные нашли области мозга с общими функциями у разных людей. Одна реагировала на изображения еды, другая — на спорт. Получившийся «универсальный энкодер мозга» можно применять к новому человеку почти без калибровки: ему нужен один час фМРТ вместо обычных 40.

При этом модель пока еще иногда ошибается. Например, она создала картинку с изображением трех сэндвичей, а не тортом и вместо собаки в ванне нарисовала козу. Тем не менее в сравнении с другими инструментами разработка, по словам Ирани, значительно их опередила.

PeopleImages / Shutterstock / Fotodom