☝🏻Нейросеть научилась видеть то, что видите вы, по снимку мозга

Исследователи из израильского Института Вейцмана создали ИИ, который по данным МРТ восстанавливает картинку, на которую смотрит человек.🧠

Декодер работает в две ветки:
🔻 одна определяет структуру: где какие цвета и как всё расположено
🔻 другая распознаёт содержание, например «бананы на тарелке»
Потом обе подсказки уходят в диффузионную модель, и она рисует итоговое изображение.

☝🏻Чтобы настроить систему на нового человека, хватает часа сканирования вместо прежних 40. При цене МРТ $600–1000 в час разница заметная.💰

Обучали модель на данных восьми добровольцев, каждый посмотрел около 9000 картинок. Примерно 70% обучающих данных были синтетическими.

Ошибки пока случаются: торт превращается в бутерброды, а собака в ванной становится козой похожего цвета.🤷🏼‍♀️

Дальше авторы хотят восстанавливать видео, звук, воображаемые образы и даже сны. Похожий подход уже пробуют перенести на ЭЭГ, то есть на шапочки с электродами и устройства в форме наушников.🤯

☝🏻☝🏻Медикам это поможет общаться с парализованными пациентами. Но эксперты предупреждают: так компании смогут вытаскивать информацию из мозга без согласия человека.👁
================
У этого канала есть YouTube👁