Нейроведьмочки

Поздравляю всех с наступающим 2022 годом!

Желаю каждому из нас не бояться идти к своей мечте и иметь для этого силы!
А я продолжу наполнять реальность наукоёмким волшебством, чтобы наш путь был веселей.

Всем нейромагии! ✨

#новости

На днях появилась новость о любопытной статье, вышедшей 16 декабря в журнале Communications Biology.

Две команды из французского университета École Polytechnique объединились, чтобы создать нейроинтерфейс для управления роботами. Не просто так, а для помощи маломобильным людям и повышения качества их жизни.

Как обычно, в новости и видео о статье основной упор делается на машинное обучение, как на уникальный прорыв в нейротехнологиях. Даже словосочетание “artificial intelligence” проскочило, кошмар. Применение самого по себе машинного обучения в поиске закономерностей в сигналах ЭЭГ далеко не новая идея. Конкретно в этой статье используется reinforcement learning (простыми словами о том, что это, читать тут). А способ использования вообще делает это исследование особенной снежинкой на фоне прочих.

Как именно это работает здесь?
На человека надевают шапочку с электродами, с помощью которой снимают ЭЭГ. Перед человеком помещают роботизированные руки, которыми нужно управлять. С одним нюансом — роборуки носятся вокруг хрустального бокала, который очень не хочется уронить и разбить. Если роборуки делают неверное движение, бокалу крышка, человек расстраивается. А алгоритм это замечает, рефлексирует и управляет роботом более аккуратно. Более того, если роборуки проносятся близко к бокалу, человек напрягается и этим досрочно даёт понять алгоритму, что тот косячит.

Для полного погружения рекомендую посмотреть видео, в самом деле очень страшно за бокал.

Сейчас тренировочные сессии длятся от одного до трёх часов, что весьма долго. Я бы для ускорения обучения штрафовала испытуемого на стоимость бокала. Тем более, что для исследований приглашали 13 полностью здоровых человек.

Не буду скромняжкой и скажу, что у меня возникала похожая идея года полтора назад, но до релиза дело так и не дошло. Проблема в том, что обучение с подкреплением, во-первых, получается совсем уж неинтерпретируемым чёрным ящиком, и, во-вторых, вряд ли будет отличаться высоким качеством для шумных сигналов ЭЭГ. Тем не менее, я предсказываю успешное будущее такому подходу в случае
а) больших объемов данных,
б) использования в паре с обычным алгоритмом под каждого конкретного человека — эдакий semi-supervised learning получается.

Что касается пункта а), то исследователи не жадные, записанный ими датасет можно найти тут и самостоятельно поковыряться. Если вы ленивы, то можете использовать ещё и их код.

Сейчас алгоритм из статьи скорее является прототипом, но в плане у исследователей внедрить подобное управление еще и в инвалидное кресло. Это достойная цель, успехов им!


#EEG
#неинвазивный_интерфейс
#reinforcement_learning

#новости

17 декабря в новостях замелькали статьи о том, что учёные из стартапа Cortical Labs вырастили кусочек мозга. И не просто вырастили, а обучили его играть в пинг-понг.

Выглядит это так. В чашке Петри колышутся сотни тысяч клеток. На них воздействуют электрическими импульсами, погружая клетки в некий игровой мир. Так мини-мозг "видит" платформу, которую может двигать теми же электрическими импульсами, и мячик, который надо отбивать.

Оказалось, что хотя этот кусок мозга не настолько крут, как обученная пинг-понгу стандартная нейросеть, он способен гораздо быстрее обучаться.
Сам стартап Cortical Labs позиционирует эти мозги как биочипы, веря, что это будущее процессоров.

Стоп, мы же тут про неинвазивные нейрогарнитуры говорим. К чему тогда эта новость?

Если отбросить этику вопроса, то лично я смотрю на мини-мозги как на потенциальный ресурс для генерации кучи датасетов на благо развития нейроинтерфейсов. Представьте: у вас дома лежат десятки мини-мозгов, которые вы учите нужным способом произносить команды. А потом собираете сливки в виде тысяч часов записанной мозговой активности, которые можно скормить нейросети для повышения качества распознавания ментальных команд.

В общем, успехов Cortical Labs, хочу увидеть их мозги на амазоне!

#какэто

SSVEP

В статьях и характеристиках нейрогарнитур рука об руку с потенциалом P300 идёт загадочная аббревиатура SSVEP.

Что это?
SSVEP расшифровывается как steady state visually evoked potentials или устойчивый визуально вызванный потенциал.

Работает это так: человек видит вспышки света частотой от 5 до 60 Гц, и примерно через 500 милисекунд его мозг начинает "отвечать", генерируя электрическую активность с той же или кратной частотой.

Например, если глаз видит вспышки частотой 5 Гц, то на ЭЭГ увидим такие же вспышки, но на частотах 5, 10, 15 Гц.

Отличие SSVEP от P300
И то и другое — вызванные потенциалы, видны на ЭЭГ и МЭГ и могут возникать в одних и тех же областях мозга. А в чём разница?

SSVEP на ЭЭГ виден только пока человек видит вспышки. Вспышек нет — нет реакции.

P300 это сигнал более высшего порядка. То есть, если стимул человек уже не получает, но мозг продолжает про него думать, P300 всё так же будет виден на ЭЭГ.

Также P300 это скорее пик амплитуды, в то время как SSVEP более растянутый во времени паттерн.

Подробнее про разницу и сходства можно прочитать в статье.

Применение
Благодаря такой удобной реакции мозга на свет с помощью SSVEP можно проверять работоспособность зрительной системы человека и точнее диагностировать причины проблем со зрением.

Но нас ведь интересует другое?
Да, SSVEP используется и в нейрокомпьютерных интерфейсах, причём уже давно.

Например, существует система озвучивания текстов, в которой мигающий свет обозначает определённые буквы и слова. Это сильно облегчает общение при параличе.

Сейчас на рынке SSVEP применяет нейрогарнитура NextMind, чем позволяет играть в волшебные игры. Правда, приходится смотреть на вспышки.


Что касается моего мнения, то мне отрадно за хотя бы такую предсказуемость нашего мозга, но очень не нравится, что для регистрации SSVEP надо смотреть на мерцания. Это не для тех, у кого глаза устают от экранов. В общем, магия должна идти от души! Ну или от мозга, но максимально пассивно.

#EEG
#SSVEP

#новости

Решила выплеснуть вторую часть инсайтов с недавней конференции Neuro MIXR 2021 от MIXR.


Если вдруг кто не знает, в России в рамках Научно-технологической инициативы лет пять назад создали отраслевой союз Нейронет, который призван привести страну к прекрасному нейротехнологичному будущему. Подробности о пути, по которому мы все идём, рассказал Андрей Иващенко в докладе "Нейронет - Вчера, Сегодня, Завтра". В целом, было приятно узнать, кому и чем (многим и суммарно на 4+ миллиарда рублей) помог Нейронет, так что респект им!


Про связь нобелевки по физиологии и медицине с нейротехнологиями рассказал Владислав Белоусов. Не знакома с областью, поэтому было тяжеловато.
Оказывается, можно вживить в нейроны ионные клетки водорослей, которые отвечают за светочувствительность, и получить психованных существ, которые пытаются бежать или плыть в определённую сторону, когда на них светят.
Зачем так поступают со зверушками? А вы посмотрите доклад сами, прочитайте статью докладчика (он с коллегами прокачал рыбку тепловизором змеи) ну или пофантазируйте и напишите в комментах!


Завершу вторую часть мини-обзора восторгом от доклада "Neuroenhancement и нейростимуляция: настоящее и будущее" Дарии Клеевой. Я с предубеждением отношусь к различной стимуляции мозга. Боюсь, мы слишком мало знаем, чтобы ничего не поломать. Но доклад прослушала с удовольствием и готова рекомендовать как мини-гайд по миру технологий воздействия на мозг.
Из инсайтов вынесла, что
🟪 можно прокачать себе одну область мозга, но отключить другую — теперь интересно, как бы одновременно забустить умение решать задачки, а выключить прокрастинацию;
🟪 разными людям подходят разные методы (их куча, глобально делятся на магнитную и электрическую стимуляцию);
🟪 есть разница эффективности между просто стимуляцией и стимуляцией + определёнными усилиями пациента — ну вот, опять нельзя лениться;
🟪 у некоторых людей есть загадочный BDNF-ген, который режет эффект от стимуляции и в целом склоняет к нехорошим мыслям.
В общем, к бусту мозга когда-нибудь придём, но нужны данные, эксперименты, персонализация, знания о клетках кроме нейронов и открытия в оптогенетике.


На этом остановлюсь. Надеюсь, встретимся на аналогичной конференции в следующем году!

#новости

Вчера побывала на конференции Neuro MIXR 2021 про модные метаверсы и ещё не слишком модные нейротехнологии. Пока кэш мозга не очистился, хочу поделиться заинтересовавшими лично меня инсайтами.

Сперва выкажу мегареспект Андрею Ивашенцеву из MIXR (а теперь Neiry) и спонсорам конференции, потому что это было действительно крутое мероприятие. Если записи докладов выложат в общий доступ, сама досмотрю парочку из параллельных треков и всем рекомендую глянуть — особенно трек про нейротехнологии из красного зала, который был самым нейроведьминским.

А теперь погнали по инсайтам.

Из доклада Натальи Галкиной (NeuroTrend) "Нейромаркетинг — эмоции и внимание клиентов как новая валюта" помимо общих вещей было любопытно узнать, что
🟢 айтрекинг — самый распространённый метод в нейромаркетинге;
🟢 пока это используется в основном в рекламе для коротких роликов, но есть планы оценивать так фильмы, UI/UX и игры;
🟢 эмоциональные реакции на одно и то же видео сильно различаются для людей разных групп: женщин и мужчин, разных возрастов, разного бэкграунда и из разных городов.


В рассказе-поиске партнёров "BCI - новая технологическая революция. Возможности для корпораций" Татьяна Александрова (Neiry) упомянула, что неинвазивные нейротехнологии почти на пике своего развития, они готовы, но все с 2019 года никак не найдут им product-market fit. Их компания как раз ищет применения. Из необычных юзкейсов нейронарнитур:
1️⃣ Адаптация игры под состояние игрока — если фрустрирует, то понижаем сложность и т.д. Кто-то из зала подсказал, что можно предлагать купить внутриигровые предметы в пик счастья или отчаяния игрока, что мне кажется куда более суровой, но денежной идеей.
2️⃣ Интерактивные фильмы — при просмотре в зависимости от реакции человека менять развитие сюжета. Говорят, в Калифорнии этим интересуются.
3️⃣ SexTech — опять персонализация VR-развлечений, которая теоретически сможет пофиксить, например, эректильную дисфункцию.


Доклад "Неинвазивные нейроинтерфейсы и алгоритмические танцы с бубном", потрясший меня больше всего, подготовила Александра Бернадотт (SberDevices). Она не только практически единолично создала сверхточный носимый магнитометр (компактная и дешёвая замена МРТ), но и разработала ряд алгоритмов для неинвазивных нейроинтерфейсов.
Сейчас в СберДевайсах умеют распознавать 9 мысленных команд с точностью 85%. Идут к 17 командам.
Знаете, что в этом нифигасебешного? Команды это слова, которые образуются в речевом центре мозга (зона Брока). То есть, интерфейс Александры отличает, как мы представляем произнесенное слово "вперёд" от "назад". И отличает всего лишь по ЭЭГ, который "фуфуфу и шумный".
Короче, я планирую прочитать все относящиеся к этому проекту статьи, повтыкать в опубликованный (прикиньте) код, может даже поковырять обещанный к публикации датасет на 70 часов и выпустить более подробный обзор на то, что происходит в СберДевайсах.


Докладов и дискуссий я прослушала гораздо больше, но часть была слишком техническо-биологической, а про другие лучше рассказать отдельно.
Поэтому на этой восхищённой ноте завершу пост о Neuro MIXR 2021! Всем магии нейротеха 💕

Нас уже больше 40 человек, поэтому считаю, что пришло время раз и навсегда прояснить этот вопрос.

Что такое нейрогарнитура?

Нейрогарнитура — штука, которую человек надевает на голову в надежде, что она распознает команды или состояния по электрическому полю его мозга.

#обзор

Emotiv Insight

Добрались до очередной популярной в узких кругах гарнитуры — Emotiv Insight от австралийской компании Emotiv Inc. У Emotiv есть и более продвинутые устройства, например, Emotiv EPOC X, но нам интересны портативные и простые в использовании гарнитуры.
Emotiv Insight появились на Kickstarter в августе 2013, в июле 2015 закрыли сборы, получив $1,6 млн вместо запланированных $100 тыс. В августе 2015 покупатели получили свои устройства. То есть, на рынке гарнитура уже давно.

Модельный ряд
Emotiv Insight, 299$ — то, что мы обозреваем.
Emotiv EPOC X, 849$ — 14-канальная гарнитура с полусухими электродами.
Emotiv EPOC FLEX Kit, 1699$+ — шапка с мокрыми электродами для исследований.

Тип
Неинвазивная гарнитура с 5 полусухими — работает на сухую, но можно смочить для качества— электродами: 4 активных (AF3, AF4, T7, T8, Pz) и 2 референтных на мастоидах (за ушами).

Как и что меряют
Измеряют ЭЭГ, но также на устройстве есть акселерометр, гироскоп и магнитометр.
Всё это помогает различать
- эмоции: радость, вовлеченность, расслабление, интерес, стресс и концентрацию
- выражения лица: моргание, подмигивание правым и левым глазом, удивление, улыбку, нахмуривание
- одновременно 4 команды из списка: толкать, тянуть, поднять, уронить, право, лево, повернуть налево, повернуть направо, повернуть вперед, повернуть назад, повернуть по часовой стрелке, повернуть против часовой стрелки, исчезнуть
Команды предлагается записывать рандомно, из серии “представьте, что вы поднимаете вверх объект, а мы запомним соответствующий ментальный паттерн”.

Применение
Любопытно, что сейчас Emotiv Inc активно привлекают людей для исследований — буквально платят за то, что ты записываешь купленным у них устройством определенные датасеты.
По играм:
- Emotiv Labs создали ряд милых игр, которые в основном помогают лучше узнать свой мозг и себя;
- одна из первых нормальных ПК-игр , в которой можно управлять магией с помощью гарнитуры Emotiv EPOC (не Insight, но всё же).

Также достаточно большое число считываемых состояний (команды и эмоции) позволяет
- управлять квадрокоптером
- водить курсором по экрану смартфона

Деньги
Emotiv Systems была основана в Австралии в далёком 2003 командой мечты: неврологом, радиотехником и предпринимательницей Тан Ли. В результате их многолетнего труда в 2009 появилась гарнитура Emotiv EPOC. А в 2010 Тан Ли решила создать отдельную компанию Emotiv Lifesciences в США, куда сооснователи Emotiv Systems уже не вошли. В 2013 новую компанию переименовали в Emotiv Inc и запустили сбор на кикстартере на новую нейрогарнитуру Insight. Всего собрали $1,6 млн к 2015 году. Также в 2015 подняли пресид на $120 тыс, инвесторами стали Disney Accelerator и Techstars. Больше раундов не проводили.
На официальном сайте заявляют, что продано уже более 70 тысяч гарнитур, что говорит о суммарной выручке минимум в $21 млн за 6 лет.

Брать?
Как мне показалось, это наиболее нацеленное в сторону нейроуправления устройство: тут тебе и куча команд из коробки, и сырые данные по лицензии, и куча исследований, которые позволяют верить в светлое будущее.
В общем, я добавила себе в вишлист. Дальше выбор за вами.
Еще нашла занятное видео со сравненим нейрогарнитур Emotiv, Muse и NeuroSky и провалилась в канал человека, который тоже угорает по нейрогарнитурам. Наслаждайтесь.

Ссылки
— официальный сайт

#неинвазивный_интерфейс
#EEG

2/2
Продолжаю рассказывать о результатах опроса. Сегодня про наличие гаджетов у целевой аудитории — 69 айтишников и околоайтишников из крупных городов России.

Напоминаю, что нейрогарнитур нет и не было ни у кого 🥲
А что по остальным штуковинам? Как и в прошлый раз, рассмотрим ответы по-отдельности для каждой возрастной группы респондентов.


18-24 — 54%

VR-шлем
Есть, купил(а) — 5%
Есть, подарили — 3%
Нет и не было — 92%

AR-очки
Есть, купил(а) — 3%
Есть, подарили — 3%
Нет и не было — 94%

Продукция Apple
Есть, купил(а) — 41%
Есть, подарили — 19%
Раньше была, сейчас нет — 3%
Нет и не было — 37%

Умные часы
Есть, купил(а) — 35%
Есть, подарили — 14%
Раньше были, сейчас нет — 5%
Нет и не было — 46%

Игровая консоль
Есть, купил(а) — 19%
Есть, подарили — 19%
Нет и не было — 62%

Умный дом
Есть, купил(а) — 16%
Есть, подарили — 35%
Нет и не было — 49%


25-29 — 26%

VR-шлем
Есть, купил(а) — 6%
Есть, подарили — 6%
Раньше был, сейчас нет — 6%
Нет и не было — 82%

AR-очки
Есть, купил(а) — 6%
Нет и не было — 94%

Продукция Apple
Есть, купил(а) — 44%
Раньше была, сейчас нет — 6%
Нет и не было — 50%

Умные часы
Есть, купил(а) — 28%
Есть, подарили — 6%
Раньше были, сейчас нет — 22%
Нет и не было — 44%

Игровая консоль
Есть, купил(а) — 17%
Есть, подарили — 17%
Раньше была, сейчас нет — 6%
Нет и не было — 60%

Умный дом
Есть, купил(а) — 17%
Есть, подарили — 6%
Нет и не было — 77%


30+ — 20%

VR-шлем
Есть, купил(а) — 21%
Есть, подарили — 14%
Нет и не было — 65%

AR-очки
Нет и не было — 100%

Продукция Apple
Есть, купил(а) — 57%
Есть, подарили — 7%
Нет и не было — 36%

Умные часы
Есть, купил(а) — 57%
Раньше были, сейчас нет — 14%
Нет и не было — 29%

Игровая консоль
Есть, купил(а) — 36%
Раньше была, сейчас нет — 7%
Нет и не было — 57%

Умный дом
Есть, купил(а) — 21%
Есть, подарили — 14%
Нет и не было — 65%


Из любопытных имхо-инсайтов по скромной выборке:
➡️ VR-шлем есть преимущественно у людей с доходом 200-300 тыс. рублей;
➡️ Почти ни у кого из владельцев VR нет игровых консолей, зато есть продукция Apple;
➡️ До 30 люди дарят друг другу игровые консоли, а после — штуки для умного дома;
➡️ Чаще всего люди разочаровываются в умных часах.

Ещё раз спасибо всем за участие! За сырыми ответами стучитесь в ЛС.

1/2
Так совершенно случайно совпало, что я и работаю над мобильной демо-игрой (самый удобный способ тестировать нейроуправление), и обучаюсь на программе ВШЭ “Менеджмент игровых проектов”. На одном из курсов требовалось провести какое-либо исследование, и я не могла упустить этот шанс.

Итак, две недели назад я составила и провела опрос, результаты которого обещала выложить в этот канал. Вот и настал час расплаты за ваши ответы!

Всего я получила 84 ответа, из которых 69 человек принадлежали моей целевой аудитории (ЦА) — айтишники и околоайтишники из крупных городов России. Бесконечность в статистике начинается с 30, поэтому считаем, что моё исследование максимально достоверно (про доверительные интервалы можете рассказать в комментах 😉).
Еще получила много обратной связи, за что большое спасибо неравнодушным! Следующие опросы буду создавать с учётом замечаний.

Вопросов-гипотез у меня было несколько:
1️⃣ Сколько денег тратит на игры моя ЦА?
2️⃣ Как часто моя ЦА играет в игры и какие из них предпочитает?
3️⃣ У какой доли моей ЦА есть нейрогарнитуры?
4️⃣ Какие гаджеты использует моя ЦА?

Теперь к результатам!

Начну с самого печального вопроса 3️⃣.
Ни у кого нет и не было нейрогарнитуры. То есть, никто из респондентов никогда не испытывал великолепное ощущение магии нейроуправления. Ну что ж, будем с этим работать!

С другими двумя гипотезами будем разбираться по отдельности для каждой возрастной группы респондентов.

18-24 — 54%

ПК-игры
Не играют — 55%
От 1 до 3 раз в неделю — 32%
От 3 до 6 раз в неделю — 8%
Каждый день — 5%

Консольные игры
Не играют — 68%
От 1 до 3 раз в неделю — 32%
От 3 до 6 раз в неделю — 0%
Каждый день — 0%

Мобильные игры
Не играют — 68%
От 1 до 3 раз в неделю — 13%
От 3 до 6 раз в неделю — 3%
Каждый день — 16%

Тратят на игры в месяц
Ничего — 47%
< 1000 рублей — 37%
1000 - 5000 рублей — 16%

Из любопытного (но статистически недостоверного): все, кто покупал мобильные игры в последнем месяце, в среднем тратят на игры в меньше 1000 рублей за месяц.


25-29 — 26%

ПК-игры
Не играют — 33%
От 1 до 3 раз в неделю — 45%
От 3 до 6 раз в неделю — 17%
Каждый день — 5%

Консольные игры
Не играют — 78%
От 1 до 3 раз в неделю — 17%
От 3 до 6 раз в неделю — 5%
Каждый день — 0%

Мобильные игры
Не играют — 68%
От 1 до 3 раз в неделю — 22%
От 3 до 6 раз в неделю — 5%
Каждый день — 5%

Тратят на игры в месяц
Ничего — 28%
< 1000 рублей — 50%
1000 - 5000 рублей — 22%


30+ — 20%

ПК-игры
Не играют — 29%
От 1 до 3 раз в неделю — 36%
От 3 до 6 раз в неделю — 14%
Каждый день — 21%

Консольные игры
Не играют — 57%
От 1 до 3 раз в неделю — 29%
От 3 до 6 раз в неделю — 14%
Каждый день — 0%

Мобильные игры
Не играют — 72%
От 1 до 3 раз в неделю — 14%
От 3 до 6 раз в неделю — 0%
Каждый день — 14%

Тратят на игры в месяц
Ничего — 36%
< 1000 рублей — 21%
1000 - 5000 рублей — 29%
> 5000 — 14%


Выводы из чисел предоставляю сделать вам.
За сырыми данными опроса можете писать мне в ЛС (есть в закрепе).
Инфографику возможно осилю, но не обещаю.

Вопрос 4️⃣, касающийся использования гаджетов, освещу чуть позже, не отключайтесь!

#какэто

P300

Если вы стали активно гуглить про нейрогарнитуры и вычитывать характеристики пользовательских устройств, то могли заметить загадочное понятие "P300". Что же это? Модный электрод с золотым напылением? Конфигурация чипа? Нет и нет.

P300 — это вызванный в мозге потенциал, который можно засечь через 300-500 милисекунд после внешнего стимула.

Работает это так: перед вами возникает определённый стимул, примерно полсекунды вы тормозите и затем в вашем мозге возникает отклик. На ЭЭГ это выглядит как пик амплитуды сигнала.

Почему этим принято хвастаться на лендингах нейрогарнитур?
Дело в том, что распознавание P300 на ЭЭГ это наиболее точный из современных методов определения конкретной активности мозга. Это позволяет получать наилучшее качество в нейроуправлении.
Конечно, есть минус — потенциал P300 надо как-то вызывать. Для нейроуправления на P300-приводе обычно делают специальные интерфейсы (NextMind) или ориентируются на то, что человек должен увидеть в стандартной игре.

Для тех читателей, которые любят обучать железки, в заключение дарю найденную статью о том, как запилить простой классификатор P300 на сырых ЭЭГ-данных.