То шо нейросети

Ну а если вам показалось, что я чересчур оптимистичен относительно нейроморфных чипов и спайковых сетей, то как бы вот. Nuff said.

А вот как выглядел чип скайнет в фильме Терминатор 2

Что это значит для вас?

Например, товарищи из Касперского недавно выпустили нейроморфные чипы.
Смотрите как они выглядят:

Чем круче SNN против ANN?
Они показывают превосходство в ряде задач, особенно в ситуациях, где требуется высокая энергоэффективность и способность обрабатывать временные последовательности данных:
1. Обработка сенсорных данных: SNN особенно хороши в обработке данных, поступающих от сенсоров в реальном времени, таких как звуковые волны или визуальные паттерны, благодаря их способности к кодированию временной информации в спайках.
2. Распознавание образов: Они могут превосходить ANN в задачах, где важна временная структура входных данных, например, в распознавании речи или обработке естественного языка.
3. Робототехника: SNN используются для управления движением роботов, особенно в задачах, требующих адаптации к переменным условиям окружающей среды и реакции в реальном времени.
4. Имитация мозговой активности: SNN превосходят в моделировании биологически реалистичных процессов мозга, что может применяться в нейронауке для лучшего понимания функций мозга.
5. Энергоэффективные вычисления: В приложениях, где требуется низкое энергопотребление, например, в мобильных устройствах или устройствах интернета вещей (IoT), SNN могут значительно продлить время работы от батареи.
6. Динамические и адаптивные системы: Задачи, связанные с постоянно изменяющимися данными и требующие непрерывного адаптивного обучения, хорошо подходят для SNN из-за их способности к обучению в процессе работы.
7. Высокопроизводительные вычисления: Для сложных вычислений, требующих параллельной обработки данных и высокой скорости, SNN могут предложить более эффективные решения.

SNN ещё исследуются и разрабатываются, и их полный потенциал в различных приложениях ещё предстоит полностью реализовать.

Нейроморфные процессоры - это тип чипов, который вдохновлен строением и функционированием мозга.

1. Энергоэффективность: Они могут выполнять вычисления, используя гораздо меньше энергии по сравнению с традиционными процессорами, что делает их идеальными для мобильных устройств и устройств "интернета вещей" (IoT), где энергопотребление критично.
2. Обработка в реальном времени: Нейроморфные процессоры способны обрабатывать данные в реальном времени, что критически важно для таких приложений, как автономное вождение, где требуется мгновенная реакция.
3. Параллельная обработка данных: Они могут обрабатывать множество операций одновременно, подобно нейронам мозга, что делает их очень подходящими для сложных вычислительных задач, таких как распознавание образов.
4. Масштабируемость: Нейроморфные чипы могут быть сконструированы таким образом, чтобы их можно было легко масштабировать, добавляя больше чипов для увеличения вычислительной мощности.
5. Адаптивность и обучение: Они способны адаптироваться и обучаться на основе входных данных, что позволяет создавать системы, которые могут улучшаться со временем и реагировать на изменения в окружающей среде.
6. Низкий уровень шума: Нейроморфные процессоры могут быть более устойчивы к шуму в данных, что улучшает их способность работать в неопределенных и динамичных условиях.
7. Совместимость с SNN: Они особенно хорошо подходят для работы со спайковыми нейронными сетями, которые считаются следующим поколением в области ИИ из-за их эффективности и способности к обработке временных данных.

По сути это просто повторение живых нейронов in silico в виде аппаратного решения. Кремниевые мозги, если хотите. Проблем применения обычных процессоров в том, что они используют принцип машины Фон Неймана, а соответственно память и инструкции процессора хранятся в одной области. Более того, запись и чтение памяти при асинхронном обращении (у нас же нейроны не одновременно работают) становится «бутылочным горлышком». Поэтому у нейроморфных чипов своя архитектура, которая решает эти проблемы и убирает «бутылочное горлышко», экономит энергию, работает асинхронно и вообще молодец.

Зачем нужны спайковые нейросети?
1) спайковые нейросети энергоэффективны, активируются более разряжено (sparse) и требуют меньшей вычислительной мощности
Так работает наш мозг, а он очень энергоэффективен (хотя, по моим наблюдением, далеко не у всех)
2) нет разделения на «обучение» и «инференс». То есть сети не обучаются а потом используются, а одновременно обучаются и используются ВСЕГДА, то есть реагируют на изменяющуюся обстановку. Можно, конечно, предотвращать продолжающееся обучение, и это бонус по сравнению с биологической формой. Хотя у некоторых дебилов индивидов все же получается.
3) параллельная обработка и высокая пропускная способность. Каждый суслик агроном нейрон самостоятелен и не требует общей памяти и общего доступа к памяти в том виде, как это сейчас происходит в наших компьютерах. Это и затык и преимущество одновременно. И вот поэтому появились нейроморфные чипы. Но об этом чуть позже.
4) устойчивость к шуму и более выгодное (непрерывное) кодирование. Теперь между нулем и единичкой бывает "немного беременна".
5) впечатляющая масштабируемость задешево. За счет отсутствия необходимости синхронизации и контролируемого доступа к памяти, можно напихать мощностей, на сколько форм фактор, бюджет и задача позволит. Не все так радужно, но потолок еще не скоро встретится.

Вместо обратного распространения ошибки там есть STDP : spike timing dependent plasticity. Всплеско-времязависимая пластичность. Сейчас объясню проще.
Суть в том, что связь между нейронами, которые возбуждаются (активируются) недавно друг от друга по времени - укрепляется, в остальных случаях - ослабляется.
Например, вы увидели молнию впервые и подумали «о, светлануло как то!» а потом спустя время услышали гром и испугались.
Для вас сначала что-то сверкнуло, а потом что-то жахнуло и вы пока неуверенны связаны ли эти события.
Но чем чаще вы будете наблюдать такие сопричастные события, тем больше в вашем мозгу будет естественным образом формироваться связь: в небе сверкнуло? Скоро жахнет гром.
Вероятно, подобным образом формируются приметы в народе: когда два хер пойми каких события происходят одно за другим. Многие из них эзотеричны, но сходящие с ума собаки перед землятресением ранее тоже считались приметой.

Сверху - спайковый нейрон, которые капец как похож на живой.
Снизу - тот обычный, упрощенный, которые повсеместно сейчас используется.
Нижний - получил в себя циферки по связям, сложил, обработал какой то функцией активации и выдал дальше.
Верхний, спайковый - НЕПРЕРЫВНО во времени получает переменные значения (аналоговые) и СО ВРЕМЕНЕМ реагирует на них.