My Moving Castle

С сегодняшнего дня и до 10 ноября!

Лично меня зацепило в этом (бесплатном для просмотра) саммите не наличие медитаций и пр. потоков, а выступления учёных.

Саммит «ТОП-60» 2024
https://newnorma.ru/summit-top60

Например, Грегг Брейден: "Природа человека и когерентность мозга и сердца".
Для тех, кто не знает его (как и я, до вчерашнего дня): он доказал наличие нейронов в сердце ❤️ (по аналогии с нейронами головного мозга).... дальше спойлерить не буду, но, согласитесь: фраза "сердце подсказывает" заиграло новыми красками :)

Полагаю, это будут очень необычные 7 дней лекций - подключайтесь обязательно
// это бесплатно

Если кто пропустил новость:
теперь у запахов есть универсальный конструктор (типа RGB для кодирования цвета), позволяющего кодировать любой запах, как в конструкторе.

И это соотносится с изменением индустрии путешествий и игр, в первую очередь ("хлеба и зрелищ"), лет через 10. Что радует, что, даже будучи прикованными к постели в доме престарелых, мы сможем путешествовать 😁 (при наличии денех и дома 🤔)

Помимо всей текучки, в августе 2024 я поставил себе амбициозную (для себя) цель, не зная, куда именно она меня выведет, однако будучи уверенным, что мой инженерный ум требует именно такой задачи, чтобы не заржаветь (что иронично, если посмотреть на перевод слова "rust").

А именно: запустить код на языке Rust, который взаимодействует с Ethereum: выкачивает инфу, сохраняет туда смартконтракты (которые тоже нужно будет написать) и пр.

Это требует изучения в первую очередь Rust, затем пакета Tokio для асинхронности, затем - практическую часть Ethereum-а (много теории я уже прочел с начала года - с меня уже довольно теории).

Непросто поднимать всё и сразу, однако мне очень нравится ) Потихоньку начинаю запоминать синтаксис нового языка - четвёртого в моём списке ЯП

Параллельно начал интересоваться местными коммюнити в этой области: говорят, они хороши.
#rust #tokio #smartcontract #ethereum #blockchain

Кристина, 11 лет, на приёме у стоматолога:
- А я знаю, откуда у стоматологов много денег.
- !?
- Они зубы пациентов когда вырывают, оставляют себе. А ночью потом их все под подушку кладут, и Зубная Фея ночью эти зубы на деньги меняет!

#Кристина

Часто, когла ссылаются на некие "правила" (правила успешной жизни, ведения бизнеса, общения и пр.), имеют в виду не правила как таковые, а именно... статистику.

Да-да: просто "среднее по больнице"...

А кем и каким образом она собиралась? Бабкой на лавке у подъезда? Чьим-то раздутым эго? Личным, а значит суперсубъективным, опытом?Как-либо ещё?

#longread #LLM #Fourier
Похоже, что я наконец докопался до физической сути математики, стоящей за кодированием позиций токенов (Positional Encoding) при расчёте смысла и контекста в LLM! Сначала, конечно, я вообще узнал про метод positional encoding-а.
Попытаюсь описать своими словами...

Т.к. "смысл" предложения зависит не только от слов, в него входящих, но и последовательности (позиций) слов, то перед обработкой LM (модель) отдельно кодирует и инфу о позициях слов/токенов (чтобы не потерять её в при обработке) в виде синусоид! (т.к. сумма синусоид - тоже синусоида: то, что так любят машины - единообразие в расчетах). А где синусоиды и волны, там Фурье, разложение по частотам и пр. известные алгоритмы работы с сигналами.

Радиолюбители и все, кто работает с изображениями, звуком или мат. статистикой, знают и про вейвлетный анализ, и спектральный, и кепстральные коэффициенты и т.п.

Вот не ожидал, что за LLM стоит именно Фурье (не за всем, а именно в одном из важных этапов)!

P.S. я не AI-разработчик, не математик, потому для меня это открытие, хотя для AI-теоретика это рутина - уж прастити 🤷‍♂️

Conclusion
By mapping positions to sinusoidal functions at varying frequencies, positional encoding in LLMs not only imbues the model with a mathematical tool akin to those found in wave mechanics and signal processing but also enriches the input embeddings with a distinct spectrum-like positional signature that is vital for the model’s performance.... This approach ensures sophisticated handling of sequence data, leveraging principles resembling those in physics to enhance computational linguistics.