optorepost


Гео и язык канала: не указан, не указан
Категория: не указана


@optozorax_dev рассказывает про очередную интересную штуку, которую откопал в интернете.

Связанные каналы  |  Похожие каналы

Гео и язык канала
не указан, не указан
Категория
не указана
Статистика
Фильтр публикаций


Очень приятное видео где чувак кодит рендеринг шрифтов. В каком-то моменте про устройство шрифтов у меня даже возник "aha" момент, очень кайфанул. Ну и ещё разбирает корнер-кейсы, очень умно их дебажит.

В общем можно смотреть на ночь вместо сказки. И голос тоже подходящий))

https://youtu.be/SO83KQuuZvg






В видео рассказывается про будущее линейной алгебры - рандомизированные алгоритмы (например решения СЛАУ), которые работают на порядок быстрее за счёт предоставления не идеально точного ответа. А в каком-нибудь ML это может быть сомнительно, но окэй.

Поначалу автор углубляется в совсем базовые вещи, так что рекомендую пропускать, ориентируясь на главы. Затем начинается интересное, и он хорошо погружается в детали, не как для тупых вначале.

https://youtu.be/6htbyY3rH1w


Видео про дизайн и сборку кастомного геймпада с трекболом. Очень классное качество реализации и вообще всё видео прям приятно смотреть, часто делаешь такое лицо: 🤙.

Особенно мне понравился его подход софту и железу: он тупо взял железо из мышки и геймпада и высунул их во внешнюю коробку, а внутри взял usb-разветвитель, который объединяет их в один usb-провод. Не стал дизайнить свою плату и софт к ней писать. Вот это респект, для таких домашних проектов только так и делать!

https://youtu.be/Ug06dhahqg0


Репост из: Karim Iskakov - канал
Кого сначала заменит AI?

Последнее время почти все мои разговоры с друзьями и коллегами так или иначе сводятся к темам "А что будет, когда AGI появится?", "Чего сейчас не хватает? Нужно 10x данных, 10x компьюта или 10x теории?".

Из этих обсуждений, а также разных лекций/подкастов/твитов у меня сложилась картинка того, в какую сторону AI будет развиваться, и какие области/профессии будут падать первыми. А недавно слитое письмо от OpenAI про их новое (угрожающее человечеству 👻) открытие под названием Q* (Q-star) подкрепило догадки.

1️⃣ Давайте для начала вспомним AlphaGo. Это модель от DeepMind, которая наделала шума, победив в го лучшего в мире белкового игрока. Обучение модели состояло из двух фаз: pretraining и self-play.

Pretraining. Во время этой фазы сетка училась в supervised режиме на истории реальных партий в го. По сути, она училась имитировать игру экспертных игроков. Такая модель уже хорошо играла, побеждала опенсорсные го движки. Но победить лучшего игрока в мире у нее шансов не было.

Self-play. А вот тут пошла жара. Авторы сделали 2 копии модели из pretraining-фазы и заставили их долго мучительно играть друг против друга 😅. Обучалось это с помощью reinforcement learning, для которого очень важно придумать хороший reward, который модель будет максимизировать. В данном случае ревордом служила победа в партии. И вот такая самозадрюченная версия модели уже порвала лучшего в мире игрока в го.

Тут самое главное то, что у авторов получилось создать environment [две +- равные по силе модели играют против друг друга], в котором данные для обучения генерируются сами, без разметки от людей. И эти данные содержат ценный сигнал, т.к. они значительно улучшают итоговое качество моделей (см. картинку в первом комменте)

2️⃣ А теперь проведем аналогии с обучением текущих LLM'ок.

Сейчас в обучении LLM'ок присутствует только pretraining фаза (в терминах статьи AlphaGo). Все 3 этапа обучения ChatGPT – это обучение на данных, размеченных людьми:
1. Обучение на большом корпусе текста
2. Дообучение на диалоговых данных
2. RLHF этап – обучение на преференциях одного ответа другому. Тут можно возразить и сказать, что в RLHF первые 2 буквы означают Reinforcement Learning. Но по сути это все такое же обучение на лейблах, которые разметили люди.

Все, что делает LLM – это имитирует текст или выбор, сделанный человеком. Вряд ли с таким подходом получится превзойти лучших людей в области (у AlphaGo не вышло).

Превзойти человека у нее получится только тогда, когда мы прикрутим аналог self-play фазы. Когда поместим ее в environment, в котором будет хорошо задизайненный реворд, и модель методом проб и ошибок сможет самоулучшаться за счет большого количества компьюта.

Так кого же первым заменит AGI?
Я бы ставил на те области, в которых легче создать эффективный environment с хорошим ревордом и с быстрой обратной связью. Приведу пару примеров из головы.

AI-кодер. Очень грустно это осознавать (думаю, как и большинству подписчиков этого канала 😔), но скорее всего сетки научатся хорошо программировать довольно скоро. Написание кода, его запуск и тестирование происходит полностью в цифровом мире (быстрая обратная связь). При разработке сложно писать код, но сильно легче придумывать ТЗ и проверять результат (простой дизайн реворда)

AI-психолог. Вот тут гораздо сложнее придумать эффективный environment. Реворд сложный – это психологическое состояние человека, которое сложно апроксимировать вычислениями (только если не научиться весь мозг симулировать). Обучение будет неэффективно, т.к. цикл обратной связи длинный и в нем присутствует человек.

☝️ Буду рад критике таких мыслей и обсуждениям в комментариях!
🎒 @karim_iskakov


Очень красивая и ламповая история как чувак бросил работу, 5 лет разрабатывал игру, и заработал на этом состояние. Очень рад за чувака!

https://youtu.be/5JKwr84_aXs


Предположим у вас есть полином. Существует численный метод для нахождения всех его корней РАЗОМ (ссылка на википедию).

На данной гифке как раз показывается этот метод, как точки сходятся ко всем корням.

Метод ОЧЕНЬ красивый. Предположим у вас есть полином четвёртой степени, тогда его можно представить как:

f(x) = (x-P)(x-Q)(x-R)(x-S)

если немного переписать, то будет:

P = x - f(x)/[(x-Q)(x-R)(x-S)]

Аналогично можно переписать для любого другого корня. На этом строится итеративный процесс одновременно для всех переменных, которые и будут являться корнями (см. картинку 2).

Гифка взята отсюда: https://twitter.com/gabrielpeyre/status/1771054198609818080


Очень весёлая мини-игра, в которой нужно долететь до базы на корабле, только есть условие в том что вам будут мешать потоки воздуха, которые очень честно физически симулируются!!! Никогда не видел чтобы так объединили сложную физическую симуляцию и простую идею для игры.

https://github.com/s-macke/Interplanetary-Postal-Service


Очень прикольный способ рендерить "воксельные" карты. Прям супер-производительный и простой. Почитайте ридмишку и поиграйтесь в веб-демку: https://s-macke.github.io/VoxelSpace/VoxelSpace.html

Если кратко, то там вся карта хранится в виде двух текстур, а "воксели" рендерятся хитрым образом, просто проходя по этим текстурам в нужном порядке.

https://github.com/s-macke/VoxelSpace


Коротенькое видео о том почему функция Дирихле является королём контр-примеров в математике.

Особенно меня поразило два использования:
* Функция, которая непрерывна, только в определённом числе точек (не интервалов, да-да). Я раньше даже подумать не мог что непрерывность может быть определена для точки, думал что она имеет смысл только для интервалов.
* Периодичность функции Дирихле. Она периодична, но у него нет периода! Это вообще жесть.

Очень люблю когда на вот всякие такие мелочи в математике приводят контр-пример, который объясняет что возможно, а что нет. Функция Вейерштрасса туда же.

https://youtu.be/7HbyO2PPXkg


Видео недоступно для предпросмотра
Смотреть в Telegram
Это видео сгенерировано программой размером 256 байт.

https://www.pouet.net/prod.php?which=96536

158 0 8 19 12

Видео на тему компьютерной графики, про генерацию гор с помощью двух интересных алгоритмов.

Очень красиво сделано, чувак видимо всё рисует в блендере с использованием path tracing, каждый кадр выглядит киношно пипец. Просто смотреть уже одно удовольствие.

https://youtu.be/gsJHzBTPG0Y


Видео набрало 1.8млн просмотров, и выпущено 5 месяцев назад. Начало в нём очень похоже на unasanu: что числа описывают всё, что там есть любая книга, а потом и любое положение любой частицы, иииии... Это значит что математика это бог 🗿 Я уж испугался что unasanu переизобрели, ан нет. Эх, а ведь человек был так близко.

Само по себе видео не очень интересно.

https://youtu.be/z0hxb5UVaNE


Шикарная документалка про ДВС и электромобили. В видео рассказывается история появления бензина как топлива и про зарождение экологии, а так же почему электромобили могут быть плохи.

Я тоже давно думал что аккумуляторы очень вредны для природы и на самом деле электрокары не такие "экологичные" как их считают. А тут это снова подтверждается. А ещё тут говорится что сейчас выбросов от обычных автомобилей очень очень мало.

Всем советую посмотреть, очень интересное видео, не оторваться.

https://youtu.be/_HbEl-2n5AQ


Часовое видео про то как устроены гладкие кривые, будь то в компьютерной графике или промышленности (!). Поймёт любой школьник (знающий английский), потому что рассказано очень просто, подробно, качественно и просто КРАСИВО. Freya офигенна тем, что делает самые лучшие анимации на свете. Просто посмотрите первую минуту видео, и поймёте о чём я говорю. Смотрится на одном дыхании, и очень жаль что у такого классного видео всего 1млн просмотров, потому что должно быть минимум 10.

https://www.youtube.com/watch?v=jvPPXbo87ds

266 1 17 19 5

Я надеюсь все прочитали что такое AlphaGeometry, как она работает и как решает олимпиадные задачи. Потому что в этом видео сравнивается решение AlphaGeometry (да, его следует перетерпеть), и решение человека.

И видно что человек старается найти решение намного короче и КРАСИВЕЙ. А AlphaGeometry просто херачит какие-то шаги, которые дадут результат. Поэтому пока что системы автоматического доказательства может и дадут какие-то факты, но они не дадут реально нового ЗНАНИЯ.

https://youtu.be/ZrjarkXS0Fo




Я всегда мечтал о том чтобы как-то подхачить системный таймер, чтобы всякие игры думали что время на самом деле идёт медленней, например, чтобы в майнкрафте можно было взрывать много динамита без лагов.

Оказывается в каком-то обновлении эту функцию добавили на уровне самого майнкрафта, благодаря чему можно делать ТАКОЕ видео.

Ох, какой же это кайф, лучше резания мыла.

https://www.youtube.com/watch?v=BqGykidnAno


Чувак обучил автоэнкодер не на реальных данных, а на сгенерированном шуме (что-то типо абстрактных картин с рандомно расположенными квадратами), и получил вполне неплохие результаты. Это что-то довольно фундаментальное в области нейросетей.

Может нейронки в наших головах составлены по таким же простым правилам. Или может они инициализированы такой нейронкой на шуме, а затем дообучаются на картинках из реального мира.

В общем очень интересный результат, я удивлён что раньше не видел подобного. Скиньте это MLщикам из вашего ЖЭКа.

https://youtu.be/6hzZTqilGVI

Показано 20 последних публикаций.

169

подписчиков
Статистика канала