Mikhail Samin


Гео и язык канала: не указан, Английский
Категория: Блоги


Effective altruist, founded AudD.io, printed 21k copies (63k books!) of гпмрм.рф. He/him, bi 🏳️‍🌈
Contact me: @Mihonarium
contact.ms
x.com/mihonarium

Связанные каналы

Гео и язык канала
не указан, Английский
Категория
Блоги
Статистика
Фильтр публикаций


Саша (одна из моих самых близких друзей) запустила стартап про community management. Они на очень раннем этапе, но у них уже есть довольно крутой продукт и клиенты. Классные фичи вроде резкого уменьшения токсичности сообществ с помощью reward-shaping’а троллей: они останавливают друг друга от написания гадостей, потому что это приводит к автоматическому появлению/увеличению обязательной паузы между сообщениями. Если вам такое интересно (а предотвращение неконтролируемого экзистенциально опасного ИИ не интересно), идите к ним работать!

https://t.me/elidoc0rc/6305



1.8k 0 10 22 41


5.2k 4 34 32 21



Невозможно писать эти слова и не плакать. Навальный прожил жизнь героем. Невероятно смелым, умным и честным. Политиком, боровшимся за то, чтобы сделать Россию свободной и прекрасной. Он был убит Путиным после 1125 дней в тюрьме и умер героем. Россия и мир его не забудут; герои не умирают.

Глубочайшие соболезнования семье и коллегам Алексея.


💔


Три года спустя генерация таких картинок никого уже не удивляет


Давно не делился тут новостями!

Время от времени пишу в Твиттер. Например, попытался проверить скилл Юдковского удивляться вымыслу больше, чем реальности, но реальность отказалась быть удивительной (маловероятное стечение обстоятельств -> пранк не сработал): https://twitter.com/Mihonarium/status/1706219836727341146

Все средства, собранные на краудфандинге в 2018, официально потрачены (и ещё >миллиона сверху). Подробности и отчётность. 150 личных трёхтомников решил подарить за пожертвования на отправку книг победителям олимпиад и в библиотеки; ещё экземпляр можно получить за пожертвование в MIRI. (Пишите в личные сообщения, @Mihonarium)


Китай на сегодняшнем Совбезе ООН: “The potential impact of AI might exceed human cognitive boundaries. To ensure that this technology always benefits humanity, we must regulate the development of AI and prevent this technology from turning into a runaway wild horse. […] We need to strengthen the detection and evaluation of the entire lifecycle of AI, ensuring that mankind has the ability to press the pause button at critical moments”


TED talk Юдковского наконец выложили
https://youtu.be/Yd0yQ9yxSYY | https://www.ted.com/talks/eliezer_yudkowsky_will_superintelligent_ai_end_the_world

(У него было четыре дня на подготовку. В начале опубликованной записи вырезано "You've heard that things are moving fast in artificial intelligence. How fast? So fast that I was suddenly told on Friday that I needed to be here. So, no slides, six minutes")


Начинаем через несколько минут. Можно продолжать задавать вопросы по ссылке и в комментариях


Думаю, попробую провести небольшое Q&A о безопасности искусственного интеллекта. Задавайте вопросы и голосуйте за заданные другими по этой ссылке

Upd: оказывается, ссылка не открывается из России без VPN, можете задавать вопросы комментариями к этому посту


1200 трёхтомников отправлены победителям олимпиад, 800 — в библиотеки, но остаются ещё тысячи. Поэтому дарю книжки!

📚 Если до конца октября пройдёте AI Safety Fundamentals — свободный курс о проблеме алайнмента, которой занимается Юдковский, который создали при поддержке сотрудников OpenAI, DeepMind и Anthropic (материалы на английском), подарю вам трёхтомник ГПиМРМ.

Бесплатные самовывоз в Москве и курьерская доставка по России. После прохождения пишите мне в личные сообщения.

Курс — https://course.aisafetyfundamentals.com/alignment

(На всякий случай: предложение в первую очередь для тех, кто может пройти курс в оригинале. к сожалению, если вы проходите курс с помощью переводчика многие детали могут быть утеряны; если вы поймёте все материалы курса, мы готовы будем отправить вам книги; если понятно, что вы действительно всё прошли, но понимаете какие-то моменты так себе, можно будет забрать экземпляр самовывозом; если какие-то из ключевых моментов не удалось понять, к сожалению, такого прохождения недостаточно)




Statement on AI risk, подписанный руководителями OpenAI, Google DeepMind, Anthropic, тремя обладателями Премии Тьюринга и др.:

Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.

https://www.safe.ai/statement-on-ai-risk


Ещё среди соавторов Yoshua Bengio — второй из трёх «крёстных отцов» искусственного интеллекта, топ-6 учёных мира по индексу Хирша за последние шесть лет. Он несколько дней назад опубликовал обзор риска — гораздо более аккуратный в формулировках, чем обычно используют в сообществе алайнмента, но интересно, как это начинают в меинстримном ML воспринимать
https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/




Nate Soares:

This is an occasional reminder that I think pushing the frontier of AI capabilities in the current paradigm is highly anti-social, and contributes significantly in expectation to the destruction of everything I know and love. To all doing that who read this: I request you stop.

(There's plenty of other similarly fun things you can do instead! Like trying to figure out how the heck modern AI systems work as well as they do, preferably with a cross-organization network of people who commit not to using their insights to push the capabilities frontier before they understand what the hell they're doing![1])

(I reiterate that this is not a request to stop indefinitely; I think building AGI eventually is imperative[2]; I just think literally every human will be killed at once if we build AGI before we understand what the hell we're doing.)


OpenAI: "Given the risks and difficulties, it’s worth considering why we are building this technology at all.
... we believe it would be unintuitively risky and difficult to stop the creation of superintelligence. Because the upsides are so tremendous, the cost to build it decreases each year, the number of actors building it is rapidly increasing, and it’s inherently part of the technological path we are on, stopping it would require something like a global surveillance regime, and even that isn’t guaranteed to work. So we have to get it right."

https://openai.com/blog/governance-of-superintelligence

Движение в неплохом направлении, но, по сути, "Это совершенно внешняя сила, с которой мы ничего не можем сделать и никак не можем остановить", — говорят чуваки, которые стоят прямо перед тобой и строят эту штуку собственными руками (Connor Leahy)


United Nations Office for Disaster Risk Reduction:
“An existential risk is 1.9 to 14.3% likely this century”
“[A] key problem is the potential value misalignment of [transformative AI systems]. […] This alignment problem is a key issue for societal stability.”

Достаточно поверхностное описание проблемы алайнмента, но есть ссылки на Ника Бострома, Тоби Орда, Стюарта Расселла, и даже почему-то на concrete problems in ai safety.

Рад видеть движение в этом направлении.

https://www.undrr.org/media/86500/download?startDownload=true

Показано 20 последних публикаций.