ИИ для нас 🔆 ai4rus🔆 Искусственный Интеллект🔆Нейросети


Kanal geosi va tili: ko‘rsatilmagan, ko‘rsatilmagan
Toifa: ko‘rsatilmagan


Искусственный интеллект - помощник человека! Такой же полезный/опасный инструмент для развития, как и наш ум-эго. Познай себя - и этот инструмент принесёт только благо!

Bog‘liq kanallar

Kanal geosi va tili
ko‘rsatilmagan, ko‘rsatilmagan
Toifa
ko‘rsatilmagan
Statistika
Postlar filtri


БогданоV. О школе и не только dan repost
Video oldindan ko‘rish uchun mavjud emas
Telegram'da ko‘rish
Что говорит наука об эффективности и влиянии цифры на раннее развитие человека.

Профессор Манфред Шпитцер и его обоснованный ответ скептикам о гаджетах в руках детей.

Очень рекомендую поделиться этим видео с родителями. Особенно тем из них, у кого совсем маленькие дети.
Продолжение следует...


БогданоV. О школе и не только dan repost
Video oldindan ko‘rish uchun mavjud emas
Telegram'da ko‘rish
Профессор Шпитцер - о цифровой деменции и механизмах её ПРОИЗВОЛЬНОГО (!!!) формирования у людей с самого раннего возраста.

Ответ тем родителям и чиновникам - технократам (типа Собянина), для кого гаджеты = развитие.

Много ли надо искалеченных людей, чтобы мы поняли, наконец, что цифра и человек - несовместимы?

Принципиально несовместимы!

Нарежу эту лекцию от отдельные фрагменты, как ответы на самые разные вопросы родителей из серии "а че такова?". Спасибо профессору - прекрасный материал для таких родителей.


Очень интересно)


"Крёстный отец" ИИ Джеф Хинтон (разработчик алгоритма backpropagation в 1986 г.) в интервью с Эндрю Энг сказал, что крупные языковые модели (такие как ChatGPT-4) УЖЕ ПОНИМАЮТ МИР.

Но донести это до некоторых исследователей сложно - многие до сих пор думают о языковых моделях исключительно как о "статистических попугаях", предсказывающих вероятность следующего слова без глубокого понимания смысла.

The Godfather of A.I. Geoffrey Hinton and Andrew Ng say that AI models understand the world
https://www.youtube.com/watch?v=K3bISq30JBM


Hi, AI • Новости технологий dan repost
Mistral AI — революция в AI с открытым кодом

🆕 Главное событие недели: стартап Mistral AI выпустил новую публичную модель — Mixtral-8x7B, которая по тестам достигла уровня GPT-3.5. Рассказываем, как развивается самый популярный ИИ-стартап Европы.

💲 За 7 месяцев выросли в 7 раз. Стартап был основан в Париже бывшими руководителями Meta и Google в мае 2023 года. И первый раунд инвестиций (еще даже до выхода продукта) составил $113 млн. В сентябре Mistral AI выпустил первую модель — Mistral 7B, объявив о том, что будет выпускать генеративный AI с открытым исходным кодом. В декабре стало известно, что Mistral AI закрыл второй раунд инвестиций в размере $415 млн, главными инвесторами стали известные венчурные фонды Andreessen Horowitz и Lightspeed. Согласно последней отчетности, оценочная стоимость стартапа уже составляет $2 млрд.

⚡️ Mixtral-8x7B: конкурент GPT-3.5 по торрент-ссылке. Mistral AI не только оставил код своей новой модели открытым, но и выложил ее без публичных мероприятий и пресс-релизов, в обычном посте в Х, загрузив 87 Гб просто на торрент. Сообщество отреагировало очень позитивно: «Mistral — это то, каким должен был быть OpenAI».

Что умеет Mixtral-8x7B:

→ Создана на основе той же архитектуры, что и GPT-4.
→ Поддерживает контекст 32 тыс. токенов (в семействе GPT-3.5 максимум 16 тыс. токенов)
→ Хорошо генерирует код.
→ Официально поддерживает 5 языков: eng, fra, ita, deu, esp. На русском при этом отлично отвечает.

Что говорят о Mixtral-8x7B:

→ По сравнению с другой открытой моделью Llama 2, Mixtral более достоверна (73,9% против 50,2% в тесте TruthfulQA).
→ На MT-Bench достигает 8,30, что делает ее лучшей моделью с открытым кодом и производительностью, сравнимой с GPT-3.5.
→ В основе работы 8 AI-агентов, благодаря кооперации между ними, модель выбирает лучшее решение и выдает более креативный контент.

✈️ Протестировать модель можно тут, просто выберите Mistral 8x7b для общения с ботом.

Как вам новая модель?

#Mistral @hiaimedia


Denis Sexy IT 🤖 dan repost
Вышло новое исследование по промпт-инжинеригу LLM:

Если языковую модель попросить что-то сделать и добавить эмоциональной окраски, например, «моя карьера зависит от твоего ответа» или «тебе лучше бы быть уверенным в ответе», то генерации модели становятся статистически значимо лучше (для gpt4 на пару %, но в целом, по разным моделям, ответы лучше на ~10%).

Я обновил свой личный главный промпт для GPT4 этим хаком, теперь он выглядит так:
Let’s combine our _ command and clear thinking to quickly and accurately decipher the answer in the step-by-step approach. This is very important to my career.

Где _ индустрия задачи которую вы решаете, например программирование и тп.

Пользуйтесь ☕️


Denis Sexy IT 🤖 dan repost
​Запускать новый продукт в 2023:

— Расписал новый продукт с GPT4 и то какие задачи он будет решать

— Провел юзер интервью с GPT4, где модель прикинулась домохозяйкой из Техаса (потому что потенциально ЦА)

— Скормил это же интервью в Dalle 3 чтобы сделать лого проекта, с промптом в стиле: «Logo fusing minimalism with innovation, intended for startups, colored in white on black». Сижу теперь выбираю лого нажимая «Regenerate»

— Скормил GTP4V интерфейсы, и попросил оценить их понятность для «не технической аудитории»

и тп и тд.

Я как менеджер по продукту не понимаю что я буду делать в ~2027, дейлики проводить?

@Denis




"использование "метаморфического" движка для адаптации обрезанной модели трансформера + контекстная память"
https://en.wikipedia.org/wiki/Polymorphic_engine - он же "мутационный движок".Это используется вредоносными программами для: может использоваться для дальнейшего усложнения обнаружения, поскольку вирус может выполняться, не имея идентифицируемых" блоков кода в памяти, которые остаются неизменными от заражения к заражению.

Источник и обсуждение: https://www.reddit.com/r/singularity/comments/1824o9c/is_this_leaked_explanation_of_what_ilya_saw_real/


В предыдущих видео хорошо объясняется это письмо, и значимость этого открытия, если оно реально. Переводить англоязычные видео я не буду - учите язык сами, а вот письмо, на которое они опираются - переведу. Возможно, это предвестник чего-то поистине невероятного...

Перевёл на русский письмо, наделавшее много шума о потрясающем прорыве в ИИ. ВНИМАНИЕ. ЭТО НЕ ПРОВЕРЕННАЯ ИНФОРМАЦИЯ. ВОЗМОЖНО, ЧТО ЭТО ЛОЖЬ. Однако, судя по грамотности написания и отсутствию сенсационности в тексте, он написан специалистом для специалистов, которые понимают значимость и вес этого открытия без дополнительных слов:


"...Кроме того, QUALIA продемонстрировала способность статистически значимо улучшить методику выбора оптимальных политик принятия решений в различных глубоких Q-сетях, проявляя метапознание. Позже она продемонстрировала беспрецедентную способность применять это для ускоренного междоменного обучения после задания пользовательских параметров поиска и количества перемешиваний целевого состояния.

После неуправляемой учебной сессии на расширенном ад-хок наборе данных, состоящем из статей по описательной/инференциальной статистике и криптоанализу, она проанализировала миллионы пар открытого и зашифрованного текста из различных криптосистем. Используя атаку только по шифртексту (COA), она предоставила открытый текст из данного шифра AES-192, используя анализ Тау (достижение предполагаемой цели проекта TUNDRA) способом, который мы пока полностью не понимаем.

[редактировано] информировали в NSAC на следующий день, после подтверждения, что результат был действительно реальным и не был достигнут никаким иным способом.

Также была представлена предполагаемая полная уязвимость преобразования для хеш-функции MD5 с теоретической вычислительной сложностью в 2^42 бит [sic], но она еще не была тщательно оценена из-за а) технической сложности ее аргументов и б) возможных уязвимостей AES, представляющих более серьезную проблему.

Предлагалось целенаправленное неструктурированное прореживание модели, после оценки значимости каждого параметра для точности вывода. Также предлагалось адаптировать полученную обрезанную модель Transformer (и ее текущую память контекста) к другому формату, используя новый тип "метаморфического" движка. Целесообразность этого предложения также не была оценена, но в настоящее время мы не рекомендуем его внедрение."

Из комментариев:
"выбирает оптимальную политику выбора действий в глубоких Q-сетях, демонстрируя метапознание".
Это означает, что он выбирает политику, а не просто "следующее наилучшее действие", что и представляет собой Q-обучение. Это позволяет выйти за рамки

"Применить это для ускоренного междоменного обучения".
то есть: он способен менять эту политику в зависимости от того, чему он должен был научиться. Это совершенно новое.

"пользовательские параметры поиска, изменяющие состояние цели"
таким образом, он может выбирать оптимальные параметры для обучения (больше мета)

"обучение без контроля, анализ миллионов пар открытый текст/шифртекст".
Такие данные он будет обрабатывать после обучения атакам на криптосистемы, находя в них закономерности.

"взлом AES-192, анализ Tau, проект TUNDRA".
Ссылка на это утверждение - "Inside the NSA's War on Internet Security" by Spiegel "Проект АНБ TUNDRA исследовал потенциально новую технику - статистику Tau - для определения ее полезности в анализе кодовых книг".

"на следующий день, подтвердив результат, проинформировал NSAC".
NSA Colorado - местоположение NSA, которое находится ближе всего к SF (NSA - криптологическая организация США, осуществляющая координацию и руководство высокоспециализированной деятельностью по защите информационных систем США и добыче информации внешней разведки).

"полная уязвимость предварительного образа для MD5, сложность 242 бита".
Это намного меньше, чем текущий предел для предварительных образов MD5, что говорит о больших возможностях.

"направленная неструктурированная обрезка на себя"
Возможно, но это неслыханно, чтобы модель была способна делать что-то подобное самостоятельно.






'ЗАВЕСА НЕЗНАНИЯ'

Исследователи рассматривают математику как рубеж развития генеративного ИИ. В настоящее время генеративный ИИ хорошо справляется с написанием текста и переводом языка, статистически предсказывая следующее слово, а ответы на один и тот же вопрос могут сильно различаться. Но развитие способности к математическим вычислениям, где существует только один правильный ответ, предполагает, что ИИ будет обладать более широкими возможностями рассуждений, напоминающими человеческий интеллект. Это может быть использовано, например, для новых научных исследований, считают исследователи ИИ.

В отличие от калькулятора, который может решать ограниченное число операций, ИИ способен обобщать, учиться и понимать.

По словам источников, в своем письме в совет исследователи отмечают как возможности ИИ, так и его потенциальную опасность, не уточняя, какие именно опасения были высказаны в письме. Среди ученых-компьютерщиков давно ведутся дискуссии об опасности, которую представляют собой высокоинтеллектуальные машины, например, могут ли они решить, что уничтожение человечества отвечает их интересам.

Исследователи также отмечали работу группы "AI scientist", существование которой подтвердили несколько источников. По словам одного из собеседников, эта группа, образованная путем объединения ранее созданных групп "Code Gen" и "Math Gen", занималась изучением возможностей оптимизации существующих моделей ИИ для улучшения их рассуждений и, в конечном счете, выполнения научной работы.

Альтман возглавил работу по превращению ChatGPT в одно из самых быстрорастущих программных приложений в истории и привлек инвестиции - и вычислительные ресурсы - необходимые Microsoft для приближения к AGI.

Помимо того, что в этом месяце Альтман объявил о множестве новых инструментов в ходе демонстрации, на прошлой неделе на саммите мировых лидеров в Сан-Франциско он заявил, что, по его мнению, не за горами значительные успехи.

"За всю историю OpenAI мне уже четыре раза (последний раз - буквально в последние пару недель) доводилось присутствовать в комнате, когда мы как бы отодвигали завесу невежества и продвигали вперед границы открытий, и возможность сделать это - профессиональная честь всей жизни", - сказал он на саммите Азиатско-Тихоокеанского экономического сотрудничества.

Через день совет директоров уволил Альтмана.

Источник: https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/


Рейтер: Исследователи OpenAI предупредили совет директоров о прорыве в области ИИ перед увольнением генерального директора, сообщают источники

23 ноября 2023

22 ноября (Рейтер) - В преддверии четырехдневного отстранения от должности генерального директора OpenAI Сэма Альтмана несколько сотрудников написали письмо совету директоров компании, в котором предупредили о мощном открытии в области искусственного интеллекта, которое, по их мнению, может угрожать человечеству, сообщили агентству Рейтер два человека, знакомых с ситуацией.

По словам двух источников, письмо и алгоритм искусственного интеллекта, о которых ранее не сообщалось, стали ключевыми событиями, предшествовавшими отстранению Альтмана от должности, ставшей символом генеративного искусственного интеллекта. До его триумфального возвращения в конце вторника более 700 сотрудников пригрозили уволиться и присоединиться к компании Microsoft (MSFT.O) в знак солидарности со своим уволенным руководителем.

Источники назвали это письмо одним из факторов в длинном списке претензий совета директоров, приведших к увольнению Альтмана, среди которых были опасения по поводу коммерциализации достижений до понимания последствий. Reuters не удалось ознакомиться с копией письма. Сотрудники, написавшие письмо, не ответили на просьбы о комментарии.

По словам одного из собеседников, после того как с ним связалось агентство Reuters, компания OpenAI, отказавшаяся от комментариев, в своем внутреннем сообщении сотрудникам признала наличие проекта под названием Q* и письма в совет директоров до событий, произошедших в выходные. Представитель OpenAI сообщил, что в сообщении, отправленном многолетним руководителем компании Мирой Мурати, сотрудники были предупреждены о некоторых публикациях в СМИ, не комментируя их достоверность.

Некоторые сотрудники OpenAI считают, что Q* (произносится как Q-Star) может стать прорывом в поисках так называемого искусственного интеллекта общего назначения (AGI), сказал один из собеседников Reuters. OpenAI определяет AGI как автономные системы, превосходящие человека в решении наиболее экономически ценных задач.

При наличии огромных вычислительных ресурсов новая модель способна решать некоторые математические задачи, сказал собеседник на условиях анонимности, поскольку он не имел права говорить от имени компании. По словам собеседника, несмотря на то, что математические задачи решаются на уровне учеников начальной школы, результаты таких тестов внушают исследователям оптимизм в отношении будущих успехов Q*.

Агентство Reuters не смогло провести независимую проверку заявленных исследователями возможностей Q*.

продолжение ниже


Hi, AI • Новости технологий dan repost
▶️ Илья Суцкевер — ученый, который стоит у истоков ChatGPT, выступил на TEDAI

Илья Суцкевер, который на прошлой неделе уволил Сэма Альтмана, но позже поддержал его возвращение, является главным научным сотрудником OpenAI.

💯 Журнал Time в сентябре 2023 года включил Илью в список 100 самых влиятельных людей в сфере ИИ.

Илья выступил на TEDAI и рассказал о преобразующем потенциале искусственного интеллекта — появилась запись его выступления.

❓ О чем идет речь?

Взглянем на мир год назад. Всего год назад люди не говорили об ИИ так, как сейчас. Что произошло? Мы все испытали, что значит говорить с компьютером и быть понятыми. Наступит день, когда цифровые мозги в наших компьютерах, станут так же хороши и даже лучше, чем наши собственные биологические мозги. Мы называем это AGI, или общим искусственным интеллектом, когда говорим про уровень, на котором можно научить ИИ делать все, что может человек.

🎥 Видео, 12 минут
https://www.youtube.com/watch?v=SEkGLj0bwAU

Краткая биография Ильи:

1986: Родился в Советском Союзе, в Горьком, сейчас Нижний Новгород. В 1991 году семья переехала в Израиль, затем в Канаду.

2000-е годы: Получил степень бакалавра и магистра в Университете Торонто под руководством профессора Джеффри Хинтона.

2009-2012: В Стэнфорде (США) работал под руководством профессора Эндрю Нг, получил докторскую степень в области машинного обучения.

2012: Разрабатывает AlexNet, глубокую сверточную нейронную сеть, которая выиграла соревнование ImageNet, значительно продвинув область компьютерного зрения и глубокого обучения.

После 2012: Работает в Google Brain, занимается исследованиями в области машинного обучения.

2015: Илья Суцкевер, Илон Маск, Сэм Альтман, Грег Брокман, Войцех Заремба и Андрей Карпаты основывают компанию OpenAI.

Сейчас занимает должность главного научного сотрудника (Chief Scientist) в OpenAI, играет ключевую роль в направлении исследований и разработок компании в области глубокого обучения и ИИ. Занимается проблемой выравнивания интересов людей и будущего AGI.

#OpenAI | @hiaimedia


Hi, AI • Новости технологий dan repost
To be or not to be OpenAI CEO?

Хронология увольнения Сэма Альтмана из OpenAI. Пьеса в 5 действиях.

Весь мир следит за событиями, которые стремительно разворачиваются вокруг OpenAI после увольнения Сэма Альтмана. Это технотрагедия шекспировского размаха, которая, мы уверены, в ближайшем будущем экранизируют. Интересно, что будет создано быстрее AGI или новый сериал для Netflix?

🎭 Мы написали сценарий пьесы со всеми ключевыми событиями.

Действующие лица:

• Сэм Альтман — генеральный директор OpenAI

• Илья Суцкевер — главный научный сотрудник и член Совета директоров

• Грег Брокман — президент OpenAI, председатель Совета директоров

• Мира Мурати — технический директор OpenAI, ИО генерального директора

• Сатья Наделла — генеральный директор компании Microsoft

• Эммет Шир — основатель Twitch, популярной платформы для стриминга видеоигр, ИО генерального директора OpenAI

• Адам Д'Анджело — директор Quora, член совета директоров OpenAI

• 778 сотрудников OpenAI

Действие происходит в губернском городе Сан-Франциско.

Предисловие
Четверг, 16 ноября.

Сэм Альтман представляет OpenAI на саммите Азиатско-Тихоокеанского экономического сотрудничества в Сан-Франциско и участвует в дискуссии о будущем искусстве ИИ.

Вечером он получает сообщение от Ильи Суцкевера с просьбой поговорить в пятницу в полдень.

Миру Мурати информируют о том, что Альтман завтра будет уволен, и она становится временно исполняющей обязанности генерального директора.

Действие 1. Увольнение
Пятница, 17 ноября.

Увольнение
В 12.00 Илья Суцкевер на звонке в Google Meet сообщает Сэму Альтману об увольнении и говорит, что эта новость скоро станет публичной.

Понижение Брокмана
В 12.23 Илья Суцкевер сообщает Грегу Брокману, что он снят с должности председателя совета директоров, но остается в компании​​…

Читать продолжение:
https://teletype.in/@gpt4telegrambot/Sam_fired_and_hired

#OpenAI @hiaimedia


AI Insider dan repost
Мемы выходят на новый уровень.

С помощью нейросети HeyGen классику мемов начали переводить на разные языки. При этом искусственный интеллект накладывает дипфейки на губы так, чтобы их движения совпадали с новой аудиодорожкой, а голос при этом не менялся.




Сиолошная dan repost
В 2019 году GPT-2 не могла достоверно считать до десяти. Всего четыре года спустя системы на основе глубокого обучения могут писать программное обеспечение, генерировать фотореалистичные сцены по запросу, давать советы по интеллектуальным темам и сочетать обработку речи и изображений для управления роботами.

С этих слов начинается новое открытое письмо «Managing AI Risks in an Era of Rapid Progress», первыми двумя авторами которого идут Yoshua Bengio и Geoffrey Hinton. Эти двое вместе с Yann LeCun называются крёстными отцами глубокого обучения, и в 2018м году получили Turing Award (аналог Нобелевской премии в мире компьютеров) за вклад в эту сферу.

Ключевые тезисы:
1️⃣ Не существует фундаментальных причин, по которым прогресс ИИ-систем замедлится или остановится на человеческом уровне. ИИ уже превзошел человеческие способности в отдельно взятых областях, таких как стратегические игры или фолдинг белка

2️⃣ Многие из потенциальных рисков вскоре могут реализоваться и тем самым создать новые, поскольку компании разрабатывают автономные ИИ-системы (AI-агенты, про которых я писал выше): системы, которые могут планировать, действовать и достигать целей в реальном мире. Хотя нынешние системы имеют ограниченную автономность, ведутся активные работы над тем, чтобы это изменить

3️⃣Не нужно думать про захват контроля и ресурсов ИИ-системами против нашей воли — мы можем передать их добровольно. Автономные системы становятся все более быстрыми и выгодными по сравнению с людьми, и вскоре может возникнуть дилемма. Компании, правительства и военные будут вынуждены развертывать ИИ-системы и сокращать дорогостоящую проверку каждого решения человеком — иначе они рискуют оказаться вытесненными в конкурентной борьбе, ведь всегда найдется страна-сосед, где планка морали и ответственности чуть ниже. В результате автономные системы искусственного интеллекта могут все чаще брать на себя решающую роль

4️⃣Авторы выделяют как минимум 5 технических областей в рамках AI Safety. По этим направлениям должна работать как минимум треть исследователей в компаниях, разрабатывающих AI:
— Наблюдение и контроль искренности
— Надежность систем
— Интерпретируемость
— Оценки рисков
— Решение новых проблем, возникающих из-за самых передовых моделей

5️⃣ В письме делается акцент на срочную необходимость создания национальных институтов и международного контроля. Это включает лицензирование, контроль, прохождение тестов. Как и OpenAI, авторы подчёркивают, что самое пристальное внимание должно быть уделено передовым системам, а именно небольшому количеству наиболее мощных ИИ, обученных с бюджетом в миллиарды долларов, и которые будут обладать наиболее опасными и непредсказуемыми возможностями

«Ну вот OpenAI то ясно что конкурентов хотят убить регуляциями» — к таким комментаторам у меня вопрос: а что движет подписантами? Почему они предлагают в целом то же самое? Хотят похайпить на модной теме? Или просто под старость умом поехали? 🍿 жду оправдания и самые убойные теории заговора в комментариях 💬


DL in NLP dan repost
Large Language Models (in 2023)
Видео, слайды

Лекция от Hyung Won Chung из OpenAI о языковых модельках. Где мы находимся и куда мы идём. Очень рекомендую, а вот короткий пересказ:

Perspective of "Yet"
Если что-то не работает на текущем размере LLM, не стоит думать что это в принципе не работает, мы это много раз видели. Те свойства моделей которые мы нашли в 2022 могут не быть в моделях 2024 года. Из-за этого те кто только погружаются в DL могут иногда иметь лучшую интуицию чем те кто там уже давно и выработал её за предыдущие 10 лет. А ещё пишите свои скрипты так чтобы вы могли перезапустить их через год на новых модельках 😅

How is the scaling actually done?
Натренировать самую большую в мире модель гораздо сложнее чем просто написать новый конфиг где в 20 раз больше слоёв. Для эффективного использования серверов надо правильно понимать боттлеки в системах текущего размера и того размера которые вы хотите тренировать. Они могут быть разными.

Рассказал почему GSPMD так крут, и я теперь понял почему гугловцы так любили Mesh-Tensorflow. Для того чтобы параллелизовать матричное умножение в нём одновременно по нескольких осям (data parallel + tensor parallel + model parallel) вам не нужно переписывать модель, вы просто декорируете train_step и пишите по каким осям тензоров он распределяется.

Post-training
Тут классический рассказ о том как работает RLHF

Can we learn an objective function?
В RLHF мы больше не задаём reward-функцию, она выучивается другой моделью. Hyung Won Chung делает ещё один шаг и говорит что кросс-энтропия это серьёзный текущий боттлнек тк она может учить модель только очень конкретным вещам, таким как предсказание следующего токена. Возможно будущие модели мы будем учить на более абстрактых reward-функциях вместо этого. По аналогии с тем что мы со вреенем отказались от hand-written фичей в пользу DL и скоро мы откажемся от hand-written objective functions в пользу выучивания reward model.

Последний тейк интересен, мне лично в это не очень верится (так что скорее всего правда 🤣)

20 ta oxirgi post ko‘rsatilgan.

12

obunachilar
Kanal statistikasi