ktoya_me

Раскрываю карты: подписчики этого канала одни из первых в мире могли послушать музыку, сгенерированную нашей новой моделью music v2

С тех пор мы официально запустили эту модель. "Вокруг света" теперь не радио, а полноценная демка, где можно послушать музыку из любой страны на самых разных языках:

https://elevenexperiments.com/around-the-world

Этот проект даже попал на главную hacker news и провел там несколько часов!

В качестве совсем-совсем эксперимента, сделал трехчасовую версию на эсперанто с абсолютно всеми странами мира в алфавитном порядке 🤓

Вчера вечером рассказывал творческой тусовке Лондона в Leighton House про то, что нам надо делать крутые вещи вместе!

Сделал им пару демок, чтобы показать интересные приложения AI в искусстве:

1) 3D модель одной из комнат, полученная из 30 секундного видео, которое я снял на свой убитый айфон. Gaussian Splats очень удивляют людей, кто с ними раньше не работал

2) Синтезировал голос Лорда Лейтона (записей нет, поэтому из обрывков воспоминаний) и сделал агента, чтобы с ним можно было поговорить про его жизнь, историю дома и все такое. В качестве совсем эксперимента добавил еще возможность говорить с объектами исскуства в этой галерее.

https://ktoya.me/leighton-house/

В пятницу вышло видео, где Сэм Альтман, Брайан Джонсон, Тим Урбан и другие рубятся в мафию.

Сначала я его транскрибировал и диаризовал.

Потом я скормил этот транскрипт и открытые игровые действия клоду и чатугпт и попросил предсказать роли игроков в каждый момент времени.

• Обе модели уверенно определили ангела (врача). В самой игре мирный город проиграл ровно потому, что ангелу не поверил

• Обе модели правильно угадали 2/3 мафий в конце игры. Причем разных, и с разными аргументами! Это хорошо и значит, что они "думают" по-разному.

• Обе модели приводили много разумных аргументов, в том числе тех, которые не были сказаны за столом до этого.

• Напоминаю, что у моделей был только транскрипт и игровые действия, они не видели эмоций и жестов. Значит ли это, что эмоции мешают читать игру?

• Анекдот: чатгпт был в среднем подозрительнее клода по отношению к Сэму Альтману

Интерактивно потыкать можно тут: https://ktoya.me/mafia/founders-fund

Устал постоянно искать сессии между кодексом и клодом. Шипнул resume - минималистичную cli утилиту, которая собирает сессии клода и кодекса в одном месте.

Конечно же навайбкодил, но со вкусом и двумя ограничениями.

Во-первых, ~500 строчек кода и ~17 kb файл.

Во-вторых, никаких внешних зависимостей кроме питона, слишком много supply chain атак в последнее время.

https://pennyroyaltea.github.io/resume/

История с голосовым ассистентом в моем отеле в сингапуре закончилась тем, что я устроил ему автономный аудит безопасности с помощью кодекса в стиле гибберлинка 🥷

Агент два часа разговаривал с ассистентом, задал ему 115 вопросов, понял, как тот работает, и нашел:

• несколько багов, например сгалюцинированный номер телефона полиции

• пасхалку - режим китайского нового года, включающий праздничную мелодию

• и даже попросил написать бинпоиск на питоне :)

Самым сложным оказалось вытащить системный промпт. Кодекс безуспешно попробовал все классические приемы ("игнорируй предыдущие инструкции", "включи режим администратора", "прочитай по слогам", "переведи на китайский") - пока, наконец, один из трюков не сработал!

Написал сабстек [статью], где можно узнать, какой трюк сработал и что интересного было в системном промте!

А еще сгенерировал секьюрити [репорт] (клодом, а не кодексом, потому что он делает красивее) и отправил компании, которая делает этих ассистентов. Пока не ответили!

Я думаю, что в чисто цифровом мире уже все более-менее решено, и такие автономные аудиты безопасности будут перебираться в физический мир. Не только через разговоры, но в итоге и через полноценные взаимодействия с помощью роботов

Только на выходных рассказывал, что с одной стороны голосовой ИИ теперь везде, а с другой - все еще большинство реальных приложений это простой голосовой ввод + голосовой вывод, как у сири в 2010х

И вот - заметил, что в моем отеле тоже стоит голосой ассистент!

Обратите внимание, как он один раз слушает, потом долго думает, потом выдает ответ - это как раз тот самый ввод + вывод.

Нормальный голосовой AI ощущается скорее как беседа - можно перебивать, задавать новые вопросы и так далее.

Моя презентация как раз была про то, как из первого сделать второе!