Мишанина

arXiv paper classifier или как я вижу домашки по ML в 2026
На второй части курса по машинному обучению в ШАДе продолжают давать интересные домашки. В этот раз нужно было построить небольшой сервис на основе машинного обучения. Сделал классификатор для статей на основе BERT: на вход abstract, title или просто любой кусок статьи, на выходе категории arXiv, к которым относится статья. Потом всё это раскатил через ONNX и Gradio на Hugging Face Spaces.

Можно потыкать тут https://huggingface.co/spaces/mgoloshchapov/PaperClassified. Возможно, без VPN не будет работать из РФ(но вы же как-то прочитали этот пост, верно?).

Что понял

Я как-то думал про то как я вижу домашки по машинному обучению и всяким computer science курсам, и понял, что мне бы хотелось чаще видеть задания в духе "постройте такой-то сервис, придерживайтесь вот этих истин, вам могут быть полезны вот эти технологии" или "есть такая гипотеза, сделайте резёрч в эту сторону". Мне кажется, что это гораздо лучше, чем давать в качестве дз обучать модельки в вакууме или писать отдельные небольшие self-contained программы. Основная причина почему это больше не прикольно - есть Codex и Claude, которые сделают это гораздо быстрее, и делать такие домашки становится просто скучно.

Получается, что для того чтобы такая домашка имела смысл, нужно банить использование AI-инструментов при её выполнении, а мне не нравится когда меня ограничивают в инструментах. Гораздо прикольнее выглядит постановка, в которой у меня есть какая-то составная задача или идея для проекта, я могу использовать любые инструменты, и есть soft guidance со стороны в виде подсказок полезных инструментов, перспективных идей. Такие дз учат работать вне вакуума, в качестве результата вы получаете не my_cool_algorithm.cpp, а работающий сервис или мини-исследование, это круто!

Что ещё понял

• Чтобы раскатывать модели в сервисы без необходимости подтягивать зависимости в виде PyTorch, TensorFlow можно экспортировать модель в ONNX. На входе модель и пример входа, а дальше ONNX строит статический граф вычислений и сохраняет его

• На Hugging Face Spaces удобно размещать свои проекты, там есть бесплатные вычислительные ресурсы, а для UI есть Gradio

• Через Optuna удобно оптимизировать гиперпараметры, а через Hydra менеджить yaml-конфиги

• При проектировании UI Codex-у очень помог skill Playwright, он даёт агенту доступ к снепшотам сайта, над которым вы работаете. Так он может не просто редактировать код, а ещё получать какой-то визуальный фидбек, тыкать кнопки на сайте

Jane Street, Гонконг, Отказ

Пару недель назад слетал в Гонконг на финальные интервью в Jane Street на позицию Quantitative Trader Intern, London. Jane Street это что-то вроде Google в трейдинге: очень крутая компания с офисами по миру, интересными и нетривиальными собеседованиями.

Долго не писал про это - после отказа было довольно больно.

Если честно, всё складывалось слишком хорошо, почти как в фильме, где ждёшь счастливый конец. Сначала отлично прошёл два онлайн-раунда - словил общий вайб с интервьюерами, очень приятные и умные ребята.

Потом вместо Лондона предложили лететь на финалы в Гонконг(из-за визы). Я обрадовался: в Лондоне я уже был(и обязательно ещё вернусь), а вот в Азии - нет, если не считать Казахстан.

Дальше ещё один неожиданный поворот - авиакомпания пересадила меня в бизнесс-класс. Отдельная кабинка, еда как в дорогом ресторане, кресло в полностью горизонтальном положении, весь полёт тебя развлекают соками и игристым - всё как в кино.

В Гонконге вечером случайно познакомился с ребятами из mainland China - болтали через Google translate. Очень теплый и немного странный опыт.

А вот сами интервью прошли не очень. Был не в лучшей форме после 12-часового перелёта: мысли путались, концентрации не было, и было ощущение, что это вообще не я. Даже немного неловко - компания оплачивает перелёт, классный отель, а ты сидишь и выдаёшь что-то среднее. В итоге отказ.

Если смотреть на это трезво, это всё-равно классный результат: я прошёл скрининг по резюме, два онлайн раунда, дошёл до финала и решил большую часть задач. Интервью это всегда смесь уровня подготовки и случайности(привет bias-variance), и в этот раз не хватило совсем чуть-чуть, значит надо пробовать ещё.

Чуть позже напишу отдельно про Гонконг - это удивительное место

#story #career

Подключил через mcp доступ к статьям с arxiv. Теперь у агента есть инструменты, чтобы получать summary подходов из статей, ссылки на них и сами тексты.

Сидит статейки читает, что-то более умное предлагать начал, какую-то хитрую нормализацию, например, предложил. Кол-во успешных экспериментов выросло с 18% до 26%, улучшения в качестве относительно начальной модели(уже в целом неплохо соптимизированной) выросло с 1.1% до 1.2%.

Понимаю, что, возможно, это просто шум от запуска к запуску, но идей у агента как будто действительно стало больше. Такой молодец вообще, горжусь🤗

Если вам вдруг захочется повторить результаты karpathy/autoresearch, то вам наверняка пригодится такая штука как hooks. С помощью хуков можно, например, вызывать нужные вам функции когда Codex/Claude вызывает инструменты, заканчивает сессию и т.д. Это очень удобно, я пока настроил себе hook, который автоматически продолжат эксперименты autoresearch когда Codex останавливается. Если просто прописать Codex в AGENTS.md инструкцию никогда не останавливаться, это не будет работать.

Пока эксперименты говорят что, возможно, было бы полезнее запустить обычную оптимизацию гиперпараметров, чем автономные идеи для резерча через Codex. Возможно, агенту могли бы помочь какие-то дополнительные метрики, источники идей. Добавил агенту mcp сервер alphaxiv, расскажу про результаты попозже.

Что такое autoresearch?
Это проект Andrej Karpathy, в котором берётся упрощенная реализация nanochat(ещё один проект Karpathy - маленькая LLM-ка, на которой удобно ставить эксперименты, тренировать её на одной GPU) и запускается агент, который пытается улучшить целевую метрику. У агента есть файлы prepare.py, train.py, program.md и pyproject.toml. Файлы program.md, prepare.py, pyproject.toml агент не может менять, в них задаются инструкции того что нужно делать, код для оценки натренированной модели, набор зависимостей окружения. Файл train.py агент может менять, ставить автономные эксперименты(например, менять гиперпараметры модели). Эксперименты потом сохраняются в файлик с небольшим комментарием того что агент поменял. В итоге у агента есть среда с ограничениями и понятная метрика для оптимизации, за счёт этого можно запустить агента на ночь, проснуться утром и увидеть что он что-то наоптимизировал. У меня это пока вызывает совершенно детский восторг(сегодня утром как раз проснулся с кучей готовых экспериментов).

Очень соскучился по блинам, захотелось устроить себе масленицу. Здорово что этот праздник можно отмечать когда угодно. В первый раз в жизни приготовил себе блины, сижу очень довольный теперь👀

TUM, Мюнхен и ещё кое-что…

Недавно созванивались с Матвеем - автором @iamenjoyer, после чего решил написать очень подробный пост про поступление и учебу в TUM, получение немецкой национальной визы, переезд и жизнь в Мюнхене🇩🇪 Также хочется упомянуть канал моего друга Кирилла(@qdiag), он тоже учился в магистратуре TUM, помогал мне в процессе поступления и переезда. Надеюсь, что пост будет полезен, буду рад комментариям и вопросам)

Пост: https://telegra.ph/TUM-Myunhen-i-eshchyo-koe-chto-02-10

На фото кстати церковь St.Ludwig, здание библиотеки LMU(слева) и кусочек одной из моих любимых кафешек(справа). Тут я обычно занимаюсь по выходным

@mishaninaaaa

Экскурсия в Google

Сходил сегодня на экскурсию в офис Google в Мюнхене, тут классно. Познакомился с несколькими инженерами через LinkedIn, предложили сходить на обед. Очень нравится таким образом узнавать новых людей через общий бекграунд, знакомства

Details:
🧬прикрепил розовый блок LEGO на стенку, теперь я official Google contributor
🌊в офисе много переговорок, каждая украшена как-то по своему, где-то стоят модельки из LEGO, где-то носки, где-то доски для серфинга
🎵тут есть комната для сна, комната с различными музыкальными инструментами, корт для баскетбола
⚛️мой host с которым ходил обедать тоже раньше занимался холодными атомами и квантовыми компьютерами)
🏔теперь я знаю ещё одного человека, с кем можно ходить на болдеринг)

Google выпустили статью про агентскую систему PaperBanana🍌для генерации научных иллюстраций. Кода пока нет, обещают выложить через пару недель. В качестве бенчмарка собрали картинки из статей NeurIPS 2025, обещают publication-ready illustrations. Картинка из статьи тоже banana-generated

В appendix G есть системные промпты для агентов. Всего их 5 штук - Retriever, Planner, Stylist, Visualizer, and Critic.

Agents description

Retriever получает на вход контекст S(например, часть статьи) и запрос на иллюстрацию C, подтягивает релевантные по области и типу иллюстрации примеры E = VLM(S, C) из базы R. 

Planner получает на вход то же самое + примеры иллюстраций от Retriever, а выдаёт детальное текстовое описание изображения(детализированный промпт) P = VLM(S, C, E).

Stylist добавляет к промпту P какие цвета, шрифты, формы нужно использовать в иллюстрации на основе примеров из базы R, получается guideline G и новый промпт P* = VLM(P, G)

Visualizer получает оптимизированный промпт Pₜ = P* и генерирует изображение Iₜ = ImageGen(Pₜ)

Critic получает промпт Pₜ, сгенерированное изображение Iₜ, контекст S и изначальный запрос C, чтобы сгенерировать новый оптимизированный промпт Pₜ₊₁ = VLM(Pₜ, Iₜ, S, C). Дальше этот промпт снова отправляется Visualizer, так повторяется 3 раза