Карим Кусербаев

В мире AI-продуктов бенчмарк — это не подготовка к продуктовой работе, это и есть продуктовая работа. Короткой дороги нет.

Ко мне регулярно приходят продакты, которые хотят построить своих ассистентов. И все хотят быстро. Демка правда собирается быстро. И на глаз даже кажется, что отвечает неплохо. Но первый же замер качества на нормальном датасете даёт ~50%

Почему никто не хочет строить бенчмарк и эвал, даже если знает о существовании этих слов? Потому что это нудно. Собрать запросы, убедиться, что они похожи на то, что люди реально будут спрашивать (иначе вся работа в стол). Понять, что такое хороший ответ, научиться согласованно размечать ответы на хорошие и нехорошие…

А что такое хороший ответ? Если девушка попросила красную помаду, и ассистент подобрал красную помаду, — это хорошо? Да вообще не факт. Может, она хотела весь вечер целоваться, не оставляя нигде следов. Откуда ж мы знаем.

Узнать можно только одним способом — спросить. Так мы и строили ассистента для подбора товаров: обзвонили людей, которые недавно что-то покупали, опросили их по методологии, близкой к JTBD: что искал, в каком контексте, какого результата ждал… Ценность не в том, чтобы найти товар по запросу, а в том, чтобы решить задачу, которая за этим запросом стоит.

Тогда работа ассистента распалась на две части: правильно собрать контекст с человека и правильно подобрать товар под этот контекст. Но что значит «правильно подобрать»? С помадой разобрались — не должна оставлять следов. А если «ноутбук для брата, чтобы играть в майнкрафт и делать проекты в скретче»? Я в ноутбуках не разбираюсь вообще. Для некоторых категорий нам пришлось привлекать экспертов, которые объясняли, как переводить человеческий запрос на язык фильтров и критериев подходящести. Так мы руками проделали работу ассистента на большом датасете. И именно поэтому поняли, как её автоматизировать и как проверять.

Сбор бенчмарка оказался половиной всей работы над продуктом, если не больше. Всё остальное (прототипы, выбивание целевого качества, переезд на маленькие модельки…) стояло на этом фундаменте.

Так что пропустить сбор бенчмарка — это как сказать "Я знаю короткую дорогу". А потом сделать крюк и пойти по навигатору ))

Через 2 недели на TurboML Conf наш ML-инженер Саша Замиралов расскажет как мы научили ассистента подбирать товары. Как строили бенчмарк, итерировались, как переезжали на маленькие модельки, улучшая скорость и не теряя в качестве. Будет довольно технический доклад — приходите, если не боитесь!

Рега закроется завтра: https://l.tbank.ru/turbo-ap

Посмотрел фильм "Plata за риск"

Первые минуты можно увидеть как Тиньков грубо общается с сотрудниками. После показывают как кабаначи собрались и смело уехали из России в Испанию, чтобы стартануть Плату. После кабанычи показывают какой крутой продукт у них и как толпы кандидатов готовы работать на них работать за любые деньги, ведь это ПЛАТА РЕВОЛЮЦИОННЫЙ СТАРТАП. Показывают как круто жить в Мексике и показывают любовные истории. После Тиньков встречается с ребятами на улице и спрашивает их где лучше? Ребята говорят естественно в России, там семья, там наша жизнь, а тут они работают на Плату, потому что это просто неплохая возможность, но после этой работы понятное дело они хотят вернуться! Потом упоминается что на плату могут работать можно откуда угодно, кроме РФ. Очень жаль что такой революционный стартап не смог справится с такой мелочью, как разрешить работать оттуда где людям удобно находиться.

Потом показывали какой у них крутой офис на КИПРЕ, как круто там живется и что туда хотят попасть многие разработчики. Показывают разработчиков, которые стремятся развиваться и строить что-то новое. Упоминают что PLata это не про Relax, это про гонку и увеличение доходов менеджмента, а не про увеличение собственного дохода. Показывают что в Plata вы должны ебашить пока не умрете, иначе зачем?
Такое же я слышал от бывших сотрудников тинькофф (включая руководящие позиции), которые выгорели от такого отношения к ним.

После показывают тусовки, показывая что Плата это веселое место, где все веселятся.
Но все офферы, которые получали мои подписчики были не выше 5000-6000 евро тотал gross. Разве это стоит того?
Более подробной информации конечно не могу предоставить потому что в моем опросе по зарплате только 2 анкеты по зарплате в Plata. Опрос

Учитывая что мероприятие было вокруг инструментов восстановления (собственно, поэтому там и обсуждались наши майндтрекеры), то я вспомнил сообщение, которое давным-давно написал мне один близкий приятель на эту тему.

Это концепция, которую я принял за базу и вам рекомендую:

«Саш, как мне кажется, у организма есть два вида ресурсов - возобновляемые и невозобновляемые

первое - запас энергии и силы воли, который заряжается от сна, еды и некоторых других вещей, и заканчивается к вечеру

второе - способность организма получать урон и, до определенного времени, не замечать его. Компенсировать и медленно восстанавливаться.
(старость, к слову, это болезнь, вызванная накоплением повреждений, которые организм не умеет восстанавливать самостоятельно)

если забирать у себя базу ежедневного восстановления, то начинаешь брать у себя в кредит по невыгодному курсу

считай, у тебя есть маленькая карманная ГЭС, и есть генератор на вонючем бензине в непрозрачном баке, по которому не видно, сколько ещё там осталось

я стараюсь без крайней необходимости не запускать генератор)»

Elon Mask только что создал 4400 миллионеров за один день.

400 из них теперь стоят более 100 миллионов долларов.
Это не венчурные капиталисты. Это сотрудники SpaceX, и в списке — сварщики, техники и работники столовой, потому что в течение двух десятилетий компания платила сотрудникам всех уровней акциями вместо более высоких зарплат.

Хуан Эрнандес иммигрировал из Мексики и в 2015 году устроился подрядчиком-сварщиком за 28 долларов в час. Он говорит, что даже не знал, что такое SpaceX. Компания дала ему грант на акции на 10 000 долларов и позволила покупать ещё через вычеты из зарплаты. Теперь эта доля стоит 880 000 долларов.

Родители Тревора Хайза хотели, чтобы он устроился на стабильную работу в General Electric. Вместо этого он выбрал SpaceX, проработал там 12 лет и накопил более 100 000 акций. По цене размещения в 135 долларов это 13,5 миллиона долларов. Ему 37 лет, и он полупенсионер. Его слова: «Масштаб этого просто нелепый».

Самая показательная деталь появилась ещё до размещения. Более 100 сотрудников тихо объединились и договорились о групповом соглашении по управлению активами на сумму до 5 миллиардов долларов, потому что ни у кого из них раньше никогда не было нужды в управляющем богатством.

PS теперь фраза что ты сварщиком работаешь для души, приобретает смысл)