Я делаю стартап, цель которого – создать AI-powered crypto assistant.
Технология: LLM agent + MCP/tools.
Примеры задач, которые ассистент будет выполнять, разгружая время и внимание пользователя:
"купи токен $HYPE на $5 млн, покупая равномерно в течение месяца"
"успей зайти в ферму Plasma, как только там откроются депозиты"
"прочитай код нового протокола и оцени риски"
"встань в дельта-нейтральную позицию и собирай funding fee"
И конечно любые более простые и скучные задачи, типа "перекинь мои USDC на Солану, и не забудь чтобы было чем платить за газ".
Существующих на текущий момент технологий недостаточно ни на стороне foundation LLMs (они недостаточно надежные), ни на стороне MCP/tools (они недостаточно экспрессивные).
Поэтому в качестве первой стадии я делаю крипто бенчмарк: набор задач с верификаторами исполнения.
Я ориентируюсь на бенчмарк SWE-Bench, который был отличным индикатором прогресса в LLM кодинге: когда он вышел два года назад, лучшая LLM справлялась с 2% задач, а сейчас все топовые модели делают больше 70%.
Моя цель – сделать аналогичный бенчмарк для оценки качества работы LLM агентов на блокчейне.
И дальше заинтересовать топ AI лабы добавить этот бенчмарк в свои пайплайны тестирования моделей.
Ощущается весьма сложно, но, как я недавно узнал, лабы в эту сторону сейчас активно смотрят.
Я сейчас в фазе активного сбора информации и общаюсь с VC, рисерчерами и фаундерами вблизи этой области, так что если идея заинтересовала – пишите, я буду рад обратной связи.
Особенно интересно мне пообщаться с рисерчерам AI лаб (OpenAI, Anthropic, ...), которые занимаются агентными средами и тренировкой tool use.
Технология: LLM agent + MCP/tools.
Примеры задач, которые ассистент будет выполнять, разгружая время и внимание пользователя:
"купи токен $HYPE на $5 млн, покупая равномерно в течение месяца"
"успей зайти в ферму Plasma, как только там откроются депозиты"
"прочитай код нового протокола и оцени риски"
"встань в дельта-нейтральную позицию и собирай funding fee"
И конечно любые более простые и скучные задачи, типа "перекинь мои USDC на Солану, и не забудь чтобы было чем платить за газ".
Существующих на текущий момент технологий недостаточно ни на стороне foundation LLMs (они недостаточно надежные), ни на стороне MCP/tools (они недостаточно экспрессивные).
Поэтому в качестве первой стадии я делаю крипто бенчмарк: набор задач с верификаторами исполнения.
Я ориентируюсь на бенчмарк SWE-Bench, который был отличным индикатором прогресса в LLM кодинге: когда он вышел два года назад, лучшая LLM справлялась с 2% задач, а сейчас все топовые модели делают больше 70%.
Моя цель – сделать аналогичный бенчмарк для оценки качества работы LLM агентов на блокчейне.
И дальше заинтересовать топ AI лабы добавить этот бенчмарк в свои пайплайны тестирования моделей.
Ощущается весьма сложно, но, как я недавно узнал, лабы в эту сторону сейчас активно смотрят.
Я сейчас в фазе активного сбора информации и общаюсь с VC, рисерчерами и фаундерами вблизи этой области, так что если идея заинтересовала – пишите, я буду рад обратной связи.
Особенно интересно мне пообщаться с рисерчерам AI лаб (OpenAI, Anthropic, ...), которые занимаются агентными средами и тренировкой tool use.