👀 Почему AI заменит разработчиков (и это ближе, чем вы думаете)
Заметил, что разработчиков больше, чем других триггерит от развития AI (в данном случае языковых моделей). И это нормальная реакция: не так легко принять, что привычный уклад жизни меняется — появляется отрицание и гнев. Ровно поэтому я не упустил возможности написать кликбейтный заголовок. И раз это уже привлекло ваше внимание — давайте разбираться в деталях.
Для начала: не поймите меня неправильно, я не утверждаю что это произойдет в один момент. Я исхожу из текущих трендов. Они ведут, к тому что неминуемо начнется процесс замены разработчиков при помощи языковых моделей. Процесс начнется с простых задач и неизвестно как далеко он зайдет.
🤩 Что уже сейчас может GPT-4:
1. Отлично писать код на уровне функции, реже на уровне файла и микро-проекта.
2. Проектировать архитектуру из бизнес-описания.
3. Писать тесты из кода и бизнес описания.
4. Составить для себя список задач, которые потом может выполнить.
😒 Что мешает делать больше:
1. Маленький контекст: можно ввести только 4k токенов (коротких английских слов). Все остальное приходится либо обрезать, либо саммаризировать. Если даже в ChatGPT скормить исходный код двумя сообщениями, то ему придется его сжать → большая вероятность потерять важный контекст.
2. Устаревшая документация: датасет из 2021, многие библиотеки уже прошли несколько мажорных релизов и обновились без поддержки старых версий, код просто не заведется (привет react-router).
3. Ручная работа: все равно приходится много работать руками и головой. Точно ли модель тут все правильно поняла? Не потерял ли важный контекст из примера кода, который я добавил?
Результат: сложно положиться на аутпут модели. Есть шанс свалиться в “да проще руками сделать, чем столько танцев с бубном делать вокруг”.
🚀 Какие тренды я вижу:
Теперь поговорим о самом интересном, из чего я делаю вывод, что отказ от разработчиков скоро все-таки начнется.
1. Увеличение контекста модели: вместе с GPT-4 представили версию на 32k токенов — в 8 раз больше. Уже больше похоже на то, что влезет документация или код среднего проекта. Доступа пока что нет почти ни у кого.
2. Техники оптимизации контекста: мощно растет рынок векторных БД (Pinecone, Chroma) и языковых фреймворков (Langchain). Это решает задачу «как мне передать в контекст только информацию, которая будет сейчас полезна, а не всю разом, чтобы она точно уместилась». Работает отлично, текущие решения занимают ~50 строк.
3. Мультимодальный ввод: еще одна вещь которую показали вместе с GPT-4. Заливаем изображение, и общаемся о нем с моделью. На демо был клевый пример, где сайт верстался из прототипа от руки. Здесь снова пока ни у кого нет доступа, но есть уже открытая модель Mini-GPT от комьюнити, в другом посте рассказал уже про нее.
🤖 Самый важный и объединяющий тренд:
AI-агенты: позволяют связывать между собой запросы в языковую модель: cписок задач → архитектура → реализация.
1. Агенты из коробки работают с веткорными хранилищами и умеют оптимизировать контекст даже на 4к моделях. Это позволяет работать с кодом на уровне проекта, с длинной документацией, при этом не терять важную информацию.
2. Агенты дают возможность работать с файловой системой, не только писать код и тесты, но и запускать → решать что делать дальше после анализа результатов выполнения.
3. У агентов есть доступ к интернету, откуда они могут брать свежую документацию.
Таким образом на апрель 2023 мы находимся в точке: агенту можно поставить четкое ТЗ → он его декомпозирует на задачи → найдет актуальную документацию → напишет код и тесты → запустит их → будет это итеративно делать, пока код не заведется, как описано в тз. А теперь вспомните про мульти-модальность. Пока не видел готовых демо, но ничто не помешает передать агенты и макет.
Ну что, какие мысли? Продолжать тему?
@prod1337
Заметил, что разработчиков больше, чем других триггерит от развития AI (в данном случае языковых моделей). И это нормальная реакция: не так легко принять, что привычный уклад жизни меняется — появляется отрицание и гнев. Ровно поэтому я не упустил возможности написать кликбейтный заголовок. И раз это уже привлекло ваше внимание — давайте разбираться в деталях.
Для начала: не поймите меня неправильно, я не утверждаю что это произойдет в один момент. Я исхожу из текущих трендов. Они ведут, к тому что неминуемо начнется процесс замены разработчиков при помощи языковых моделей. Процесс начнется с простых задач и неизвестно как далеко он зайдет.
🤩 Что уже сейчас может GPT-4:
1. Отлично писать код на уровне функции, реже на уровне файла и микро-проекта.
2. Проектировать архитектуру из бизнес-описания.
3. Писать тесты из кода и бизнес описания.
4. Составить для себя список задач, которые потом может выполнить.
😒 Что мешает делать больше:
1. Маленький контекст: можно ввести только 4k токенов (коротких английских слов). Все остальное приходится либо обрезать, либо саммаризировать. Если даже в ChatGPT скормить исходный код двумя сообщениями, то ему придется его сжать → большая вероятность потерять важный контекст.
2. Устаревшая документация: датасет из 2021, многие библиотеки уже прошли несколько мажорных релизов и обновились без поддержки старых версий, код просто не заведется (привет react-router).
3. Ручная работа: все равно приходится много работать руками и головой. Точно ли модель тут все правильно поняла? Не потерял ли важный контекст из примера кода, который я добавил?
Результат: сложно положиться на аутпут модели. Есть шанс свалиться в “да проще руками сделать, чем столько танцев с бубном делать вокруг”.
🚀 Какие тренды я вижу:
Теперь поговорим о самом интересном, из чего я делаю вывод, что отказ от разработчиков скоро все-таки начнется.
1. Увеличение контекста модели: вместе с GPT-4 представили версию на 32k токенов — в 8 раз больше. Уже больше похоже на то, что влезет документация или код среднего проекта. Доступа пока что нет почти ни у кого.
2. Техники оптимизации контекста: мощно растет рынок векторных БД (Pinecone, Chroma) и языковых фреймворков (Langchain). Это решает задачу «как мне передать в контекст только информацию, которая будет сейчас полезна, а не всю разом, чтобы она точно уместилась». Работает отлично, текущие решения занимают ~50 строк.
3. Мультимодальный ввод: еще одна вещь которую показали вместе с GPT-4. Заливаем изображение, и общаемся о нем с моделью. На демо был клевый пример, где сайт верстался из прототипа от руки. Здесь снова пока ни у кого нет доступа, но есть уже открытая модель Mini-GPT от комьюнити, в другом посте рассказал уже про нее.
🤖 Самый важный и объединяющий тренд:
AI-агенты: позволяют связывать между собой запросы в языковую модель: cписок задач → архитектура → реализация.
1. Агенты из коробки работают с веткорными хранилищами и умеют оптимизировать контекст даже на 4к моделях. Это позволяет работать с кодом на уровне проекта, с длинной документацией, при этом не терять важную информацию.
2. Агенты дают возможность работать с файловой системой, не только писать код и тесты, но и запускать → решать что делать дальше после анализа результатов выполнения.
3. У агентов есть доступ к интернету, откуда они могут брать свежую документацию.
Таким образом на апрель 2023 мы находимся в точке: агенту можно поставить четкое ТЗ → он его декомпозирует на задачи → найдет актуальную документацию → напишет код и тесты → запустит их → будет это итеративно делать, пока код не заведется, как описано в тз. А теперь вспомните про мульти-модальность. Пока не видел готовых демо, но ничто не помешает передать агенты и макет.
Ну что, какие мысли? Продолжать тему?
@prod1337