LM Studio, или как запустить ChatGPT на ноутбуке без доступа к сети.
Сегодня хочу рассказать про LM Studio - очень удобное и полезное десктопное приложение, которое позволяет запускать языковые модели локально на вашем компьютере и общаться с ними без единой строчки кода.
Почему это круто? Представьте, что вам предстоит 6-часовой перелет без доступа в интернет. Открываете LM Studio, скачиваете подходящую LLM, и вуаля - у вас на ноутбуке есть почти полноценный ChatGPT. Причем полностью настраиваемый - вы можете менять системные промпты и параметры генерации. Из других полезных фишек хочу отметить группировку чатов по папкам и возможность добавления заметок.
В последней версии LM Studio появился RAG и поддержка мультимодальных моделей. Теперь вы можете даже загружать в чат документы или изображения и задавать по ним вопросы - согласитесь, удобно. Особенно если это конфиденциальные документы, которые нельзя заливать в облачные чатики.
Если вы продвинутый пользователь или разработчик LLM-приложений - одним кликом вы можете поднять OpenAI-подобный сервер с поддержкой structured output и логированием. Все серьезно.
Никакие GPU вам не потребуются, для работы приложения достаточно 16 Гб RAM - спасибо создателю фреймворка llama.cpp и энтузиастам ML-опенсорса, которые выкладывают на HuggingFace оптимизированные версии нейросетей. К примеру, Llama-3.1-8B при максимальной степени сжатия займет всего лишь 5 Гб RAM (хотя за сжатие моделей приходится платить качеством генерации). Через интерфейс LM Studio вы можете скачать практически любые опенсорсные LLM, включая самые последние - был бы доступен чекпойнт в формате gguf. В мои 32 Гб, например, помещаются 8-битные версии Mistral Nemo или Deepseek-Coder v2 lite.
Впечатляет? Меня - однозначно да. Еще год назад такие возможности сложно было себе представить. Да, есть ограничения по размеру и качеству доступных моделей, но потенциальный профит от запуска LLM на ноутбуке перекрывает эти недостатки.
Официальный сайт, обзор на Youtube
Сегодня хочу рассказать про LM Studio - очень удобное и полезное десктопное приложение, которое позволяет запускать языковые модели локально на вашем компьютере и общаться с ними без единой строчки кода.
Почему это круто? Представьте, что вам предстоит 6-часовой перелет без доступа в интернет. Открываете LM Studio, скачиваете подходящую LLM, и вуаля - у вас на ноутбуке есть почти полноценный ChatGPT. Причем полностью настраиваемый - вы можете менять системные промпты и параметры генерации. Из других полезных фишек хочу отметить группировку чатов по папкам и возможность добавления заметок.
В последней версии LM Studio появился RAG и поддержка мультимодальных моделей. Теперь вы можете даже загружать в чат документы или изображения и задавать по ним вопросы - согласитесь, удобно. Особенно если это конфиденциальные документы, которые нельзя заливать в облачные чатики.
Если вы продвинутый пользователь или разработчик LLM-приложений - одним кликом вы можете поднять OpenAI-подобный сервер с поддержкой structured output и логированием. Все серьезно.
Никакие GPU вам не потребуются, для работы приложения достаточно 16 Гб RAM - спасибо создателю фреймворка llama.cpp и энтузиастам ML-опенсорса, которые выкладывают на HuggingFace оптимизированные версии нейросетей. К примеру, Llama-3.1-8B при максимальной степени сжатия займет всего лишь 5 Гб RAM (хотя за сжатие моделей приходится платить качеством генерации). Через интерфейс LM Studio вы можете скачать практически любые опенсорсные LLM, включая самые последние - был бы доступен чекпойнт в формате gguf. В мои 32 Гб, например, помещаются 8-битные версии Mistral Nemo или Deepseek-Coder v2 lite.
Впечатляет? Меня - однозначно да. Еще год назад такие возможности сложно было себе представить. Да, есть ограничения по размеру и качеству доступных моделей, но потенциальный профит от запуска LLM на ноутбуке перекрывает эти недостатки.
Официальный сайт, обзор на Youtube