Neurogen dan repost
Vikhr: Семейство 2B, 8B и 12B LLM, адаптированных под работу с русским языком.
Vikhr-Nemo-12B-Instruct-R-21-09-24: флагманская LLM на 12B параметров, представляющая из себя улучшенную версию mistralai/Mistral-Nemo-Instruct-2407 командой VikhrModels, адаптированную преимущественно для русского и английского языков.
Модель оптимизированна для различных вариантов использования, включая ризонинг, суммаризацию, код, roleplay, поддержание диалога. Vikhr-Nemo обладает возможностью многоязычной генерации, и высокопроизводительными возможностями RAG. Модель иммет лучшие оценки среди прочих на наших инструктивных и RAG бенчарках и, поэтому, мы верим, что в некоторых задачах (например, RAG) может быть не хуже gpt-4o-mini от OpenAI.
Модель уже доступна в квантованных вариантах:
Vikhr-Nemo-12B-Instruct-R-21-09-24-Q4_K_M-GGUF (Q4_K_M) - для работы потребуется примерно 8 Гб оперативной или видеопамяти.
Vikhr-Nemo-12B-Instruct-R-21-09-24-Q6_K-GGUF (Q6_K) - для работы потребуется примерно 10 Гб оперативной или видеопамяти.
Vikhr-Llama3.1-8B-Instruct-R-21-09-24: Vikhr-Llama3.1 - это LLM на 8B параметров представляющая из себя улучшенную версию meta-llama/Meta-Llama-3.1-8B-Instruct командой VikhrModels, адаптированную преимущественно для русского и английского языков.
Vikhr-Llama обладает возможностью многоязычной генерации, и высокопроизводительными возможностями RAG. Модель иммет лучшие оценки среди прочих на наших инструктивных и RAG бенчарках и, поэтому, мы верим, что во многих задачах может быть лучше чем gpt-3.5-turbo от OpenAI.
Модель доступна в квантованных вариантах:
Vikhr-Llama3.1-8B-Instruct-R-21-09-24-Q4_K_M-GGUF (Q4_K_M) - для работы потребуется примерно 5 Гб оперативной или видеопамяти.
Vikhr-Gemma-2B-instruct — это мощная и компактная языковая модель, основанная на базе gemma-2-2b-it и обученная на датасете GrandMaster-PRO-MAX, специально доученная для обработки русского языка.
Для работы с квантованной моделью требуется от 800 МБ (IQ1_M) до 3 Гб (Q8_0) оперативной или видеопамяти.
Скачать квантованные версии модели можно тут:
Vikhr-Gemma-2B-instruct-GGUF
Официальный Telegram проекта: https://t.me/vikhrlabs
#llm #gguf #vikhr
Vikhr-Nemo-12B-Instruct-R-21-09-24: флагманская LLM на 12B параметров, представляющая из себя улучшенную версию mistralai/Mistral-Nemo-Instruct-2407 командой VikhrModels, адаптированную преимущественно для русского и английского языков.
Модель оптимизированна для различных вариантов использования, включая ризонинг, суммаризацию, код, roleplay, поддержание диалога. Vikhr-Nemo обладает возможностью многоязычной генерации, и высокопроизводительными возможностями RAG. Модель иммет лучшие оценки среди прочих на наших инструктивных и RAG бенчарках и, поэтому, мы верим, что в некоторых задачах (например, RAG) может быть не хуже gpt-4o-mini от OpenAI.
Модель уже доступна в квантованных вариантах:
Vikhr-Nemo-12B-Instruct-R-21-09-24-Q4_K_M-GGUF (Q4_K_M) - для работы потребуется примерно 8 Гб оперативной или видеопамяти.
Vikhr-Nemo-12B-Instruct-R-21-09-24-Q6_K-GGUF (Q6_K) - для работы потребуется примерно 10 Гб оперативной или видеопамяти.
Vikhr-Llama3.1-8B-Instruct-R-21-09-24: Vikhr-Llama3.1 - это LLM на 8B параметров представляющая из себя улучшенную версию meta-llama/Meta-Llama-3.1-8B-Instruct командой VikhrModels, адаптированную преимущественно для русского и английского языков.
Vikhr-Llama обладает возможностью многоязычной генерации, и высокопроизводительными возможностями RAG. Модель иммет лучшие оценки среди прочих на наших инструктивных и RAG бенчарках и, поэтому, мы верим, что во многих задачах может быть лучше чем gpt-3.5-turbo от OpenAI.
Модель доступна в квантованных вариантах:
Vikhr-Llama3.1-8B-Instruct-R-21-09-24-Q4_K_M-GGUF (Q4_K_M) - для работы потребуется примерно 5 Гб оперативной или видеопамяти.
Vikhr-Gemma-2B-instruct — это мощная и компактная языковая модель, основанная на базе gemma-2-2b-it и обученная на датасете GrandMaster-PRO-MAX, специально доученная для обработки русского языка.
Для работы с квантованной моделью требуется от 800 МБ (IQ1_M) до 3 Гб (Q8_0) оперативной или видеопамяти.
Скачать квантованные версии модели можно тут:
Vikhr-Gemma-2B-instruct-GGUF
Официальный Telegram проекта: https://t.me/vikhrlabs
#llm #gguf #vikhr