Отовсюду слышно про LLM, но почему никто не говорит про размер поменьше? Он тоже важен☝️.
Помимо больших языковых моделей есть ещё малые: SLM. Отличаются они меньшим количеством параметров и более узкой сферой применения. При чем параметров в них меньше в десятки, а иногда и в тысячи раз.
Из-за такого количества параметров и неких «танцев с бубном» в виде
обрезки, дистилляции и квантования, малые языковые модели намного меньше больших.
Модель меньше — модель менее требовательна к железу — модель быстрее.
Потому малые языковые модели используют, когда нужно решить одну определенную задачу: создание субтитров, генерация кода. Они будут выполнять ее не хуже больших, да еще и быстрее, ведь их специально обучают под конкретную задачу, а все «лишнее» отсекают.
Кроме того, эти модели используют для обработки конфиденциальной информации: договоров, актов или переписок. Ведь они относительно малотребовательны к железу и их можно запустить на персональном устройстве.
И да — работают малые языковые модели без интернета, потому никто не узнает о том, какие вопросы вы ей задавали и какие тексты обрабатывали. К тому же санкции им не страшны — всё уже на месте.
Список открытых малых языковых моделей очень большой, и каждый найдет модель на свой вкус и для своей задачи. Среди популярных моделей: gpt-oss:20b, gemma3:-12b-it-qat, qwen3:8b.
Скачиваем, пробуем, пользуемся и ждем, когда появится видео с заголовком «Я выживал в тайге 30 дней только по советам GPT».
PS: Статья на Википедии моя, отвечаю.
