👥 Обзор сообщества betterdatacommunity, sberlogasci, natural_language_processing, sberlogabio🔍📊🤔 Оценка моделей для ретривера В участников возникли вопросы и дискуссии по поводу использования моделей для задач ретривинга и STS. Модель USER2-base показалась некоторым пользователям переобученной на русском языке, с недоступностью правильного различения интентов, в то время как jina-embeddings-v5-text-nano демонстрирует лучшую производительность (низкие значения косинусового сходства)
[NLP]. Также обсуждалась модель Qwen1.5-MoE, которая показывает высокую функциональную разнородность
[NLP].
🔄💻🧩 Серверные архитектуры для LLM Обсуждения затронули идеи о создании LLM-gateway сервиса, который будет маршрутизировать запросы к отдельным инстансам моделей. Продуктовые сервисы могли бы обращаться к этому фасаду, что упрощает взаимодействие с моделями
[NLP]. Дополнительно упоминался подход с мультилорами, позволяющий подменять разные лоры в зависимости от решаемой задачи
[NLP].
🏢💡🤖 Продуктовые применения и оптимизация моделей Обсуждения о практическом применении моделей в компаниях выявили потенциальные два проекта: внутренний ассистент для работы с документами и внешний ассистент для автоответов на маркетплейсах. Участники отметили возможность поднятия одного инстанса модели с гибридным подходом, что позволит повысить эффективность использования вычислительных ресурсов
[NLP]. Также упоминалось, что многие задачи можно решать эффективно без ризонинга, что позволяет ускорить обработку и снизить длину контекста
[NLP].
🥇📈🗒️ Обсуждение качества и скорости В дискуссиях выделялось, что большинство задач не требуют ризонинга, так как качество ответов зачастую оказывается лучше без него. Ризонинг рекомендовали использовать только для сложных задач, а во многих случаях обычные вопросы можно решить быстрее без дополнительного анализа
[NLP]. Также говорили о том, что LLM может действовать как доп реранкер, что позволяет производить только один токен на проходе
[NLP].
🔎👥📉 Aутлаеры и их определение Внимание было уделено поиску аутлаеров в латентном пространстве, где single pass методы продемонстрировали хорошую результативность по сравнению с ELBO
[BET]. Поднимались вопросы о совместимости хидден векторов с распределением данных и методах их оценки через VAE
[BET].
📚🔬🔗 Новые статьи и модели Обсуждалась модель Goedel-Prover-V2, которая предназначена для доказательства теорем. Эта модель использует новые подходы к синтезу данных и самокоррекции, на что указывают результаты, представленные в статье
[17] [SBE]. Доступные датасеты включают SFT и RL для обучения.
🗓️📊✍️ Обзор Kaggle-соревнования Опубликован препринт по результатам анализа соревнования OpenProblems на Kaggle 2022 года, связанного с предсказанием модальностей, с актуальными выводами, несмотря на задержку в публикации
[19] [SBE1].
