👥 Обзор сообщества betterdatacommunity, sberlogasci, natural_language_processing, sberlogabio
🔍📊🤔 Оценка моделей для ретривера
В участников возникли вопросы и дискуссии по поводу использования моделей для задач ретривинга и STS. Модель USER2-base показалась некоторым пользователям переобученной на русском языке, с недоступностью правильного различения интентов, в то время как jina-embeddings-v5-text-nano демонстрирует лучшую производительность (низкие значения косинусового сходства) [NLP]. Также обсуждалась модель Qwen1.5-MoE, которая показывает высокую функциональную разнородность [NLP].
🔄💻🧩 Серверные архитектуры для LLM
Обсуждения затронули идеи о создании LLM-gateway сервиса, который будет маршрутизировать запросы к отдельным инстансам моделей. Продуктовые сервисы могли бы обращаться к этому фасаду, что упрощает взаимодействие с моделями [NLP]. Дополнительно упоминался подход с мультилорами, позволяющий подменять разные лоры в зависимости от решаемой задачи [NLP].
🏢💡🤖 Продуктовые применения и оптимизация моделей
Обсуждения о практическом применении моделей в компаниях выявили потенциальные два проекта: внутренний ассистент для работы с документами и внешний ассистент для автоответов на маркетплейсах. Участники отметили возможность поднятия одного инстанса модели с гибридным подходом, что позволит повысить эффективность использования вычислительных ресурсов [NLP]. Также упоминалось, что многие задачи можно решать эффективно без ризонинга, что позволяет ускорить обработку и снизить длину контекста [NLP].
🥇📈🗒️ Обсуждение качества и скорости
В дискуссиях выделялось, что большинство задач не требуют ризонинга, так как качество ответов зачастую оказывается лучше без него. Ризонинг рекомендовали использовать только для сложных задач, а во многих случаях обычные вопросы можно решить быстрее без дополнительного анализа [NLP]. Также говорили о том, что LLM может действовать как доп реранкер, что позволяет производить только один токен на проходе [NLP].
🔎👥📉 Aутлаеры и их определение
Внимание было уделено поиску аутлаеров в латентном пространстве, где single pass методы продемонстрировали хорошую результативность по сравнению с ELBO [BET]. Поднимались вопросы о совместимости хидден векторов с распределением данных и методах их оценки через VAE [BET].
📚🔬🔗 Новые статьи и модели
Обсуждалась модель Goedel-Prover-V2, которая предназначена для доказательства теорем. Эта модель использует новые подходы к синтезу данных и самокоррекции, на что указывают результаты, представленные в статье [17] [SBE]. Доступные датасеты включают SFT и RL для обучения.
🗓️📊✍️ Обзор Kaggle-соревнования
Опубликован препринт по результатам анализа соревнования OpenProblems на Kaggle 2022 года, связанного с предсказанием модальностей, с актуальными выводами, несмотря на задержку в публикации [19] [SBE1].
🔍📊🤔 Оценка моделей для ретривера
В участников возникли вопросы и дискуссии по поводу использования моделей для задач ретривинга и STS. Модель USER2-base показалась некоторым пользователям переобученной на русском языке, с недоступностью правильного различения интентов, в то время как jina-embeddings-v5-text-nano демонстрирует лучшую производительность (низкие значения косинусового сходства) [NLP]. Также обсуждалась модель Qwen1.5-MoE, которая показывает высокую функциональную разнородность [NLP].
🔄💻🧩 Серверные архитектуры для LLM
Обсуждения затронули идеи о создании LLM-gateway сервиса, который будет маршрутизировать запросы к отдельным инстансам моделей. Продуктовые сервисы могли бы обращаться к этому фасаду, что упрощает взаимодействие с моделями [NLP]. Дополнительно упоминался подход с мультилорами, позволяющий подменять разные лоры в зависимости от решаемой задачи [NLP].
🏢💡🤖 Продуктовые применения и оптимизация моделей
Обсуждения о практическом применении моделей в компаниях выявили потенциальные два проекта: внутренний ассистент для работы с документами и внешний ассистент для автоответов на маркетплейсах. Участники отметили возможность поднятия одного инстанса модели с гибридным подходом, что позволит повысить эффективность использования вычислительных ресурсов [NLP]. Также упоминалось, что многие задачи можно решать эффективно без ризонинга, что позволяет ускорить обработку и снизить длину контекста [NLP].
🥇📈🗒️ Обсуждение качества и скорости
В дискуссиях выделялось, что большинство задач не требуют ризонинга, так как качество ответов зачастую оказывается лучше без него. Ризонинг рекомендовали использовать только для сложных задач, а во многих случаях обычные вопросы можно решить быстрее без дополнительного анализа [NLP]. Также говорили о том, что LLM может действовать как доп реранкер, что позволяет производить только один токен на проходе [NLP].
🔎👥📉 Aутлаеры и их определение
Внимание было уделено поиску аутлаеров в латентном пространстве, где single pass методы продемонстрировали хорошую результативность по сравнению с ELBO [BET]. Поднимались вопросы о совместимости хидден векторов с распределением данных и методах их оценки через VAE [BET].
📚🔬🔗 Новые статьи и модели
Обсуждалась модель Goedel-Prover-V2, которая предназначена для доказательства теорем. Эта модель использует новые подходы к синтезу данных и самокоррекции, на что указывают результаты, представленные в статье [17] [SBE]. Доступные датасеты включают SFT и RL для обучения.
🗓️📊✍️ Обзор Kaggle-соревнования
Опубликован препринт по результатам анализа соревнования OpenProblems на Kaggle 2022 года, связанного с предсказанием модальностей, с актуальными выводами, несмотря на задержку в публикации [19] [SBE1].