Liquid AI совместно с аналитической платформой Artificial Analysis представила Pipette — открытую систему для бенчмаркинга LLM непосредственно на пользовательских и периферийных устройствах. Главная идея проекта заключается в том, что реальная производительность локального ИИ определяется не моделью самой по себе, а всей системой в сборе, включая конкретное железо, среду выполнения, тип квантования и доступную память.
В рамках релиза представлена публичная база данных, содержащая результаты тестирования более тысячи конфигураций. Датасет охватывает свыше тридцати популярных моделей в разных форматах квантования, сборки llama.cpp под macOS, Windows, iOS и Android, а также длины контекста от 256 до 8192 токенов на актуальных потребительских чипах. Вся инфраструктура платформы, включая клиенты для мобильных и настольных систем, модули управления и оценки качества, опубликована с открытым исходным кодом под лицензией Apache 2.0.
В рамках релиза представлена публичная база данных, содержащая результаты тестирования более тысячи конфигураций. Датасет охватывает свыше тридцати популярных моделей в разных форматах квантования, сборки llama.cpp под macOS, Windows, iOS и Android, а также длины контекста от 256 до 8192 токенов на актуальных потребительских чипах. Вся инфраструктура платформы, включая клиенты для мобильных и настольных систем, модули управления и оценки качества, опубликована с открытым исходным кодом под лицензией Apache 2.0.