Через час на NODES 24 будем рассказывать про text-to-SQL
И еще про text-to-cypher. Идея в том, чтобы сравнить способности разных LLM-ок к генерации запросов для реляционных и графовых баз данных.
Для этого мы взяли модель данных из системы документирования технических и организационных зависимостей в корпорациях (на базе Contexture) и завели список вопросов-ответов. Например вопрос, который требует рекурсии:
Коллега загрузила эту модель в Neo4j и использовала разные подходы для того, чтобы на основе пользовательских вопросов строить Cypher запросы к БД.
Я сделал аналогичное, но для SQLite. При этом не стал возиться с подходами, а просто попросил ChatGPT написать мне пару разных схем (ведь мы уже с весенних вебинаров знаем про причины галлюцинаций и ошибок в LLM).
На картинке - табличка с тем, как разные модели справлялись с тестовыми задачами в разных ситуациях.
Рассказывать будем про это online через час на конференции neo4j - тут.
Ваш, @llm_under_hood 🤗
И еще про text-to-cypher. Идея в том, чтобы сравнить способности разных LLM-ок к генерации запросов для реляционных и графовых баз данных.
Для этого мы взяли модель данных из системы документирования технических и организационных зависимостей в корпорациях (на базе Contexture) и завели список вопросов-ответов. Например вопрос, который требует рекурсии:
If the Customer Relationship Management (CRM) system failed while its maintainer was on vacation, how many other systems that depend on it would be impacted directly and indirectly?
Коллега загрузила эту модель в Neo4j и использовала разные подходы для того, чтобы на основе пользовательских вопросов строить Cypher запросы к БД.
Я сделал аналогичное, но для SQLite. При этом не стал возиться с подходами, а просто попросил ChatGPT написать мне пару разных схем (ведь мы уже с весенних вебинаров знаем про причины галлюцинаций и ошибок в LLM).
На картинке - табличка с тем, как разные модели справлялись с тестовыми задачами в разных ситуациях.
Рассказывать будем про это online через час на конференции neo4j - тут.
Ваш, @llm_under_hood 🤗