Большие языковые модели часто ругают за то что они "галлюцинируют" ответы.
Суть этой проблемы лежит в архитектуре технологии – но люди замечают что модель "галлюцинирует" только в те моменты, когда модель ошибается в фактах и человек это заметил, на самом деле "галлюцинировать" ответы, это все что модель умеет и то, что она делает все время, просто чаще всего ответы модели выписываются логически и выглядят уместными.
Хорошая новость, что проблема галлюцинаций чинится даже с текущей архитектурой – с помощью введения дополнительных промежуточных этапов:
В Stanford нашли рабочий метод как заставить LLM отвечать корректные, реальные факты и на тестах их метод показал ~97% точности в фактчекинге.
Если коротко, они заставляют модель саму себя проверять на соответствие фактам, подавая в модель предыдущие ее же ответы, но уже с новыми промптами. Минусы такого подхода – время ответа становятся медленнее.
Можете тут бесплатно поиграться с их методом поверх англоязычной Wiki:
https://wikichat.genie.stanford.edu/
То есть все что демка ответит, на ~97% действительно содержится в англоязычной Wiki в виде фактов
Суть этой проблемы лежит в архитектуре технологии – но люди замечают что модель "галлюцинирует" только в те моменты, когда модель ошибается в фактах и человек это заметил, на самом деле "галлюцинировать" ответы, это все что модель умеет и то, что она делает все время, просто чаще всего ответы модели выписываются логически и выглядят уместными.
Хорошая новость, что проблема галлюцинаций чинится даже с текущей архитектурой – с помощью введения дополнительных промежуточных этапов:
В Stanford нашли рабочий метод как заставить LLM отвечать корректные, реальные факты и на тестах их метод показал ~97% точности в фактчекинге.
Если коротко, они заставляют модель саму себя проверять на соответствие фактам, подавая в модель предыдущие ее же ответы, но уже с новыми промптами. Минусы такого подхода – время ответа становятся медленнее.
Можете тут бесплатно поиграться с их методом поверх англоязычной Wiki:
https://wikichat.genie.stanford.edu/
То есть все что демка ответит, на ~97% действительно содержится в англоязычной Wiki в виде фактов