Я решил попробовать побенчмаркать o1 pro вручную
Все тесты прогонять не буду, т.к. это слишком долго. Я просто возьму все тесты бенчмарка, где o1-mini дала неидеальный ответ и прогоню вручную. o1 pro всяко лучше.
Это займет какое-то время, но результат должен быть забавный.
Можно уже точно сказать, что o1 pro умеет неплохо признавать свои ошибки post-mortem 😁
Как вы думаете, какие scores будут у этой модели на продуктовом бенчмарке?
Ваш, @llm_under_hood 🤗
Все тесты прогонять не буду, т.к. это слишком долго. Я просто возьму все тесты бенчмарка, где o1-mini дала неидеальный ответ и прогоню вручную. o1 pro всяко лучше.
Это займет какое-то время, но результат должен быть забавный.
Можно уже точно сказать, что o1 pro умеет неплохо признавать свои ошибки post-mortem 😁
Как вы думаете, какие scores будут у этой модели на продуктовом бенчмарке?
Ваш, @llm_under_hood 🤗