👋 Всем привет я тут копался в интернете и хотел разобраться какое количество запросов, или токенов или символов, короче чего угодно помнит ChatGPT-3.5 и ChatGPT-4 в рамках ОДНОГО РАЗГОВОРА. Меня интересовало, в какой момент времени чат перестаёт помнить информацию, отправленную в начале разговора.

💡 Конкретного ответа как оказалось нет. По API GPT-4 официально известно, что длина контекста составляет 8 тысяч или 32 тысячи токенов, однако информация о длине контекста веб-версии ChatGPT-4 остается лишь предметом дискуссии. Некоторые утверждают, что это 4 тысячи токенов, другие — 8 тысяч.

🤔 Давайте объясню почему это считается проблемой. Представьте, что вы отправляете огромный текст чату-GPT, который целиком и полностью состоит из правил, пусть, к примеру там будет 100 правил. Потом следующим запросом вы просите чат, на основе этих правил, написать отчет, но так как память чата ограничена, он будет опираться только на последние 30 правил. То есть если вы напишите слишком длинный запрос существует вероятность того, что нейросеть просто-напросто будет опираться лишь на его часть.

😐 Или к примеру, если вы будете долго общаться с нейросетью в рамках одной сессии, пусть и короткими запросами, все равно, рано или поздно наступит такой момент времени, когда Chat забудет ваш первый промпт из-за переполнения памяти. И что самое печальное скорей всего вы этого даже не заметите.

Подробней о данной теме вы можете почитать в статьях на Хабре:

➡️Статья 1: Проблема контекста в больших языковых моделях
➡️Статья 2: OpenAI урезает длину контекста ChatGPT

✈️ ABILITY | ▶️ YouTube |🌐 ВКонтакте |💻 ChatGPT-4 |