Context Length Alone Hurts LLM Performance Despite Perfect Retrieval
Просто оставлю это тут. Протестировали внимание модели.
Ничего не меняли, просто добавляли пробелы и прочие пустоты между словами (токенами). И, хотя, лишней информации не добавилось, точность линейно падала.
Важно везде, что в работе с нейронками, что в ролках: всегда смотрите, что контекст не забит мусором. Мусор — всё, что прямо не относится к задаче.
Взято отсюда.
Просто оставлю это тут. Протестировали внимание модели.
Ничего не меняли, просто добавляли пробелы и прочие пустоты между словами (токенами). И, хотя, лишней информации не добавилось, точность линейно падала.
Важно везде, что в работе с нейронками, что в ролках: всегда смотрите, что контекст не забит мусором. Мусор — всё, что прямо не относится к задаче.
Взято отсюда.