![](data:image/svg+xml;charset=utf-8,<svg width="640" height="640" style="background-color:%2344badc;font-family:Nunito,sans-serif" viewBox="0 0 100 100" preserveAspectRatio="xMidYMid meet" xmlns="http://www.w3.org/2000/svg">
<text font-size="30" x="50%" y="50%" dy="5" fill="white" dominant-baseline="middle" text-anchor="middle">Гд</text>
</svg>)
Что могут спросить по теме трансформеров на собеседовании:
Основные типы LLM:
Обучение
Оценка
Как бороться с галлюцинациями в LLM?
Как оптимизируют внимание в трансформерах?
Какие гиперпараметры генерации ключевые в GPT?
Основные типы LLM:
авторегрессионные (ex.GPT) генерируют текст последовательно, предсказывая следующее слово
двунаправленные(ex.BERT) анализируют контекст слева и справа от слова
энкодер-декодер(ex.T5, BART) преобразуют входные данные в выходные через промежуточное представление
Обучение
предобучение на большом корпусе текста с задачами вроде предсказания следующего токена или заполнения масок
fine-tuning на специфических датасетах для конкретных задач
Оценка
perplexity:
(the lower the better)
фактологичность, связность
ну и разные бенчмарки:
(GLUE, SuperGLUE, SQuAD)
Чем BERT отличается от GPT?
BERT: двунаправленный,
masked LM, для классификации
GPT: авторегрессия, генерация текста
Как бороться с галлюцинациями в LLM?
контроль температуры, top-k/p,
проверка фактов, fine-tuning
Как оптимизируют внимание в трансформерах?
разреженное внимание, кэширование, квантование, пакетная обработка
Какие гиперпараметры генерации ключевые в GPT?
temperature:
(креативность)
top-k/p:
(выбор токенов)
beam search:
(качество)
repetition_penalty