В продолжение к посту про интервью с Ilya Sutskever (OpenAI)
Вот ещё интересно, Илья говорит, что он согласен с ЛеКуном в том, что обучаться понимать мир проще, если есть доступ к данным из нескольких модальностей. Например текст, аудио и картинки вместе. Но в то же время он верит, что всему можно научиться сугубо по тексту, однако это будет сложнее и дольше.
Дальше он приводит интересный эксперимент. После обучения LLM, они посмотрели на эмбединги, отвечающие за цвета. Оказалось что модель, которая в глаза никогда не не видела визуальную информация, выучила такие эмбединги, где фиолетовый ближе голубому чем красный, что красный ближе к оранжевому чем фиолетовый, и т.д. И все это модель выучила только на основе текста.
Ещё Илья признает, что файнтюнинг RLHF не добавляет в модель новых знаний о мире. Модель и так уже все выучила на основе статистических паттернов в тексте во время large-scale тренировки. RLHF файнтюнинг же всего лишь "делает ответы модели более надёжными", то есть во время файнтюна модель бьют по рукам если она что-то неугодное ляпает. От себя добавлю, что RLHF так же позволяет более эффективно взаимодействовать с моделью в режиме инструкций. То есть в режим вопрос-ответ или задача-решение. Но этого, вроде как, можно достичь и без RL, а с помощью обычного self-instruct fine-tuning.
@ai_newz
Вот ещё интересно, Илья говорит, что он согласен с ЛеКуном в том, что обучаться понимать мир проще, если есть доступ к данным из нескольких модальностей. Например текст, аудио и картинки вместе. Но в то же время он верит, что всему можно научиться сугубо по тексту, однако это будет сложнее и дольше.
Дальше он приводит интересный эксперимент. После обучения LLM, они посмотрели на эмбединги, отвечающие за цвета. Оказалось что модель, которая в глаза никогда не не видела визуальную информация, выучила такие эмбединги, где фиолетовый ближе голубому чем красный, что красный ближе к оранжевому чем фиолетовый, и т.д. И все это модель выучила только на основе текста.
Ещё Илья признает, что файнтюнинг RLHF не добавляет в модель новых знаний о мире. Модель и так уже все выучила на основе статистических паттернов в тексте во время large-scale тренировки. RLHF файнтюнинг же всего лишь "делает ответы модели более надёжными", то есть во время файнтюна модель бьют по рукам если она что-то неугодное ляпает. От себя добавлю, что RLHF так же позволяет более эффективно взаимодействовать с моделью в режиме инструкций. То есть в режим вопрос-ответ или задача-решение. Но этого, вроде как, можно достичь и без RL, а с помощью обычного self-instruct fine-tuning.
@ai_newz