I. Регрессия для нормального респонса

Итак, пусть условное распределение Y при данном X нормально и наши наблюдения условно при данном X независимы -- первая строка на картинке. Тогда условное распределение оценок коэффициентов тоже нормальное, оценки несмещенные и состоятельные.

Что важно:
1. Мы не налагаем вообще никаких ограничений на распределение регрессоров. В том числе, мы не требуем, чтобы (Yi, Xi) были iid, мы ограничились только условной независимостью.
2. Зато условное распределение респонса должно быть нормальным и никак иначе. Наверное, мы можем сказать что это условно параметрическая модель. Условно -- потому что мы обусловливаем иксами. Параметрическая -- потому что мы предполагаем, что (условное) распределение игреков принадлежит параметрическому семейству и полностью описывается (условным) матожиданием и (условной же) остаточной дисперсией.
3. Тесты в такой модели точные (в противовес асимптотическим) -- т.е. работают и на малых выборках.
4. Статвывод проводится условно при данных регрессорах. Посчитать маргинальную дисперсию оценок не получится -- для этого нужно выинтегрировать иксы, а мы не знаем их распределения.
5. Благодаря тому, что мы обуславливаем иксами, они могут быть как случайными, так и заранее заданными / константными (designed industrial experiments, вам привет).

Четвертый пункт мозголомный, как его интерпретировать философски я пока не очень понимаю. Если вдруг кто-то в курсе -- пишите в комментариях.

Еще раз заметим, что мы здесь работаем условно (conditionally) при данных регрессорах. В этой модели OLS оценка -- это оценка методом условного максимального правдоподобия. Для метода максимального правдоподобия мы не задаем совместное распределение Y и X, мы определяем условное распределение игреков при данных иксах.

Сравните также, например, с тестом Фишера, непараметрическим бутстрепом, перестановочными тестами, регрессией Кокса или условной логистической регрессией. Техника обуславливания данными (всеми или частью) -- продуктивная штука.