R2=0.95. Всё ли под контролем?
Представь, что тебе дали данные и попросили построить модель. Ты строишь регрессию, смотришь на R2 = 0.95 и думаешь, что всё готово. Но внутри этих данных могут жить два разных закона, а твоя модель их усредняет. И ты об этом не узнаешь.
Покажу как это происходит.
Берём данные о квартирах: 70 наблюдений, предиктор (площадь), отклик (цена). Внутри два типа по отделке: предчистовая и с ремонтом. Строю одну регрессию на всей выборке. R2 = 0.95. Вроде бы отлично.
Теперь строю отдельные модели для каждого типа и смотрю на коэффициенты. У предчистовых каждый квадратный метр прибавляет 234 000 к цене. У квартир с ремонтом тот же метр прибавляет 112 000. Разница больше чем в два раза.
Единая модель этого не увидела, потому что брала среднее между двумя разными мирами и выдавала одно число. Как проверить, что это не случайный разброс?
Для этого есть тест Чоу.
Идея простая. Есть ограниченная модель: одна регрессия на всех данных, коэффициент при площади одинаковый в обоих типах. Есть неограниченная: две отдельные регрессии, у каждой свой коэффициент. Этот коэффициент - наклон прямой, он показывает скорость роста цены с ростом площади. Тест смотрит, насколько хуже ограниченная модель объясняет данные. Если разница большая, значит гипотеза про одинаковый наклон ошибочная.
F-статистика: 14.32. Критическое значение при уровне значимости 5%: 3.14. P-value: 0.0000068. Нулевую гипотезу об одинаковых коэффициентах отвергаем.
Почему это важно не только технически? Если строишь одну модель там, где должно быть две, коэффициенты потеряют смысл. Они не описывают ни один из типов корректно. Принимать решения на основе таких коэффициентов опасно.
Высокий R2 даёт ощущение, что всё под контролем. А тест Чоу проверяет, не куплено ли это ощущение ценой потери смысла.
Представь, что тебе дали данные и попросили построить модель. Ты строишь регрессию, смотришь на R2 = 0.95 и думаешь, что всё готово. Но внутри этих данных могут жить два разных закона, а твоя модель их усредняет. И ты об этом не узнаешь.
Покажу как это происходит.
Берём данные о квартирах: 70 наблюдений, предиктор (площадь), отклик (цена). Внутри два типа по отделке: предчистовая и с ремонтом. Строю одну регрессию на всей выборке. R2 = 0.95. Вроде бы отлично.
Теперь строю отдельные модели для каждого типа и смотрю на коэффициенты. У предчистовых каждый квадратный метр прибавляет 234 000 к цене. У квартир с ремонтом тот же метр прибавляет 112 000. Разница больше чем в два раза.
Единая модель этого не увидела, потому что брала среднее между двумя разными мирами и выдавала одно число. Как проверить, что это не случайный разброс?
Для этого есть тест Чоу.
Идея простая. Есть ограниченная модель: одна регрессия на всех данных, коэффициент при площади одинаковый в обоих типах. Есть неограниченная: две отдельные регрессии, у каждой свой коэффициент. Этот коэффициент - наклон прямой, он показывает скорость роста цены с ростом площади. Тест смотрит, насколько хуже ограниченная модель объясняет данные. Если разница большая, значит гипотеза про одинаковый наклон ошибочная.
F-статистика: 14.32. Критическое значение при уровне значимости 5%: 3.14. P-value: 0.0000068. Нулевую гипотезу об одинаковых коэффициентах отвергаем.
Почему это важно не только технически? Если строишь одну модель там, где должно быть две, коэффициенты потеряют смысл. Они не описывают ни один из типов корректно. Принимать решения на основе таких коэффициентов опасно.
Высокий R2 даёт ощущение, что всё под контролем. А тест Чоу проверяет, не куплено ли это ощущение ценой потери смысла.