Что скрывается в остатках?
Если посмотреть ещё раз на правый график из прошлого поста на красную линию, то увидишь, как точки сначала выше неё, потом ниже, потом снова выше. Это не случайный разброс. Это прогиб, который прямая линия не может аппроксимировать. Отсюда и R2 = 0.40.
Чтобы увидеть это чётко, строим график остатков разницу между реальной ценой и предсказанной. В хорошей модели остатки выглядят как случайный шум. А здесь дуга в форме U. Значит зависимость цены от площади - нелинейная.
Добавляю квадратичный член: y = a + bx + cx2. R2 прыгает с 0.40 до 0.83. Модель стала лучше описывать данные. Если модель работает плохо - смотри на остатки. Если там есть структура, проблема не в данных, а в форме.
Зачем это нужно на практике? Модель предсказывает цену квартиры по её параметрам. Если реальная цена ниже прогноза, значит, квартира недооценена рынком/застройщиком. Так модель помогает найти самый выгодный вариант для покупки.
Если посмотреть ещё раз на правый график из прошлого поста на красную линию, то увидишь, как точки сначала выше неё, потом ниже, потом снова выше. Это не случайный разброс. Это прогиб, который прямая линия не может аппроксимировать. Отсюда и R2 = 0.40.
Чтобы увидеть это чётко, строим график остатков разницу между реальной ценой и предсказанной. В хорошей модели остатки выглядят как случайный шум. А здесь дуга в форме U. Значит зависимость цены от площади - нелинейная.
Добавляю квадратичный член: y = a + bx + cx2. R2 прыгает с 0.40 до 0.83. Модель стала лучше описывать данные. Если модель работает плохо - смотри на остатки. Если там есть структура, проблема не в данных, а в форме.
Зачем это нужно на практике? Модель предсказывает цену квартиры по её параметрам. Если реальная цена ниже прогноза, значит, квартира недооценена рынком/застройщиком. Так модель помогает найти самый выгодный вариант для покупки.