ИЦ "ГЕВИССТА"

В книгу по классике (1-й и 2-й уровень подписки) начал интеграцию легендарного дополненного страничного модуля (был 750 страниц, стал 1000 страниц) по градиентному бустингу и еще будет новый 500-страничный модуль по применению бустинга для recsys и time series, появились разделы по reliable ML для моделей бустинга. По глубине разбора реализаций бустинга аналогов нет (помимо LightGBM, XGBoost, CatBoost добавится H2O GBM от H2O и PyBoost от Сберлабы). Большая работа предстоит. Если не будет никаких ЧП (а они у нас в России каждый день), планирую уложиться до февраля 2023.

Хорошая новость для подписчиков 3-го и 4-го уровня, материал по предподготовке временных рядов будет иллюстрироваться на примере pandas и Polars

Функция вычисления скользящих статистик в Polars

# пишем функцию, вычисляющую скользящие
# статистики в Polars
def polars_moving_stats(pl_data,
pl_series,
periods=1,
min_periods=1,
window_size=4,
out_column='Mov_stat',
aggfunc='mean',
strategy=None):
"""
Вычисляет скользящие статистики в Polars.

Параметры
----------
pl_data:
Polars.DataFrame
pl_series:
Polars.Series
periods: int, по умолчанию 1
Порядок лага, с которым вычисляем скользящие
статистики.
min_periods: int, по умолчанию 1
Минимальное количество наблюдений в окне для
вычисления скользящих статистик.
window_size: int, по умолчанию 4
Ширина окна.
out_column: string
Название результирующего столбца.
aggfunc: string, по умолчанию 'mean'
Агрегирующая функция.
strategy: string, по умолчанию None
Стратегия импутации пропусков.
"""

if aggfunc == 'mean':
pl_data = pl_data.with_column(pl.col(pl_series).shift(
periods=periods).rolling_mean(
window_size=window_size,
min_periods=min_periods).alias(out_column))

if aggfunc == 'min':
pl_data = pl_data.with_column(pl.col(pl_series).shift(
periods=periods).rolling_min(
window_size=window_size,
min_periods=min_periods).alias(out_column))

pl_data = pl_data.fill_null(strategy=strategy)
return pl_data

Пример реализации скользящего среднего с регуляризацией. Случайным образом отбираем наблюдения для расчета статистики по окну с возвращением или без возвращения. Используем для градиентного бустинга и нейронных сетей. Для тестовой выборки (или тестовой части исходного набора) используем защиту от протечек в виде значений NaN.
Есть столбец

2018-01-09 2400.0
2018-01-10 2800.0
2018-01-11 2500.0
2018-01-12 2890.0
2018-01-13 2610.0
2018-01-14 2500.0
2018-01-15 2750.0
2018-01-16 2700.0
2018-01-17 NaN
2018-01-18 NaN
2018-01-19 NaN
2018-01-20 NaN
Name: sales, dtype: float64

Пишем функцию

# функция вычисления скользящего среднего с регуляризацией
def regularized_mean(x, frac=0.5, random_state=42, replace=False,
verbose=False, axis=None):
np.random.seed(random_state)
x_sampled = x.sample(frac=frac, replace=replace)
if verbose:
print(x_sampled)
print('')
return np.mean(x_sampled)

# вычисляем скользящее среднее с регуляризацией
data['sales'].shift(1).rolling(window=4, min_periods=1).apply(
lambda x: regularized_mean(x, frac=0.8, verbose=True))

Применяем

2018-01-10 2400.0
2018-01-09 NaN
dtype: float64

2018-01-09 NaN
2018-01-10 2400.0
dtype: float64

2018-01-10 2400.0
2018-01-12 2500.0
2018-01-09 NaN
dtype: float64

2018-01-11 2800.0
2018-01-13 2890.0
2018-01-10 2400.0
dtype: float64

2018-01-12 2500.0
2018-01-14 2610.0
2018-01-11 2800.0
dtype: float64

2018-01-13 2890.0
2018-01-15 2500.0
2018-01-12 2500.0
dtype: float64

2018-01-14 2610.0
2018-01-16 2750.0
2018-01-13 2890.0
dtype: float64

2018-01-15 2500.0
2018-01-17 2700.0
2018-01-14 2610.0
dtype: float64

2018-01-16 2750.0
2018-01-18 NaN
2018-01-15 2500.0
dtype: float64

2018-01-17 2700.0
2018-01-19 NaN
2018-01-16 2750.0
dtype: float64

2018-01-18 NaN
2018-01-20 NaN
2018-01-17 2700.0
dtype: float64

2018-01-09 NaN
2018-01-10 2400.000000
2018-01-11 2400.000000
2018-01-12 2450.000000
2018-01-13 2696.666667
2018-01-14 2636.666667
2018-01-15 2630.000000
2018-01-16 2750.000000
2018-01-17 2603.333333
2018-01-18 2625.000000
2018-01-19 2725.000000
2018-01-20 2700.000000
Name: sales, dtype: float64