Задание 2.2 · 1 балл

Почему клиент уходит

Выясняем, какие признаки лес использует сильнее всего, двумя способами, и проверяем, в какую сторону они действуют.

Интерпретируемость

Можно ли объяснить человеку, почему модель так решила.

MDI

Mean Decrease in Impurity: сколько в сумме уменьшился индекс Джини во всех узлах, где делили по признаку, среднее по деревьям.

Перестановочная важность

Перемешиваем один столбец в test и смотрим, насколько упал ROC-AUC.

SHAP

Ещё один способ, раскладывает каждый прогноз на вклады признаков. Здесь не понадобился: два способа выше уже согласны.

Поиграй: перемешай признак

Игрушечная модель: «уйдёт, если возраст больше 45 или продуктов 3 и больше». Перемешай столбец и посмотри, сколько ответов осталось верными.

Код: перестановочная важность

def permutation_importance(model, X, y, score, n_repeats=5, seed=42):
    rng = np.random.default_rng(seed)
    base = score(y, model, X)
    drops = {}
    for column in X.columns:
        losses_ = []
        for _ in range(n_repeats):
            X_shuffled = X.copy()
            X_shuffled[column] = rng.permutation(X_shuffled[column].to_numpy())
            losses_.append(base - score(y, model, X_shuffled))
        drops[column] = np.mean(losses_)
    return pd.Series(drops)

1. base качество без порчи (ROC-AUC 0.859).
2. for column in X.columns портим по очереди каждый признак.
3. rng.permutation(...) перемешиваем значения столбца: связь признака с ответом рвётся, а распределение значений остаётся тем же.
4. n_repeats=5 перемешиваем 5 раз и усредняем, чтобы не зависеть от одного случайного перемешивания.
5. score передаётся снаружи: для оттока ROC-AUC, для продолжительности жизни R² (та же функция в задании 2.3).

В какую сторону

• Возраст: 18-30 лет уходит 7.5%, 51-60 лет 56%.
• Продукты: с двумя продуктами 7.6%, с одним 28%, с тремя 83%, с четырьмя 100%.
• Активность: неактивные 26.9%, активные 14.3%.
• Страна: Германия 32.4%, Франция и Испания около 16%.

Вопросы на защите