ЛР3 · Лес для регрессии

Задание 2.3 · 1 балл

Лес для регрессии

Тот же лес, но для продолжительности жизни: деревья-регрессоры и среднее вместо голосования. Сравниваем с одним деревом при тех же критериях остановки.

life_forest = RandomForest(n_estimators=100, task='regression', random_state=42, **sk_params)
life_forest.fit(life_X_train, life_y_train)

task='regression' единственное отличие: внутри DecisionTreeRegressor, ответ = среднее деревьев.
**sk_params тот же критерий остановки, что и у одиночного дерева (max_depth = 5 и т.д.).

Критерий	R² дерева	R² леса	MAE дерева	MAE леса
max_depth = 5	0.686	0.745	3.17	3.01
min_samples_leaf = 5	0.635	0.755	3.49	2.82
max_leaves = 5	0.618	0.708	3.62	3.43
purity (до конца)	0.639	0.760	3.57	2.85

Лес лучше дерева при каждом критерии.
Больше всего выигрывают глубокие деревья: худшее одиночное (0.639) становится лучшим лесом (0.760).
Мелкие деревья выигрывают меньше: их ошибка систематическая (модель слишком простая), а усреднение гасит только случайные ошибки.

На пальцах. Если 100 стрелков стреляют с дрожащими руками, средняя точка их попаданий близка к центру. Если у всех сбит прицел в одну сторону, усреднение не поможет. Глубокие деревья это «дрожащие руки», мелкие это «сбитый прицел».

Важность признаков для продолжительности жизни — Расходы на медицину и высшее образование важнее всего, год почти не важен.

Признак	MDI	Падение R²
Health_Expenditure_Per_Capita	0.347	0.337
Tertiary_School_Enrollment	0.273	0.204
Urban_Population_Rate	0.156	0.048
Population_Density	0.079	0.029
PM25_AirPollution	0.073	0.010
Political_Stability_Index	0.052	0.004
Year	0.020	0.008

Почему лес сильнее всего улучшает глубокие деревья?

Вопросы на защите

Что поменял в лесу для регрессии?

Только параметр task: деревья-регрессоры вместо классификаторов и среднее вместо голосования. Бутстрап и случайные признаки те же.

Почему год почти не важен?

За 20 лет продолжительность жизни внутри страны меняется на несколько лет, а между странами разница до 30 лет. Свойства страны объясняют гораздо больше.

Почему в лесу обычно глубокие деревья?

У глубокого дерева маленькая систематическая ошибка, но большая случайная. Лес убирает именно случайную часть, поэтому выгоднее всего усреднять глубокие деревья. У нас именно они дали лучший лес.

Одна фразаЛес для регрессии усредняет деревья-регрессоры и лучше одного дерева при всех критериях, сильнее всего для глубоких деревьев (R² 0.639 → 0.760); главные признаки расходы на медицину и высшее образование.