決策樹統計學習方法概述(PPT 66頁)

1.1決策樹模型與學習
1.2特征選擇
1.3決策樹的生成
1.4決策樹的剪枝
1.5CART算法
1.1.1決策樹模型
1.1.2決策樹與if-then規則
1.1.3決策樹與條件概率分布
1.1.4決策樹學習
決策樹
決策樹學習算法的特點
決策樹學習的主要算法
例1.找對象
1.2特征選擇1.2.1特征選擇問題
1.2.2信息增益
熵-就分類而言，所有成員都屬於一類，熵為零；
不同類別數目相等，則熵等於1，類別數目不等，則熵介於0,1之間。
條件熵
信息增益
信息增益的具體公式
信息增益算法
例1.3對表1.1所給的訓練數據集D,根據信息增益準則選擇最優特征。
1.2.3信息增益比
1.3決策樹的生成1.3.1ID3算法
例1.4對表1.1的訓練數據集，利用ID3算法建立決策樹
這裏生成的決策樹隻用到兩個特征（兩個內節點），
ID3算法容易存在過擬合問題。
補充：如何解決決策樹的過擬合問題
補充：如何解決決策樹的過擬合問題——概念
二.產生過度擬合數據問題的原因有哪些？
三.如何解決過度擬合數據問題？
1.3.2C4.5的生成算法
算法1.4樹的剪枝算法
關於剪枝的補充——先剪枝
補充：關於剪枝——先剪枝
關於剪枝的補充——後剪枝
補充：關於剪枝的準則
REP——錯誤率降低剪枝
PEP——悲觀錯誤剪枝
PEP——小例題
例子
CCP續
1.5CART（分類與回歸樹）算法
1.5.1CART生成
GINI指數
1.5.2CART剪枝
實驗結果
解決決策樹過擬合的另一種方法——隨機森林
回歸問題
投票機製
貝葉斯投票機製
投票機製舉例
一種可能的方案
..............................