決策樹和模型評估課件(PPT 58頁)

4.1 預備知識4.2 解決分類問題的一般方法
分類例子
分類：定義
分類過程
分類技術
決策樹定義
決策樹 例1
決策樹 例2
決策樹應用過程：使用模型測試數據－1
使用模型測試數據－2
使用模型測試數據－3
使用模型測試數據－4
使用模型測試數據－5
使用模型測試數據－6
決策樹構造算法
Hunt 算法結構
例 P93～P95 預測拖欠銀行貸款的貸款者
如何生成決策樹？
決策樹歸納的設計問題1：1.1 定義屬性測試條件
標稱屬性的劃分方法：(數據集見P122習題2)
序數屬性的劃分方法：
連續屬性的劃分方法
決策樹歸納的設計問題1：1.2 找到最好劃分方法
選擇最佳劃分的度量
結點不純度的度量方法：
計算不純性方法1: 熵
例：分別計算3個結點的熵
練習1
計算不純性方法2: 基尼指數（gini）
例：分別計算3個結點的Gini指數
練習2
計算不純性方法3:分類差錯率
例：分別計算3個子女結點的分類差錯率
練習3
二元分類問題結點不純性度量之間的比較：
利用不純性度量，選擇最佳劃分
利用增益Δ來選擇最佳劃分示意：
練習4
改進方法
比較不同類型的屬性的劃分（以Gini指數為例）
基於GINI指數的二元屬性劃分方法
基於GINI指數的標稱屬性劃分方法
基於GINI指數的連續屬性劃分方法
改進方法：
決策樹歸納的設計問題2：如何停止分裂過程？
4.3.5 決策樹歸納算法
TreeGrowth算法框架（P101）
案例學習：4.3.6 Web機器人檢測
4.3.7 決策樹歸納的特點
4.4
擬合不足 和 過分擬合
噪聲導致過分擬合
缺乏代表性樣本導致過分擬合
4.4.5 處理決策樹歸納中的過分擬合
..............................