大數據時代的數據挖掘與商務智能(ppt 240頁)
數據分析基本概念
統計數據分析方法
數學家的幽默
何為統計學？
統計(Statistics)的涵義
統計的研究對象的特點
統計研究的基本環節
統計設計
收集數據
整理與分析
統計資料的積累、開發與應用
統計學的流派
政治算術學派與國勢學派
社會統計學派
數理統計學派
理論統計學和應用統計學
數學與統計學的聯係
統計學與數學的區別
測量與數據
統計數據
變量與變量值
例：員工個人資料表
變量的測度等級
名義測度（Nominal ）
有序測度（Ordinal）
間距測度（Interval）
比率測度（Ratio）
數據來源
總體和樣本
總體參數和樣本統計量
數據的類型
麵板數據
非結構化數據
數據與模型的關係
數據的質量
數據的完整性
數據的準確性
數據的可比性與一致性
數據預處理
為什麼需要預處理
髒數據形成的原因
數據清理的重要性
數據清理處理內容
空缺值
噪聲數據
分箱（binning）
分箱方法用於數據平滑
聚類
聚類（Clustering）
計算機和人工檢查相結合
回歸
數據集成
數據變換
數據規範化
數據規約
屬性子集選擇
維規約
主成分分析
主成分分析 (PCA)
數值規約
聚類後抽樣
離散化和概念分層
數值數據離散化和概念分層
數值概念分層
概念分層自動生成
數據預處理小結
描述統計的作用
描述統計
數據整理
數據分組
如何分組？
統計數據的分組
次數分配
變量次數分配的編製
確定組數與組距
分組計算
分6組，組距7
結合實際數據
按5組，10元作為組距， 計算次數。
次數分配表
作圖
用excel作直方圖
分兩組
分組太細會出現什麼問題？
分組數據的圖示 (直方圖的繪製)
次數曲線
累計次數分布
統計表和統計圖
示例數據
線形圖（Line graph）
條形圖 (Bar chart)
圓餅圖 (Pie chart)
環形圖 (doughnut chart)
環形圖
多變量數據—雷達圖 (radar chart)
多變量數據—雷達圖 (雷達圖的製作)
多變量數據—雷達圖 (例題分析)
散點圖（Scatter Diagram）
集中趨勢和離中趨勢
次數分配後有兩個特征
算術平均值
加權算數平均數
算數平均值的好性質一
算數平均值的好性質二
均值的缺點
表示變異（離散）程度的特征數
離散程度的測度
方差
標準差
用Excel計算描述統計量
Excel中的統計函數
數據分布特征和描述統計量
因變量(Y)與自變量(X)之間的關係
變量之間的關係
函數關係
相關關係
總體相關係數
樣本相關係數
相關關係的測度 （相關係數取值及其意義）
相關性的可視化
示例
相關分析中應注意的問題
推斷統計
相關分析與回歸分析
回歸模型的類型
一元線性回歸模型
一元線性回歸模型假設
一元線性回歸方程
模型適合性分析
誤差項的異方差性檢驗
誤差項的自相性關檢驗
誤差項的自相性關檢驗
多元線性回歸分析
多元線性回歸分析的定義
多元線性回歸模型
參數的最小二乘估計
回歸方程的顯著性檢驗
總離差平方和分解
樣本決定係數對回歸方程 “擬合優度”的檢驗
回歸係數的顯著性檢驗
時間序列分析
時間序列的成分
趨勢成分
循環成分
季節成分
不規則成分
利用平滑法進行預測
移動平均法
加權移動平均法
指數平滑法
利用趨勢推測法進行預測
擬合澳大利亞政府1981—1990年 每季度的消費支出序列
線性擬合
擬合效果圖
非線性擬合
常用非線性模型
對上海證券交易所每月末上證指數 序列進行模型擬合
利用趨勢和季節成分進行預測
季節效應分析
時序圖
季節指數
季節指數的計算
季節指數的理解
季節指數圖
綜合分析
(1)繪製時序圖
(2)選擇擬合模型
(3)計算季節指數
季節調整後的序列圖
(4)擬合長期趨勢
(5)殘差檢驗
(6)短期預測
統計數據分析軟件
統計學軟件
..............................