大數據分析方法論及工具(PPT 65頁)

數據分析即從數據、信息到知識的過程，數據分析需要數
學理論、行業經驗以及計算機工具三者結合
隨著計算機技術發展和數據分析理論的更新，當前的數據
分析逐步成為機器語言、統計知識兩個學科的交集（備選）
隨著計算機科學的進步，數據挖掘、商務智能、大數據等
概念的出現，數據分析的手段和方法更加豐富
數據分析標準流程
數據分析框架
數據清洗&數據探索
數據清洗：1.異常值判別
常見統計判別法
數據清洗：2.缺失值處理
數據探索
數據特征描述
數據概率分布
數據分布初步推斷
結構優化——相關性分析
結構優化——主成分分析
數據轉換
分類模型評估
聚類分析
聚類分析——K均值聚類
聚類模型評估
關聯規則
基本概念
關聯規則模型評估
時間序列算法介紹
時間序列算法介紹-ARIMA
常用的數據分析工具
數據挖掘工具-SAS
數據挖掘工具-SPSSClementine（現已更名為：PASW
Modeler）
數據挖掘工具-R
數據挖掘工具-Stata
數據挖掘工具-MATLAB
數據挖掘工具-其他
數據挖掘的工具及軟件
數據分析發展曆程
..............................