三七數據大數據技術解決方案(DOC 258頁)
三七數據大數據技術解決方案(DOC 258頁)內容簡介
1.....概述.....6
2.....麵臨的挑戰.....6
2.1.....數據采集.....10
2.2.....數據清洗.....10
2.3.....數據存儲.....12
2.4.....數據並行處理.....12
2.5.....數據分析.....12
2.6.....可視化.....12
2.7.....傳統解決方案的分析.....12
3.....相關技術的研究.....12
3.1.....參考模型框架.....12
3.2.....數據采集.....12
3.2.1.....結構化數據的采集.....12
3.2.2.....半結構化數據的采集.....12
3.2.3.....非結構化文本數據中信息的抽取.....15
3.3.....數據清洗和數據質量的保證.....15
3.3.1.....數據質量的概念及分類.....15
3.3.2.....數據清洗的原理.....18
3.3.3.....單數據源中的數據清洗.....20
3.4.....數據的集成和融合.....37
3.4.1.....多數據源集成問題的分類.....38
3.4.2.....數據標準化的研究.....40
3.4.3.....數據集成的流程.....41
3.4.4.....多數據源中重複實體的清理.....41
3.4.5.....數據不一致性問題的研究.....43
3.5.....數據的存儲和處理.....43
3.5.1.....並行和分布式處理理論.....43
3.5.2.....並行RDBMS.....47
3.5.3.....Hadoop.....49
3.5.4.....Hadoop擴展和優化.....53
3.5.5.....NoSQL.....58
3.5.6.....查詢優化.....110
3.6.....大數據中的數據挖掘.....112
3.6.1.....傳統數據挖掘概述.....112
3.6.2.....大數據時代數據挖掘發展新趨勢.....120
3.6.3.....WEB數據挖掘.....124
3.6.4.....超數據集成挖掘方法與技術研究.....153
3.6.5.....數據挖掘網格技術.....186
3.7.....大規模機器學習.....208
3.7.1.....機器學習概述.....209
3.7.2.....擴展機器學習的必要性.....211
3.7.3.....麵臨的挑戰.....213
3.7.4.....概率圖模型.....214
3.7.5.....集成學習.....215
3.8.....可視化和可視化分析.....225
3.8.1.....概述.....225
3.8.2.....可視化技術.....225
3.8.3.....可視化分析.....227
3.8.4.....文本的可視化分析.....228
3.8.5.....網絡可視化分析.....230
3.8.6.....移動軌跡數據的可視化分析.....230
3.8.7.....交互式可視化分析.....230
3.9.....數據溯源技術的研究.....230
3.9.1.....概述.....231
3.9.2.....模式級數據的溯源.....232
3.9.3.....實例級數據的溯源.....232
3.9.4.....數據溯源應用的分類.....233
3.9.5.....未來研究方向.....234
3.10.....同步技術的研究.....235
3.10.1.....概述.....235
3.10.2.....通信程序.....235
3.10.3.....數據庫複製技術.....239
3.10.4.....ETL技術.....242
3.10.5.....事務處理.....244
3.10.6.....XML技術.....246
3.11.....數據共享技術.....248
3.12.....安全技術的研究.....249
3.12.1.....安全風險分析.....249
3.12.2.....安全技術需求.....250
3.12.3.....身份認證與密匙協商.....251
3.12.4.....訪問控製技術.....251
3.12.5.....入侵檢測技術.....252
3.13.....隱私保護技術的研究.....253
3.13.1.....概述.....253
3.13.2.....隱私保護的技術手段.....254
3.13.3.....匿名技術研究.....256
4.....總體技術解決方案.....258
4.1.....總體描述.....258
4.2.....功能框架.....258
4.3.....技術架構.....258
4.3.1.....數據采集層.....258
4.3.2.....數據管理層.....258
4.3.3.....數據分析層.....258
4.3.4.....數據展示層.....258
4.3.5.....數據應用層.....258
4.4.....與傳統數據解決方案對比.....258
5.....實施方案設計和建議.....258
..............................
2.....麵臨的挑戰.....6
2.1.....數據采集.....10
2.2.....數據清洗.....10
2.3.....數據存儲.....12
2.4.....數據並行處理.....12
2.5.....數據分析.....12
2.6.....可視化.....12
2.7.....傳統解決方案的分析.....12
3.....相關技術的研究.....12
3.1.....參考模型框架.....12
3.2.....數據采集.....12
3.2.1.....結構化數據的采集.....12
3.2.2.....半結構化數據的采集.....12
3.2.3.....非結構化文本數據中信息的抽取.....15
3.3.....數據清洗和數據質量的保證.....15
3.3.1.....數據質量的概念及分類.....15
3.3.2.....數據清洗的原理.....18
3.3.3.....單數據源中的數據清洗.....20
3.4.....數據的集成和融合.....37
3.4.1.....多數據源集成問題的分類.....38
3.4.2.....數據標準化的研究.....40
3.4.3.....數據集成的流程.....41
3.4.4.....多數據源中重複實體的清理.....41
3.4.5.....數據不一致性問題的研究.....43
3.5.....數據的存儲和處理.....43
3.5.1.....並行和分布式處理理論.....43
3.5.2.....並行RDBMS.....47
3.5.3.....Hadoop.....49
3.5.4.....Hadoop擴展和優化.....53
3.5.5.....NoSQL.....58
3.5.6.....查詢優化.....110
3.6.....大數據中的數據挖掘.....112
3.6.1.....傳統數據挖掘概述.....112
3.6.2.....大數據時代數據挖掘發展新趨勢.....120
3.6.3.....WEB數據挖掘.....124
3.6.4.....超數據集成挖掘方法與技術研究.....153
3.6.5.....數據挖掘網格技術.....186
3.7.....大規模機器學習.....208
3.7.1.....機器學習概述.....209
3.7.2.....擴展機器學習的必要性.....211
3.7.3.....麵臨的挑戰.....213
3.7.4.....概率圖模型.....214
3.7.5.....集成學習.....215
3.8.....可視化和可視化分析.....225
3.8.1.....概述.....225
3.8.2.....可視化技術.....225
3.8.3.....可視化分析.....227
3.8.4.....文本的可視化分析.....228
3.8.5.....網絡可視化分析.....230
3.8.6.....移動軌跡數據的可視化分析.....230
3.8.7.....交互式可視化分析.....230
3.9.....數據溯源技術的研究.....230
3.9.1.....概述.....231
3.9.2.....模式級數據的溯源.....232
3.9.3.....實例級數據的溯源.....232
3.9.4.....數據溯源應用的分類.....233
3.9.5.....未來研究方向.....234
3.10.....同步技術的研究.....235
3.10.1.....概述.....235
3.10.2.....通信程序.....235
3.10.3.....數據庫複製技術.....239
3.10.4.....ETL技術.....242
3.10.5.....事務處理.....244
3.10.6.....XML技術.....246
3.11.....數據共享技術.....248
3.12.....安全技術的研究.....249
3.12.1.....安全風險分析.....249
3.12.2.....安全技術需求.....250
3.12.3.....身份認證與密匙協商.....251
3.12.4.....訪問控製技術.....251
3.12.5.....入侵檢測技術.....252
3.13.....隱私保護技術的研究.....253
3.13.1.....概述.....253
3.13.2.....隱私保護的技術手段.....254
3.13.3.....匿名技術研究.....256
4.....總體技術解決方案.....258
4.1.....總體描述.....258
4.2.....功能框架.....258
4.3.....技術架構.....258
4.3.1.....數據采集層.....258
4.3.2.....數據管理層.....258
4.3.3.....數據分析層.....258
4.3.4.....數據展示層.....258
4.3.5.....數據應用層.....258
4.4.....與傳統數據解決方案對比.....258
5.....實施方案設計和建議.....258
..............................
