數據倉庫建設方案（DOC 32頁）
數據倉庫建設方案（DOC 32頁）內容簡介
1.1數據倉庫總體架構
1.2數據采集
1.2.1外部數據彙集
1.2.1.1數據彙集架構功能
1.2.1.2采集架構優勢
1.2.2內部各層數據提取與加載
1.3數據加工與處理
1.4存儲設計
1.4.1數據量估算
1.4.2數據存儲
1.4.3分層存儲
1.5數據分析建模
1.6數據資源管理
1.6.1數據標準管理
1.6.2數據監控管理
1.6.3元數據管理
1.7數據服務
1.8"SSD。
10年總數據量(乘上增長係數10%)≈530T(含操作係統)
10年數據量=530T*1.5≈800T(2倍冗餘存儲)
2大數據平台管理節點2*IntelXeonE7-4800/8800v3
2.1大數據平台基礎架構
2.2FitData特點
2.3FitData主要功能
2.3.1節點批量自動部署
2.3.2節點動態管理
2.3.3服務組件狀態監控
2.3.4計算資源負載監控
2.3.5多任務實時監控
2.3.6磁盤性能監控
2.3.7故障快速定位
2.3.8日常運維監控
2.4FitData優勢
6應用服務器CPU：2顆E5-2630v3
67列列車年數據量=2*67*365/1024≈48T
7交換機4810/100/1000Base-TX，
7.1Hadoop集群監控
7.1.1服務組件狀態監控
7.1.2存儲與內存資源監控
7.2係統負載管理
7.3操作係統管理
7.3.1磁盤性能監控
7.3.2故障快速定位
7.3.3運行日誌監控
7.4平台安全管理
7.5數據質量管理
7.5.1數據標準化
7.5.2數據質量檢測
7.5.3數據關聯
圖10-7hadoop算法模型圖
圖向集群中添加節點
圖服務組件運行狀況
圖計算資源監控
圖：存儲和內存資源監控
圖：服務組件運行狀況
圖：磁盤性能監控
..............................
1.2數據采集
1.2.1外部數據彙集
1.2.1.1數據彙集架構功能
1.2.1.2采集架構優勢
1.2.2內部各層數據提取與加載
1.3數據加工與處理
1.4存儲設計
1.4.1數據量估算
1.4.2數據存儲
1.4.3分層存儲
1.5數據分析建模
1.6數據資源管理
1.6.1數據標準管理
1.6.2數據監控管理
1.6.3元數據管理
1.7數據服務
1.8"SSD。
10年總數據量(乘上增長係數10%)≈530T(含操作係統)
10年數據量=530T*1.5≈800T(2倍冗餘存儲)
2大數據平台管理節點2*IntelXeonE7-4800/8800v3
2.1大數據平台基礎架構
2.2FitData特點
2.3FitData主要功能
2.3.1節點批量自動部署
2.3.2節點動態管理
2.3.3服務組件狀態監控
2.3.4計算資源負載監控
2.3.5多任務實時監控
2.3.6磁盤性能監控
2.3.7故障快速定位
2.3.8日常運維監控
2.4FitData優勢
6應用服務器CPU：2顆E5-2630v3
67列列車年數據量=2*67*365/1024≈48T
7交換機4810/100/1000Base-TX，
7.1Hadoop集群監控
7.1.1服務組件狀態監控
7.1.2存儲與內存資源監控
7.2係統負載管理
7.3操作係統管理
7.3.1磁盤性能監控
7.3.2故障快速定位
7.3.3運行日誌監控
7.4平台安全管理
7.5數據質量管理
7.5.1數據標準化
7.5.2數據質量檢測
7.5.3數據關聯
圖10-7hadoop算法模型圖
圖向集群中添加節點
圖服務組件運行狀況
圖計算資源監控
圖：存儲和內存資源監控
圖：服務組件運行狀況
圖：磁盤性能監控
..............................
