某金融集團大數據分析平台總體架構方案(PPT 82頁)

議程
金融集團管理分析類應用建設現狀基本分析
大數據分析平台建設目標
大數據分析平台建設預期收益
大數據分析平台總體架構
大數據分析平台總體架構——數據產生層
大數據分析平台總體架構——數據交換層
大數據分析平台總體架構——數據交換層NAS存儲
大數據分析平台總體架構——數據交換層大數據交換組件
大數據分析平台總體架構——數據交換層數據庫數據交換組件
大數據分析平台總體架構——數據交換層數據區數據交換組件
大數據分析平台總體架構——流程調度層批量處理流程
大數據分析平台總體架構——流程調度層實時數據處理流程
大數據分析平台總體架構——流程調度層歸檔數據處理流程
大數據分析平台總體架構——數據存儲層
大數據分析平台總體架構——數據存儲層（續）
大數據分析平台總體架構——數據存儲層數據流
大數據分析平台總體架構——數據應用層
大數據分析平台總體架構——平台發展不同階段對應應用
大數據分析平台總體架構——管理分析類應用
大數據分析平台總體架構——數據訪問層
大數據分析平台總體架構——數據管控層
大數據分析平台總體架構——數據管控體係內部運轉機製
大數據分析平台總體架構——數據管控組織
大數據分析平台總體架構——數據標準管理
大數據分析平台總體架構——數據質量管理
大數據分析平台總體架構——元數據管理
大數據分析平台總體架構——數據安全管理
大數據分析平台總體架構——高階工作流程
大數據分析平台總體架構——數據管控平台
大數據分析平台總體產品框架
大數據分析平台演進路線
大數據分析平台演進說明——基礎數據平台
大數據分析平台演進說明——數據管控
大數據分析平台演進說明——應用體係
金融大數據分析平台一期架構
數據交換平台 — 平台邏輯架構
雲數據推送平台實現源係統數據一次獲取獲、按需分發。
平台采用GoldenGate、JBUS、Flume等技術獲取增量數據，存儲在MySQL集群
平台按照接口規範生成文件，LZO壓縮後，通過FTP傳輸到NAS指定目錄
數據交換平台 — 參與方責任劃分
數據交換平台 — 業務係統數據抽取實現方式
數據交換平台 — 平台部署架構
數據交換平台由8台X86服務器和一個NAS集群構成
X86 服務器按照功能分為2組，一組實現數據獲取，一組實現數據加載和歸檔
NAS集群作為公共數據區，由8台服務器共享訪問（讀寫）
流程調度平台 — 平台邏輯架構
流程調度平台 — 流程調度元數據
流程調度平台 — 任務調度引擎
流程調度平台 — 集群可靠性和可擴展性
流程調度平台 — 平台部署架構
..............................