大數據流式計算-關鍵技術及係統實例(PDF 24頁)

內容摘要
雲計算、物聯網、移動互連、社交媒體等新興信息技術和應用模式的快速發展,促使全球數據量急劇增加,
推動人類社會邁入大數據時代 [1?4] .一般意義上,大數據是指利用現有理論、方法、技術和工具難以在可接受的
時間內完成分析計算、整體呈現高價值的海量複雜數據集合.大數據呈現出多種鮮明特征 [3?7] :
? 在數據量方麵,當前,全球所擁有的數據總量已經遠遠超過曆史上的任何時期,更為重要的是,數據量的
增加速度呈現出倍增趨勢,並且每個應用所計算的數據量也大幅增加;
? 在數據速率方麵,數據的產生、傳播的速度更快,在不同時空中流轉,呈現出鮮明的流式特征,更為重要
的是,數據價值的有效時間急劇減少,也要求越來越高的數據計算和使用能力;
? 在數據複雜性方麵,數據種類繁多,數據在編碼方式、存儲格式、應用特征等多個方麵也存在多層次、
多方麵的差異性,結構化、半結構化、非結構化數據並存,並且半結構化、非結構化數據所占的比例不
斷增加;
? 在數據價值方麵,數據規模增大到一定程度之後,隱含於數據中的知識的價值也隨之增大,並將更多地
推動社會的發展和科技的進步.此外,大數據往往還呈現出個性化、不完備化、價值稀疏、交叉複用等
特征.
大數據蘊含大信息,大信息提煉大知識,大知識將在更高的層麵、更廣的視角、更大的範圍幫助用戶提高
洞察力、提升決策力,將為人類社會創造前所未有的重大價值.但與此同時,這些總量極大的價值往往隱藏在大
數據中,表現出了價值密度極低、分布極其不規律、信息隱藏程度極深、發現有用價值極其困難的鮮明特征.
這些特征必然為大數據的計算環節帶來前所未有的挑戰和機遇,並要求大數據計算係統具備高性能、實時性、
分布式、易用性、可擴展性等特征.
..............................