大數據技術綜述(DOC 21頁)

內容摘要
1 大數據的發展背景及定義
當今,信息技術為人類步入智能社會開啟了大門,帶動了互聯網、物聯網、電子商務、現代物流、網絡金融等現代服務業發展,催生了車聯網、智能電網、新能源、智能交通、智能城市、高端裝備製造等新興產業發展.現代信息技術正成為各行各業運營和發展的引擎.但這個引擎正麵臨著大數據這個巨大的考驗[57].各種業務數據正以幾何級數的形式爆發[1],其格式、收集、儲存、檢索、分析、應用等諸多問題,不再能以傳統的信息處理技術加以解決,對人類實現數字社會、網絡社會和智能社會帶來了極大的障礙.紐約證券交易所每天產生1TB的交易數據;Twitter每天就會生成超過7TB的數據;Facebook每天會產生超過10TB的數據;位於歐洲粒子物理實驗室的大型強子對撞機每年產生約15PB的數據.根據著名谘詢公司IDC的調查與統計,07年全球信息量約為165EB,即使在全球遭遇金融危機的2009年,全球信息量仍達到800EB,比上一年度增長62%;未來每隔18個月,整個世界的數據總量就會翻倍;預計2020年這一數字將達到35ZB,約為2007年的230倍,而人類曆史5000年的文字記載隻有5EB數據.上述統計與調查預示著TB、PB、EB的時代已經成為過去,全球將正式進入數據存儲的“澤它(Zetta)時代”.
從2009年開始,“大數據”成為互聯網信息技術行業的流行詞彙,大數據起初成熟應用多在互聯網行業,互聯網上的數據每年增長50%,每兩年翻一番,全球互聯網企業都意識到“大數據”時代的來臨,數據對於企業有著重要意義.2011年5月,MKXZ全球研究院發布題為《大數據:創新、競爭和生產力的下一個新領域》[2]的報告.報告發布後,“大數據”迅速成為計算機行業的熱門概念.2012年4月美國奧巴馬政府推出”大數據研究和發展倡議”[3],並劃撥2億美元的專項資金之後,在全球掀起了一股大數據的熱潮.根據Wikibon 2011年發布的大數據報告[4],大數據市場正處在井噴式增長的前夕,未來五年全球大數據市場價值將高達500億美元.2012年初,大數據相關軟件、硬件和服務的收入總和隻有約50億美元.但隨著企業逐漸認識到大數據和相關分析將形成新的差異化競爭優勢,提升運營效率,大數據相關技術和服務將獲得長足發展,大數據將逐漸落地,並在未來五年保持58%的驚人複合增長速度.投資銀行JMP Securities分析師Greg McDowell則表示大數據工具市場預計將在10年內由去年的90億美元增長至860億美元.到2020年,企業在大數據工具方麵的投資將占整體企業IT開支的11%.
目前,業界對大數據還沒有一個統一的定義,常見的大數據定義如下:
“大數據是指無法在一定時間內用傳統數據庫軟件工具對其內容進行抓取、管理和處理的數據集合.”——MKXZ.
“大數據是指無法在一定時間內用常規軟件工具對其內容迚行抓取、管理和處理的數據集.”——維基百科
“大數據是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產.”----Gartner

..............................