公司的“大數據”
隨著公司業務的增長，大量和流程、規則相關的非結構化數據也爆發式增長。比如：
1、業務系統現在平均每天存儲20萬張圖片，磁盤空間每天消耗100G；
2、平均每天產生簽約視頻文件6000個，每個平均250M，磁盤空間每天消耗1T;
……
三國里的“大數據”
“草船借箭”和大數據有什么關系呢？對天象的觀察是基于一種對風、云、溫度、濕度、光照和所處節氣的綜合分析這些數據來源于多元化的“非結構”類型，并且數據量較大，只不過這些數據輸入到的不是電腦，而是人腦并最終通過計算分析得出結論。



Google分布式計算的三駕馬車
Google File System用來解決數據存儲的問題，采用N多臺廉價的電腦，使用冗余（也就是一份文件保存多份在不同的電腦之上）的方式，來取得讀寫速度與數據安全并存的結果。
Map-Reduce說穿了就是函數式編程，把所有的操作都分成兩類，map與reduce，map用來將數據分成多份，分開處理，reduce將處理后的結果進行歸并，得到最終的結果。
BigTable是在分布式系統上存儲結構化數據的一個解決方案，解決了巨大的Table的管理、負載均衡的問題。
Hadoop體系架構



Hadoop核心設計 国产精品视频人人做人人