大數(shù)據(jù)分析是指對規(guī)模巨大的數(shù)據(jù)進行分析，主要包括以下五個方面：

　　1. Analytic Visualizations（可視化分析）

　　不管是對數(shù)據(jù)分析專家還是普通用戶，數(shù)據(jù)可視化是數(shù)據(jù)分析工具最基本的要求。可視化可以直觀的展示數(shù)據(jù)，讓數(shù)據(jù)自己說話，讓觀眾聽到結果。

　　2. Data Mining Algorithms（數(shù)據(jù)挖掘算法）

　　可視化是給人看的，數(shù)據(jù)挖掘就是給機器看的。集群、分割、孤立點分析還有其他的算法讓我們深入數(shù)據(jù)內部，挖掘價值。這些算法不僅要處理大數(shù)據(jù)的量，也要處理大數(shù)據(jù)的速度。

　　3. Predictive Analytic Capabilities（預測性分析能力）

　　數(shù)據(jù)挖掘可以讓分析員更好的理解數(shù)據(jù)，而預測性分析可以讓分析員根據(jù)可視化分析和數(shù)據(jù)挖掘的結果做出一些預測性的判斷。

　　4. Semantic Engines（語義引擎）

　　我們知道由于非結構化數(shù)據(jù)的多樣性帶來了數(shù)據(jù)分析的新的挑戰(zhàn)，我們需要一系列的工具去解析，提取，分析數(shù)據(jù)。語義引擎需要被設計成能夠從“文檔”中智能提取信息。?

　　5. Data Quality and Master Data Management（數(shù)據(jù)質量和數(shù)據(jù)管理）

　　數(shù)據(jù)質量和數(shù)據(jù)管理是一些管理方面的最佳實踐。通過標準化的流程和工具對數(shù)據(jù)進行處理可以保證一個預先定義好的高質量的分析結果。

　　大數(shù)據(jù)分析的工具主要包括數(shù)據(jù)倉庫、數(shù)據(jù)集市、前端展現(xiàn)等。目前開源工具中廣泛使用的是Hadoop，Hadoop是一個項目的總稱，主要是由HDFS和 MapReduce組成。其中HDFS是Google File System（GFS）的開源實現(xiàn)，MapReduce是Google MapReduce的開源實現(xiàn)。

　　Google最早建立了大數(shù)據(jù)分析工具體系，Google的數(shù)據(jù)中心使用廉價的Linux PC機組成集群，在上面運行各種應用。即使是分布式開發(fā)的新手也可以迅速使用Google的基礎設施。核心組件是3個：

　　⒈GFS（Google File System）。一個分布式文件系統(tǒng)，隱藏下層負載均衡，冗余復制等細節(jié)，對上層程序提供一個統(tǒng)一的文件系統(tǒng)API接口。Google根據(jù)自己的需求對它 進行了特別優(yōu)化，包括：超大文件的訪問，讀操作比例遠超過寫操作，PC機極易發(fā)生故障造成節(jié)點失效等。GFS把文件分成64MB的塊，分布在集群的機器 上，使用Linux的文件系統(tǒng)存放。同時每塊文件至少有3份以上的冗余。中心是一個Master節(jié)點，根據(jù)文件索引，找尋文件塊。詳見Google的工程 師發(fā)布的GFS論文。

　　⒉MapReduce。Google發(fā)現(xiàn)大多數(shù)分布式運算可以抽象為MapReduce操作。Map是把輸入Input分解成中間的Key/Value 對，Reduce把Key/Value合成最終輸出Output。這兩個函數(shù)由程序員提供給系統(tǒng)，下層設施把Map和Reduce操作分布在集群上運行， 并把結果存儲在GFS上。

　　⒊BigTable。一個大型的分布式數(shù)據(jù)庫，這個數(shù)據(jù)庫不是關系式的數(shù)據(jù)庫。像它的名字一樣，就是一個巨大的表格，用來存儲結構化的數(shù)據(jù)。

　　當前用于分析大數(shù)據(jù)的工具主要有開源與商用兩個生態(tài)圈。

　　開源大數(shù)據(jù)生態(tài)圈：

　　1、Hadoop HDFS、HadoopMapReduce, HBase、Hive 漸次誕生，早期Hadoop生態(tài)圈逐步形成。

　　2、. Hypertable是另類。它存在于Hadoop生態(tài)圈之外，但也曾經(jīng)有一些用戶。

　　3、NoSQL，membase、MongoDb

　　商用大數(shù)據(jù)生態(tài)圈：

　　1、一體機數(shù)據(jù)庫/數(shù)據(jù)倉庫：IBM PureData(Netezza), OracleExadata, SAP Hana等等。

　　2、數(shù)據(jù)倉庫：TeradataAsterData, EMC GreenPlum, HPVertica 等等。

　　3、數(shù)據(jù)集市：QlikView、 Tableau 、 以及國內的Yonghong Data Mart 。