wwwwwwwwwww.色I日韩精品不卡在线I国产精品涩涩屋www在线观看I亚洲精品无码不卡I久久免费看视频I日日骚网站。I男女爱爱动态图视频I亚洲国产天堂avI久久99这里只有精品I女人18片毛片90分钟I九月伊人中文字幕I狠狠狠综合I亚洲综合免费视频Iav在线影视I青青草原I欧美久久熟妇成人精品I久久免费资源I国产综合久久7777

導讀：開源的數據處理平臺憑借其低成本、高擴展性和靈活性的優(yōu)勢已經贏得了多數網絡巨頭的認可。現(xiàn)在Hadoop將進入更多企業(yè)。 IBM將在明年推出內置NoSQL技術的DB2旗艦級數據庫管理系統(tǒng)。上個月Oracle和Microsoft也分別透露了將計劃在明年發(fā)布基于 Hadoop的產品。兩家公司都計劃提供協(xié)助部署服務和企業(yè)級支持。Oracle已經承諾將會在大數據設備中預裝Hadoop軟件。

大數據革命正以Apache Hadoop為呼叫中心如火如荼的進行著。自從開源分布式數據處理平臺在5年前發(fā)布時討論之聲就不絕于耳。但在過去的18個月中，Hadoop贏得了客戶的認可，并得到眾多商業(yè)化的支持以及眾多數據庫和數據集成軟件商的整合。在眾多廠商之中最著名的三個商業(yè)數據供應商當屬Oracle、IBM和 Microsoft。

Hadoop會在未來成為大數據的重大技術嗎？

Hadoop是一個基于Java的分布式密集數據處理和數據分析的軟件框架。Hadoop在很大程度上是受Google在2004年白皮書中闡述的 MapReduce的技術啟發(fā)。MapReduce工作原理是將任務分解為成百上千塊的小任務，然后發(fā)送到計算機集群中。每臺計算機再傳送會自己那部分信息，MapReduce則迅速整合這些反饋并形成答案。

Hadoop的擴展性非常優(yōu)秀，Hadoop可處理分布在數以千計的低成本X86服務器計算節(jié)點中的大型數據。同時由于眾所周知的摩爾定律，內存和磁盤的容量也在不斷增長。Hadoop對硬件的支持也在加強，現(xiàn)在每個節(jié)點可部署16核的處理器，12TB甚至24TB磁盤。Cloudera透露其推出的產品每個節(jié)點的成本大約4000美元。這個價格對于關系數據庫部署每TB 10000至12000美元來說極具競爭優(yōu)勢。

這種高容量低成本的組合引人注目，但Hadoop最吸引人的是其處理混合數據類型的能力。

Hadoop可以管理結構化數據，以及諸如服務器日志文件和Web點擊流的數據。同時還可以管理以非結構化文本為中心的數據，如Facebook和 Twitter。這種處理多類型數據的能力非常重要。它催生了NoSQL平臺和產品。如Cassandra, CouchDB, MongoDB以及Oracle最新的NoSQL數據庫。而傳統(tǒng)關系型數據庫如Oracle，IBM DB2，Microsoft SQL Server和MySQL則都不能處理混合數據類型和非結構化數據。 由于事務處理靈活性的需求，Hadoop獲得大多數數據分析廠商的關注和支持。

Hadoop已被廣泛應用

現(xiàn)今，Hadoop已被認為是非結構化數據的專用技術。低成本、高擴展性和靈活性等優(yōu)勢已成為處理大規(guī)模點擊流量分析和廣告定位等網絡巨頭（如AOL和comScore）的首選。

AOL三年多時間一直使用Hadoop。AOL的研發(fā)團隊在加利福尼亞州的Mountain View部署了300節(jié)點的系統(tǒng)，該系統(tǒng)可以存儲每天數十億事件和超過500TB的點擊流數據。點擊所帶來流數據是高度結構化的，但數據量是非常龐大和多樣的。所以幾乎不可能處理所有的提取、轉換和負載工作。AOL為了解決以上問題決定使用Hadoop MapReduce處理分布在數百個計算節(jié)點的數據過濾和關聯(lián)任務。由于Hadoop為業(yè)務帶來的優(yōu)勢，AOL的Hadoop研發(fā)團隊在今年四月在其總部部署了700節(jié)點的系統(tǒng)。

Hadoop適用于所有類型數據的特性注定將使Hadoop在更廣泛的領域使用。例如提供托管服務和中小型企業(yè)應用服務提供商SunGrad。他們將計劃推出基于云的托管服務，旨在幫助金融服務公司處理他們基于Hadoop MapReduce的數據處理。

商用軟件廠商Tidemark最近也推出一款SaaS軟件，這種基于云的性能管理應用使用MapReduce將混合數據源轉化為產品或金融規(guī)劃方案。

三巨頭大數據領域齊發(fā)力

在上月美國拉斯維加斯舉行IOD年度大會上IBM院士、DB2總架構師Curt Cotner宣布IBM將在明年推出內置NoSQL技術的DB2旗艦級數據庫管理系統(tǒng)。他還表示未來的數據庫發(fā)展方向是非關系數據庫NoSQL。目前 Google的BigTable和Amazon的Dynamo都用NoSQL型數據庫，而傳統(tǒng)的關系數據庫在應付超大規(guī)模、高并發(fā)的SNS、web2.0 網站已經力不從心。同時IBM發(fā)布了一系列數據分析軟件，包括云計算版本的InfoSphere BigInsights。BigInsights是一套建立在Hadoop上的數據分析軟件，能夠處理企業(yè)用戶收集大量非結構化資料。

微軟也在10月12日在西雅圖舉行的SQL PASS 2011峰會宣布將與從雅虎分拆出來的Hortonworks合作開發(fā)Hadoop，并將在Apache Hadoop上實現(xiàn)搭建Windows Azure以及Windows Server平臺。同時基于Hadoop的Windows Server還會與微軟現(xiàn)有的BI工具聯(lián)合處理任務。

Oracle作為全球最大的關系型數據庫提供商也有所行動。其在2011 Oracle全球大會上推出了Big Data Appliance。Big Data Appliance是一個集成了Hadoop、NoSQL Database、Oracle數據庫Hadoop適配器、Oracle數據庫Hadoop裝載器及R語言的系統(tǒng)。

Hadoop的未來

根據目前的狀況來看，Hadoop作為企業(yè)級數據倉庫體系結構核心技術，在未來的數年中將會保持持續(xù)增長的勢頭。包括MapR、Zettaset、 Cloudera、HStreaming、Hadapt、DataStax、Datameer這些與Hadoop相關的新公司已經獲得投資，為人們所熟知，為各種市場帶來最新技術。

與此同時下一代的MapReduce會完善很多之前不盡人如意的地方。首先節(jié)點數將從目前的4000增加到6000-10000，其次并發(fā)的任務數從目前的40000增加到100000。另外將繼續(xù)加大對硬件支持，同時架構也會有所改變，包括更多編程模式的支持。

  歡迎轉載，本文版權歸于杭州網站建設（http://m.hhxlawyer.com）

  更多IT行業(yè)資訊：怎么樣提升(IT)產品用戶體驗?