wiki:MR_manual

Version 8 (modified by waue, 16 years ago) (diff)

--

Map Reduce in Hadoop/HBase Manual (開發手冊)

一、介紹

Title: 雲端技術開發
Research Group : NCHC Cloud Technique Development Group
Editor : Waue Chen、Sunny、Chwhs、Zsjheng

1.1 簡介

  • 近來雲端技術這個名詞由Google、Yahoo這兩個網路龍頭的推波助瀾而刮起旋風,連微軟也宣稱下一代的作業系統為"雲端系統",因此雲端技術勢必為新的趨勢。國網中心為台灣重要的電腦技術研究中心,因此成立團隊開啟雲端技術的研究。
  • 本篇文章探討開源碼專案Hadoop以及HBase,第一章從概念開始介紹起,並在第二、三章詳細的說明如何安裝、設定及運行;第四章探討此系統的效能測試;前一部分介紹如何使用,後一部分開始偏重如何編寫Map Reduce的程式,因此在第五章介紹如何透過Eclipse建立起編程環境;第六章探討Map-Reduce的範例程式碼,最後附上相關連結。

1.2 雲端運算

雲端運算(cloud computing),分散式運算技術的一種,其最基本的概念,是透過網路將龐大的運算處理程序自動分拆成無數個較小的子程序,再交由多部伺服器所組成的龐大系統經搜尋、運算分析之後將處理結果回傳給用戶。透過這項技術,網路服務提供者可以在數秒之內,達成處理數以千萬計甚至億計的資訊,達到和「超級電腦」同樣強大效能的網路服務。
最簡單的雲端運算技術在網路服務中已經隨處可見,例如搜尋引擎,使用者只要輸入簡單指令即能得到大量資訊。 然而大規模分散式運算技術即為「雲端運算」的概念起源,未來如手機、GPS等行動裝置都可以透過雲端運算技術,發展出更多的應用服務。 進一步的雲端運算不僅只做資料搜尋、分析的功能,未來如分析DNA結構、基因圖譜定序、解析癌症細胞等,都可以透過這項技術輕易達成。 adapted by wikipedia

1.3 Hadoop

1.4 HBase

二、環境設定

三、執行

四、效能測試

五、開發程式

六、範例教學

Reference