[[PageOutline]] = 實作一: Hadoop 單機安裝 = == 前言 == * 本實作基於 Ubuntu 8.04 LTS 版本,關於 Ubuntu 8.04 的安裝程序,請參考"[wiki:jazz/Hardy Ubuntu 8.04 Server 版安裝步驟]"。 * 本課程實作之電腦教室所提供的作業環境是 Ubuntu 8.04 Server 版加裝 xubuntu 桌面的環境。 * 本頁面的部分指令,是針對不熟悉 Linux 文字編輯器的使用者所設計的'懶人'設定法,您也可以使用習慣使用的文字編輯器(如:vi,nano,joe等)進行修改。 * 這個頁面,黑底白字的部分為指令,請自行剪貼提示符號 "$"(代表一般使用者) 或 "#"(代表最高權限 root 管理者) 之後的指令。 * 登入資訊 || 使用者 || Hadooper|| || 群組 || Hadoop || || 密碼 || ****** || * Hadooper 擁有sudoer 的權限 == step 1. 安裝java == * 由於 Sun Java Runtime 是執行 Hadoop 必備的工具,因此我們需要安裝 JRE 或 JDK。這裡我們直接安裝 JDK,因為後面寫程式仍舊需要用到 JDK 所提供的編譯器。目前 Ubuntu 8.04 提供的 JDK 套件最新版本為 Sun Java(TM) Development Kit (JDK) 6.06 ,套件名稱為 '''sun-java6-jdk'''。並建議刪除原本的 「 gcj 」 。 {{{ ~$ sudo apt-get purge java-gcj-compat ~$ sudo apt-get install sun-java6-bin sun-java6-jdk sun-java6-jre }}} == step 2. 設定登入免密碼 == * 由於Hadoop用ssh 作機器間的溝通,因此先設定登入機器免密碼的設定, {{{ ~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P "" ~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys }}} 完成後請登入確認不用輸入密碼,(第一次登入需按enter鍵,第二次就可以直接登入到系統),以免日後輸入密碼key到手軟 {{{ ~$ ssh localhost ~$ exit ~$ ssh localhost ~$ exit }}} == step 3. 下載安裝Hadoop == * 請至國網中心 TWAREN 的鏡射站下載 Hadoop 0.18.3,並解開壓縮檔到 /opt 路徑。 {{{ ~$ cd /opt /opt$ sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.18.3/hadoop-0.18.3.tar.gz /opt$ sudo tar zxvf hadoop-0.18.3.tar.gz /opt$ sudo mv hadoop-0.18.3/ hadoop /opt$ sudo chown -R hadooper:hadoop hadoop }}} == step 4. 設定 hadoop-env.sh == * 進入 hadoop 目錄,做進一步的設定。我們需要修改兩個檔案,第一個是 '''hadoop-env.sh''',需要設定 JAVA_HOME, HADOOP_HOME, HADOOP_CONF_DIR 三個環境變數。 {{{ /opt$ cd hadoop/ /opt/hadoop$ cat >> conf/hadoop-env.sh << EOF }}} 貼上以下資訊 {{{ #!sh export JAVA_HOME=/usr/lib/jvm/java-6-sun export HADOOP_HOME=/opt/hadoop export HADOOP_CONF_DIR=/opt/hadoop/conf EOF }}} == step 5. 設定 hadoop-site.xml == * 第二個設定檔是 '''hadoop-site.xml''',由於官方所提供的範例並無法直接執行,因此我們參考[http://hadoop.apache.org/core/docs/r0.18.3/quickstart.html 線上文件],做了以下的修改。 {{{ /opt/hadoop$ cat > conf/hadoop-site.xml << EOF }}} 貼上以下內容 {{{ #!sh fs.default.name hdfs://localhost:9000 default file system for NDFS mapred.job.tracker localhost:9001 The host:port that job tracker runs at. EOF }}} == step 6. 格式化HDFS == * 以上我們已經設定好 Hadoop 單機測試的環境,接著讓我們來啟動 Hadoop 相關服務,格式化 namenode, secondarynamenode, tasktracker {{{ /opt/hadoop$ bin/hadoop namenode -format }}} 執行畫面如: {{{ 09/03/23 20:19:47 INFO dfs.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = /localhost STARTUP_MSG: args = [-format] STARTUP_MSG: version = 0.18.3 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.18 -r 736250; compiled by 'ndaley' on Thu Jan 22 23:12:08 UTC 2009 ************************************************************/ 09/03/23 20:19:47 INFO fs.FSNamesystem: fsOwner=hadooper,hadooper 09/03/23 20:19:47 INFO fs.FSNamesystem: supergroup=supergroup 09/03/23 20:19:47 INFO fs.FSNamesystem: isPermissionEnabled=true 09/03/23 20:19:47 INFO dfs.Storage: Image file of size 82 saved in 0 seconds. 09/03/23 20:19:47 INFO dfs.Storage: Storage directory /tmp/hadoop-hadooper/dfs/name has been successfully formatted. 09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at /localhost ************************************************************/ }}} == step 7. 啟動Hadoop == * 接著用 start-all.sh 來啟動所有服務,包含 namenode, datanode, {{{ /opt/hadoop$ bin/start-all.sh }}} 執行畫面如: {{{ starting namenode, logging to /opt/hadoop/logs/hadoop-hadooper-namenode-vPro.out localhost: starting datanode, logging to /opt/hadoop/logs/hadoop-hadooper-datanode-vPro.out localhost: starting secondarynamenode, logging to /opt/hadoop/logs/hadoop-hadooper-secondarynamenode-vPro.out starting jobtracker, logging to /opt/hadoop/logs/hadoop-hadooper-jobtracker-vPro.out }}} == step 8. 完成!檢查運作狀態 == * 啟動之後,可以檢查以下網址,來觀看服務是否正常。[http://localhost:50030/ Hadoop 管理介面] [http://localhost:50060/ Hadoop Task Tracker 狀態] [http://localhost:50070/ Hadoop DFS 狀態] * http://localhost:50030/ - Hadoop 管理介面 * [[Image(hadoop_administration.png)]] ------ * http://localhost:50060/ - Hadoop Task Tracker 狀態 * [[Image(hadoop_task_tracker.png)]] ------ * http://localhost:50070/ - Hadoop DFS 狀態 * [[Image(hadoop_dfs_status.png)]]