| 1 | {{{ |
| 2 | #!html |
| 3 | <div style="text-align: center;"><big |
| 4 | style="font-weight: bold;"><big><big>實作一: Hadoop 0.20 單機安裝</big></big></big></div> |
| 5 | }}} |
| 6 | [[PageOutline]] |
| 7 | |
| 8 | == 前言 == |
| 9 | |
| 10 | * 本實作基於 Ubuntu 8.04 LTS 版本,關於 Ubuntu 8.04 的安裝程序,請參考"[wiki:jazz/Hardy Ubuntu 8.04 Server 版安裝步驟]"。 |
| 11 | * 本課程實作之電腦教室所提供的作業環境是 Ubuntu 8.04 Server 版加裝 xubuntu 桌面的環境。 |
| 12 | * 本頁面的部分指令,是針對不熟悉 Linux 文字編輯器的使用者所設計的'懶人'設定法,您也可以使用習慣使用的文字編輯器(如:vi,nano,joe等)進行修改。 |
| 13 | * '''黑底白字的部分為指令或console秀出的畫面''',請自行剪貼提示符號 "$"(代表一般使用者) 或 "#"(代表最高權限 root 管理者) 之後的指令。如: |
| 14 | {{{ |
| 15 | /home/DIR$ Copy_Command From To ... |
| 16 | }}} |
| 17 | 則複製''' Copy_Command From To ... ''' 這個指令,貼到你的console來執行。(/home/DIR 代表目前所在的目錄路徑) |
| 18 | * '''白底黑字的部分為文件內的內容''' ,如 |
| 19 | {{{ |
| 20 | #!sh |
| 21 | I am context. |
| 22 | }}} |
| 23 | 如果熟悉vi,nano,joe等編輯器可複製此區內容貼到文件內(雖然此頁面的指令都已經簡化過) |
| 24 | |
| 25 | * 登入資訊 |
| 26 | |
| 27 | || 使用者 || hadooper|| |
| 28 | || 群組 || hadooper || |
| 29 | || 密碼 || ****** || |
| 30 | * Hadooper 擁有sudoer 的權限 |
| 31 | |
| 32 | == step 1. 設定登入免密碼 == |
| 33 | |
| 34 | * 由於Hadoop用ssh 作機器間的溝通,因此先設定登入機器免密碼的設定, |
| 35 | |
| 36 | {{{ |
| 37 | ~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P "" |
| 38 | ~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys |
| 39 | }}} |
| 40 | |
| 41 | 完成後請登入確認不用輸入密碼,(第一次登入需按enter鍵,第二次就可以直接登入到系統),以免日後輸入密碼key到手軟 |
| 42 | |
| 43 | {{{ |
| 44 | ~$ ssh localhost |
| 45 | ~$ exit |
| 46 | ~$ ssh localhost |
| 47 | ~$ exit |
| 48 | }}} |
| 49 | |
| 50 | == step 2. 安裝java == |
| 51 | * 由於 Sun Java Runtime 是執行 Hadoop 必備的工具,因此我們需要安裝 JRE 或 JDK。這裡我們直接安裝 JDK,因為後面寫程式仍舊需要用到 JDK 所提供的編譯器。目前 Ubuntu 8.04 提供的 JDK 套件最新版本為 Sun Java(TM) Development Kit (JDK) 6.06 ,套件名稱為 '''sun-java6-jdk'''。並建議刪除原本的 「 gcj 」 。 |
| 52 | |
| 53 | {{{ |
| 54 | ~$ sudo apt-get purge java-gcj-compat |
| 55 | ~$ sudo apt-get install sun-java6-bin sun-java6-jdk sun-java6-jre |
| 56 | }}} |
| 57 | |
| 58 | |
| 59 | == step 3. 下載安裝Hadoop == |
| 60 | |
| 61 | * 請至國網中心 TWAREN 的鏡射站下載 Hadoop 0.20.2,並解開壓縮檔到 /opt 路徑。 |
| 62 | |
| 63 | {{{ |
| 64 | ~$ cd /opt |
| 65 | /opt$ sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz |
| 66 | /opt$ sudo tar zxvf hadoop-0.20.2.tar.gz |
| 67 | /opt$ sudo mv hadoop-0.20.2/ hadoop |
| 68 | /opt$ sudo chown -R hadooper:hadooper hadoop |
| 69 | /opt$ sudo mkdir /var/hadoop |
| 70 | /opt$ sudo chown -R hadooper:hadooper /var/hadoop |
| 71 | }}} |
| 72 | |
| 73 | |
| 74 | == step 4. 設定 hadoop-env.sh == |
| 75 | |
| 76 | * 進入 hadoop 目錄,做進一步的設定。我們需要修改兩個檔案,第一個是 '''hadoop-env.sh''',需要設定 JAVA_HOME, HADOOP_HOME, HADOOP_CONF_DIR 三個環境變數。 |
| 77 | |
| 78 | {{{ |
| 79 | /opt$ cd hadoop/ |
| 80 | /opt/hadoop$ cat >> conf/hadoop-env.sh << EOF |
| 81 | }}} |
| 82 | |
| 83 | 貼上以下資訊 |
| 84 | |
| 85 | {{{ |
| 86 | #!sh |
| 87 | export JAVA_HOME=/usr/lib/jvm/java-6-sun |
| 88 | export HADOOP_HOME=/opt/hadoop |
| 89 | export HADOOP_CONF_DIR=/opt/hadoop/conf |
| 90 | EOF |
| 91 | }}} |
| 92 | |
| 93 | |
| 94 | == step 5. 設定 *-site.xml == |
| 95 | |
| 96 | * 接下來的設定檔共有3個 '''core-site.xml, hdfs-site.xml, mapred-site.xml''', |
| 97 | |
| 98 | {{{ |
| 99 | /opt/hadoop$ cat > conf/core-site.xml << EOF |
| 100 | }}} |
| 101 | |
| 102 | 貼上以下內容 |
| 103 | |
| 104 | {{{ |
| 105 | #!sh |
| 106 | <configuration> |
| 107 | <property> |
| 108 | <name>fs.default.name</name> |
| 109 | <value>hdfs://localhost:9000</value> |
| 110 | </property> |
| 111 | <property> |
| 112 | <name>hadoop.tmp.dir</name> |
| 113 | <value>/var/hadoop/hadoop-\${user.name}</value> |
| 114 | </property> |
| 115 | </configuration> |
| 116 | EOF |
| 117 | }}} |
| 118 | |
| 119 | |
| 120 | {{{ |
| 121 | /opt/hadoop$ cat > conf/hdfs-site.xml << EOF |
| 122 | }}} |
| 123 | |
| 124 | 貼上以下內容 |
| 125 | |
| 126 | {{{ |
| 127 | #!sh |
| 128 | <configuration> |
| 129 | <property> |
| 130 | <name>dfs.replication</name> |
| 131 | <value>1</value> |
| 132 | </property> |
| 133 | </configuration> |
| 134 | EOF |
| 135 | }}} |
| 136 | |
| 137 | |
| 138 | {{{ |
| 139 | /opt/hadoop$ cat > conf/mapred-site.xml << EOF |
| 140 | }}} |
| 141 | |
| 142 | 貼上以下內容 |
| 143 | |
| 144 | {{{ |
| 145 | #!sh |
| 146 | <configuration> |
| 147 | <property> |
| 148 | <name>mapred.job.tracker</name> |
| 149 | <value>localhost:9001</value> |
| 150 | </property> |
| 151 | </configuration> |
| 152 | EOF |
| 153 | }}} |
| 154 | |
| 155 | == step 6. 格式化HDFS == |
| 156 | |
| 157 | * 以上我們已經設定好 Hadoop 單機測試的環境,接著讓我們來啟動 Hadoop 相關服務,格式化 namenode, secondarynamenode, tasktracker |
| 158 | |
| 159 | {{{ |
| 160 | /opt/hadoop$ bin/hadoop namenode -format |
| 161 | }}} |
| 162 | |
| 163 | 執行畫面如: |
| 164 | |
| 165 | {{{ |
| 166 | 09/03/23 20:19:47 INFO dfs.NameNode: STARTUP_MSG: |
| 167 | /************************************************************ |
| 168 | STARTUP_MSG: Starting NameNode |
| 169 | STARTUP_MSG: host = /localhost |
| 170 | STARTUP_MSG: args = [-format] |
| 171 | STARTUP_MSG: version = 0.20.2 |
| 172 | STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.20 -r 736250; compiled by 'ndaley' on Thu Jan 22 23:12:08 UTC 2009 |
| 173 | ************************************************************/ |
| 174 | 09/03/23 20:19:47 INFO fs.FSNamesystem: fsOwner=hadooper,hadooper |
| 175 | 09/03/23 20:19:47 INFO fs.FSNamesystem: supergroup=supergroup |
| 176 | 09/03/23 20:19:47 INFO fs.FSNamesystem: isPermissionEnabled=true |
| 177 | 09/03/23 20:19:47 INFO dfs.Storage: Image file of size 82 saved in 0 seconds. |
| 178 | 09/03/23 20:19:47 INFO dfs.Storage: Storage directory /var/hadoop/hadoop-root/dfs/name has been successfully formatted. |
| 179 | 09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG: |
| 180 | /************************************************************ |
| 181 | SHUTDOWN_MSG: Shutting down NameNode at /localhost |
| 182 | ************************************************************/ |
| 183 | }}} |
| 184 | |
| 185 | == step 7. 啟動Hadoop == |
| 186 | |
| 187 | * 接著用 start-all.sh 來啟動所有服務,包含 namenode, datanode, |
| 188 | |
| 189 | {{{ |
| 190 | /opt/hadoop$ bin/start-all.sh |
| 191 | }}} |
| 192 | |
| 193 | 執行畫面如: |
| 194 | |
| 195 | {{{ |
| 196 | starting namenode, logging to /opt/hadoop/logs/hadoop-hadooper-namenode-pc218.out |
| 197 | localhost: starting datanode, logging to /opt/hadoop/logs/hadoop-hadooper-datanode-pc218.out |
| 198 | localhost: starting secondarynamenode, logging to /opt/hadoop/logs/hadoop-hadooper-secondarynamenode-pc218.out |
| 199 | starting jobtracker, logging to /opt/hadoop/logs/hadoop-hadooper-jobtracker-pc218.out |
| 200 | localhost: starting tasktracker, logging to /opt/hadoop/logs/hadoop-hadooper-tasktracker-pc218.out |
| 201 | }}} |
| 202 | |
| 203 | == step 8. 完成!檢查運作狀態 == |
| 204 | |
| 205 | * 啟動之後,可以檢查以下網址,來觀看服務是否正常。[http://localhost:50030/ Hadoop 管理介面] [http://localhost:50060/ Hadoop Task Tracker 狀態] [http://localhost:50070/ Hadoop DFS 狀態] |
| 206 | |
| 207 | * http://localhost:50030/ - Hadoop 管理介面 |
| 208 | |
| 209 | ------ |
| 210 | * http://localhost:50060/ - Hadoop Task Tracker 狀態 |
| 211 | |
| 212 | ------ |
| 213 | * http://localhost:50070/ - Hadoop DFS 狀態 |
| 214 | |