| 1 | {{{ |
| 2 | #!html |
| 3 | <div style="text-align: center;"><big |
| 4 | style="font-weight: bold;"><big><big>實作三: Hadoop 叢集安裝</big></big></big></div> |
| 5 | }}} |
| 6 | [[PageOutline]] |
| 7 | |
| 8 | == 前言 == |
| 9 | |
| 10 | * 您手邊有兩台電腦,假設剛剛操作的電腦為Node 1 ,另一台則為Node 2 。則稍後的環境如下 |
| 11 | |
| 12 | || || '''管理Data的身份''' || '''管理Job的身份''' || |
| 13 | || '''Node 1 ''' || namenode(master)& datanode || tasktracker(slave)|| |
| 14 | || '''Node 2 ''' || jobtracker(master)& datanode(slave) || tasktracker|| |
| 15 | |
| 16 | * 這個實做會架設運作在叢集環境上的Hadoop,因此若是你的電腦還存在著之前的實做一的環境,請先作step 0,以移除掉之前的設定。 |
| 17 | |
| 18 | * 以下node01代表你Node 1 的ip位址,node02為你Node 2 的ip位址,請查清楚之後作設定 |
| 19 | |
| 20 | * 確認您Node 1的 hostname 與 Node 2 的 hostname,並將下面指令有 node01與node02 的地方作正確的取代 |
| 21 | |
| 22 | * 為了簡化操作步驟,'''大部分的指令在Node 1 執行即可,不過step2 的安裝java則需要在Node 2 上實機操作喔!''' |
| 23 | |
| 24 | * 維持好習慣,請幫你待會要操作的主機設root密碼 |
| 25 | {{{ |
| 26 | ~$ sudo passwd |
| 27 | }}} |
| 28 | |
| 29 | === 清除所有在實做一作過的環境 === |
| 30 | |
| 31 | * 在 Node 1 (有操作過 實做一 的電腦)上操作 |
| 32 | {{{ |
| 33 | ~$ cd ~ |
| 34 | ~$ killall java |
| 35 | ~$ rm -rf /tmp/hadoop-hadooper* |
| 36 | ~$ sudo rm -rf /opt/hadoop |
| 37 | ~$ rm -rf ~/.ssh |
| 38 | }}} |
| 39 | |
| 40 | |
| 41 | == step 0. 設定機器的ip & hostname 資訊 == |
| 42 | |
| 43 | * 確認您Node 1的 hostname 與 Node 2 的 hostname,並將下面指令有 node01與node02 的地方作正確的取代 |
| 44 | |
| 45 | == step 1. 設定兩台機器登入免密碼 == |
| 46 | |
| 47 | * 在Node 1 上操作 |
| 48 | |
| 49 | {{{ |
| 50 | ~$ sudo gedit /etc/ssh/ssh_config |
| 51 | }}} |
| 52 | * 把原本的ask改成no |
| 53 | {{{ |
| 54 | #!sh |
| 55 | StrictHostKeyChecking no |
| 56 | }}} |
| 57 | * 並且把此檔替換到其他node |
| 58 | {{{ |
| 59 | ~$ sudo su - |
| 60 | ~# scp /etc/ssh/ssh_config node2:/etc/ssh/ |
| 61 | ~# exit |
| 62 | }}} |
| 63 | * 接著將key複製到其他node上 |
| 64 | {{{ |
| 65 | ~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P "" |
| 66 | ~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys |
| 67 | ~$ scp -r ~/.ssh node02:~/ |
| 68 | }}} |
| 69 | * 測試看看是否登入免密碼 |
| 70 | {{{ |
| 71 | ~$ ssh node02 |
| 72 | ~$ ssh node01 |
| 73 | ~$ exit |
| 74 | ~$ exit |
| 75 | ~$ |
| 76 | }}} |
| 77 | |
| 78 | * 完成後請登入確認不用輸入密碼,(第一次登入需按 yes ,第二次就可以直接登入到系統),以免日後輸入密碼不隻手軟而已.... |
| 79 | |
| 80 | == step 2. 安裝java == |
| 81 | |
| 82 | * 為兩台電腦安裝java |
| 83 | * Node 1 & Node 2 都要操作以下指令 |
| 84 | {{{ |
| 85 | ~$ sudo apt-get purge java-gcj-compat |
| 86 | ~$ sudo apt-get install sun-java6-bin sun-java6-jdk sun-java6-jre |
| 87 | ~$ ssh node2 |
| 88 | ~$ sudo apt-get purge java-gcj-compat |
| 89 | ~$ sudo apt-get install sun-java6-bin sun-java6-jdk sun-java6-jre |
| 90 | ~$ exit |
| 91 | }}} |
| 92 | |
| 93 | |
| 94 | == step 3. 下載安裝Hadoop到Node 1 == |
| 95 | |
| 96 | * 先在Node 1 上安裝,其他node的安裝等設定好之後在一起作 |
| 97 | |
| 98 | {{{ |
| 99 | ~$ cd /opt |
| 100 | /opt$ sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.18.3/hadoop-0.18.3.tar.gz |
| 101 | /opt$ sudo tar zxvf hadoop-0.18.3.tar.gz |
| 102 | /opt$ sudo mv hadoop-0.18.3/ hadoop |
| 103 | /opt$ sudo chown -R hadooper:hadooper hadoop |
| 104 | }}} |
| 105 | |
| 106 | == step 4. 設定 hadoop-env.sh == |
| 107 | |
| 108 | * Node 1 上用gedit 編輯 conf/hadoop-env.sh |
| 109 | |
| 110 | {{{ |
| 111 | /opt$ cd hadoop/ |
| 112 | /opt/hadoop$ gedit conf/hadoop-env.sh |
| 113 | }}} |
| 114 | |
| 115 | 將以下資訊貼入 conf/hadoop-env.sh 檔內 |
| 116 | |
| 117 | {{{ |
| 118 | #!sh |
| 119 | export JAVA_HOME=/usr/lib/jvm/java-6-sun |
| 120 | export HADOOP_HOME=/opt/hadoop |
| 121 | export HADOOP_CONF_DIR=/opt/hadoop/conf |
| 122 | export HADOOP_LOG_DIR=/tmp/hadoop/logs |
| 123 | export HADOOP_PID_DIR=/tmp/hadoop/pids |
| 124 | }}} |
| 125 | * 注意,在此實做中,我們多設定了HADOOP_PID_DIR及HADOOP_LOG_DIR的參數,並且把值寫入到我們hadooper的家目錄中,此舉並非完全必要,但一個目的是介紹更多hadoop-env.sh內的參數,另一目的為讓log,pid等常變資料與hadoop家目錄分離 |
| 126 | |
| 127 | == step 5. 設定 hadoop-site.xml == |
| 128 | |
| 129 | * 第二個設定檔是 '''hadoop-site.xml''',由於官方所提供的範例並無法直接執行,因此我們參考[http://hadoop.apache.org/core/docs/r0.18.3/quickstart.html 線上文件],做了以下的修改。 |
| 130 | |
| 131 | {{{ |
| 132 | /opt/hadoop# gedit conf/hadoop-site.xml |
| 133 | }}} |
| 134 | |
| 135 | 將以下資料取代掉原本的內容 |
| 136 | |
| 137 | {{{ |
| 138 | #!sh |
| 139 | <configuration> |
| 140 | <property> |
| 141 | <name>fs.default.name</name> |
| 142 | <value>hdfs://node01:9000/</value> |
| 143 | <description> </description> |
| 144 | </property> |
| 145 | <property> |
| 146 | <name>mapred.job.tracker</name> |
| 147 | <value>node01:9001</value> |
| 148 | <description> </description> |
| 149 | </property> |
| 150 | <property> |
| 151 | <name>hadoop.tmp.dir</name> |
| 152 | <value>/tmp/hadoop/hadoop-${user.name}</value> |
| 153 | <description> </description> |
| 154 | </property> |
| 155 | </configuration> |
| 156 | }}} |
| 157 | * 注意! 我們多加了一個參數hadoop.tmp.dir,讓預設的中介資料存放在/tmp/hadoop/ 而不是/tmp/ 下,更多內容可以看conf/hadoop-default.xml |
| 158 | * 注意!fs.default.name = hdfs://node01:9000/ ;而mapred.job.tracker = node01:9001,看出差異了嗎!一個有指hdfs://,一個沒有,重要!易混淆。 |
| 159 | |
| 160 | == step 6. 設定masters及slaves == |
| 161 | |
| 162 | * 接著我們要編輯哪個主機當namenode, 若有其他主機則為datanodes |
| 163 | * 編輯 conf/slaves |
| 164 | {{{ |
| 165 | /opt/hadoop$ gedit conf/slaves |
| 166 | }}} |
| 167 | 原本內容只有localhost一行,請刪除此行並換上Node 1 及Node 2 的ip |
| 168 | {{{ |
| 169 | #!sh |
| 170 | node01 |
| 171 | node02 |
| 172 | }}} |
| 173 | |
| 174 | == step 7. Hadoop_Home內的資料複製到其他主機上 == |
| 175 | |
| 176 | * 在Node 1 上對遠端Node 2 作開資料夾/opt/hadoop及權限設定 |
| 177 | {{{ |
| 178 | /opt/hadoop$ ssh node02 "sudo mkdir /opt/hadoop" |
| 179 | /opt/hadoop$ ssh node02 "sudo chown -R hadooper:hadooper /opt/hadoop" |
| 180 | }}} |
| 181 | |
| 182 | * 複製Node 1 的hadoop資料夾到Node 2 上 |
| 183 | {{{ |
| 184 | /opt/hadoop$ scp -r /opt/hadoop/* node02:/opt/hadoop/ |
| 185 | }}} |
| 186 | |
| 187 | == step 8. 格式化HDFS == |
| 188 | |
| 189 | |
| 190 | * 以上我們已經安裝及設定好 Hadoop 的叢集環境,接著讓我們來啟動 Hadoop ,首先還是先格式化hdfs,在Node 1 上操作 |
| 191 | |
| 192 | {{{ |
| 193 | /opt/hadoop$ bin/hadoop namenode -format |
| 194 | }}} |
| 195 | |
| 196 | 執行畫面如: |
| 197 | {{{ |
| 198 | 09/03/23 20:19:47 INFO dfs.NameNode: STARTUP_MSG: |
| 199 | /************************************************************ |
| 200 | STARTUP_MSG: Starting NameNode |
| 201 | STARTUP_MSG: host = node01 |
| 202 | STARTUP_MSG: args = [-format] |
| 203 | |
| 204 | |
| 205 | STARTUP_MSG: version = 0.18.3 |
| 206 | STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.18 -r 736250; compiled by 'ndaley' on Thu Jan 22 23:12:08 UTC 2009 |
| 207 | ************************************************************/ |
| 208 | 09/03/23 20:19:47 INFO fs.FSNamesystem: fsOwner=hadooper,hadooper |
| 209 | 09/03/23 20:19:47 INFO fs.FSNamesystem: supergroup=supergroup |
| 210 | 09/03/23 20:19:47 INFO fs.FSNamesystem: isPermissionEnabled=true |
| 211 | 09/03/23 20:19:47 INFO dfs.Storage: Image file of size 82 saved in 0 seconds. |
| 212 | 09/03/23 20:19:47 INFO dfs.Storage: Storage directory /tmp/hadoop/hadoop-hadooper/dfs/name has been successfully formatted. |
| 213 | 09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG: |
| 214 | /************************************************************ |
| 215 | SHUTDOWN_MSG: Shutting down NameNode at node01 |
| 216 | ************************************************************/ |
| 217 | }}} |
| 218 | |
| 219 | == step 9. 啟動Hadoop == |
| 220 | |
| 221 | * bin/start-dfs.sh腳本會參照namenode上${HADOOP_CONF_DIR}/slaves文件的內容,在所有列出的slave上啟動datanode。 |
| 222 | |
| 223 | * 在Node 1 上,執行下面的命令啟動HDFS: |
| 224 | |
| 225 | {{{ |
| 226 | /opt/hadoop$ bin/start-dfs.sh |
| 227 | }}} |
| 228 | |
| 229 | |
| 230 | ------ |
| 231 | * http://node01:50070/ - Hadoop DFS 狀態 |
| 232 | * [[Image(datanode.png)]] |
| 233 | ------ |
| 234 | |
| 235 | * ps: 然而JobTracker還沒啟動,因此 http://node01:50030/ 網頁無法顯示 |
| 236 | |
| 237 | * bin/start-mapred.sh腳本會參照jobtracker上${HADOOP_CONF_DIR}/slaves文件的內容,在所有列出的slave上啟動tasktracker。 |
| 238 | |
| 239 | * 用ssh 操作Node 2 執行下面的命令啟動Map/Reduce: |
| 240 | |
| 241 | {{{ |
| 242 | /opt/hadoop$ /opt/hadoop/bin/start-mapred.sh |
| 243 | }}} |
| 244 | |
| 245 | * 啟動之後, jobtracker也正常運作囉! |
| 246 | ------ |
| 247 | * http://node01:50030/ - Hadoop 管理介面 |
| 248 | * [[Image(job.png)]] |
| 249 | ------ |
| 250 | |
| 251 | == step 10. 停止hadoop == |
| 252 | |
| 253 | * 在Node 1 上,執行下面的命令停止HDFS: |
| 254 | {{{ |
| 255 | /opt/hadoop$ bin/stop-dfs.sh |
| 256 | }}} |
| 257 | * bin/stop-dfs.sh腳本會參照namenode上${HADOOP_CONF_DIR}/slaves文件的內容,在所有列出的slave上停止namenode |
| 258 | |
| 259 | * 在Node 1 上,執行下面的命令停止Map/Reduce: |
| 260 | {{{ |
| 261 | /opt/hadoop$ bin/stop-mapred.sh |
| 262 | }}} |
| 263 | * bin/stop-mapred.sh腳本會參照jobtracker上${HADOOP_CONF_DIR}/slaves文件的內容,在所有列出的slave上停止tasktracker。 |
| 264 | |
| 265 | == 練習 == |
| 266 | * 看 conf/hadoop-default.xml 的更多內容 |
| 267 | * 和別人組隊,組成4台node的cluster,其中Node 1 只當 namenode ,Node 2 只當 jobtracker,而node3, node4 兩台電腦則身兼 datanode及tasktracker的工作。 |