Changes between Version 18 and Version 19 of jazz/Hadoop_Lab1


Ignore:
Timestamp:
Mar 23, 2009, 9:11:13 PM (15 years ago)
Author:
waue
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • jazz/Hadoop_Lab1

    v18 v19  
    11[[PageOutline]]
    22
    3 == 實作一： Hadoop 單機安裝 ==
     3= 實作一： Hadoop 單機安裝 =
    44
    5 === tar.gz 安裝法 ===
     5== 前言 ==
    66
    77 * 本實作基於 Ubuntu 8.04 LTS 版本，關於 Ubuntu 8.04 的安裝程序，請參考"[wiki:jazz/Hardy Ubuntu 8.04 Server 版安裝步驟]"。
    8  * 本課程實作之電腦教室所提供的作業環境是 Ubuntu 8.04 Server 版加裝 xubuntu 桌面的環境，登入資訊請留意講師說明。
     8 * 本課程實作之電腦教室所提供的作業環境是 Ubuntu 8.04 Server 版加裝 xubuntu 桌面的環境。
    99 * 本頁面的部分指令，是針對不熟悉 Linux 文字編輯器的使用者所設計的'懶人'設定法，您也可以使用習慣使用的文字編輯器(如:vi,nano,joe等)進行修改。
    1010 * 這個頁面，黑底白字的部分為指令，請自行剪貼提示符號 "$"(代表一般使用者) 或 "#"(代表最高權限 root 管理者) 之後的指令。
    11  * 首先，由於 Sun Java Runtime 是執行 Hadoop 必備的工具，因此我們需要安裝 JRE 或 JDK。這裡我們直接安裝 JDK，因為後面寫程式仍舊需要用到 JDK 所提供的編譯器。目前 Ubuntu 8.04 提供的 JDK 套件最新版本為 Sun Java(TM) Development Kit (JDK) 6.06 ，套件名稱為 '''sun-java6-jdk'''。
     11
     12 * 登入資訊
     13 
     14 || 使用者 || Hadooper||
     15 || 群組 || Hadoop ||
     16 || 密碼 || ****** ||
     17 
     18    * Hadooper 擁有sudoer 的權限
     19
     20-----
     21 * 寫給我看的：
     22
     23每台電腦都要增加此使用者
    1224{{{
    13 ~$ sudo apt-get install sun-java6-jdk
     25$ sudo addgroup hadoop
     26$ sudo adduser --ingroup hadoop hadooper
     27}}}
     28測試不設定.bashrc 的java home有無關係
     29-------   
     30   
     31 == step 1. 安裝java ==
     32 *  由於 Sun Java Runtime 是執行 Hadoop 必備的工具，因此我們需要安裝 JRE 或 JDK。這裡我們直接安裝 JDK，因為後面寫程式仍舊需要用到 JDK 所提供的編譯器。目前 Ubuntu 8.04 提供的 JDK 套件最新版本為 Sun Java(TM) Development Kit (JDK) 6.06 ，套件名稱為 '''sun-java6-jdk'''。並建議刪除原本的 「 gcj 」 。
     33
     34{{{
     35~$ sudo apt-get purge java-gcj-compat
     36~$ sudo apt-get install sun-java6-bin  sun-java6-jdk sun-java6-jre
    1437}}}
    15  * 其次，請至國網中心 TWAREN 的鏡射站下載 Hadoop 0.18.3，並解開壓縮檔到 /opt 路徑。
     38
     39 == step 2. 設定登入免密碼 ==
     40 
     41 * 由於Hadoop用ssh 作機器間的溝通，因此先設定登入機器免密碼的設定，
     42
     43{{{
     44~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""
     45~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
     46}}}
     47
     48完成後請登入確認不用輸入密碼，（第一次登入需按enter鍵，第二次就可以直接登入到系統），以免日後輸入密碼key到手軟
     49
     50{{{
     51~$ ssh localhost
     52~$ exit
     53~$ ssh localhost
     54~$ exit
     55}}}
     56
     57 == step 3. 下載安裝Hadoop ==
     58 * 請至國網中心 TWAREN 的鏡射站下載 Hadoop 0.18.3，並解開壓縮檔到 /opt 路徑。
    1659{{{
    1760~$ cd /opt
    … …  
    1962/opt$ sudo tar zxvf hadoop-0.18.3.tar.gz
    2063/opt$ sudo mv hadoop-0.18.3/ hadoop
     64/opt$ sudo chown -R hadooper:hadoop hadoop
    2165}}}
     66
     67 == step 4. 設定 hadoop-env.sh ==
     68 
    2269 * 進入 hadoop 目錄，做進一步的設定。我們需要修改兩個檔案，第一個是 '''hadoop-env.sh'''，需要設定 JAVA_HOME, HADOOP_HOME, HADOOP_CONF_DIR 三個環境變數。
     70
    2371{{{
    2472/opt$ cd hadoop/
    25 /opt/hadoop$ sudo su
    26 /opt/hadoop# cat >> conf/hadoop-env.sh << EOF
     73/opt/hadoop$ cat >> conf/hadoop-env.sh << EOF
     74}}}
     75貼上以下資訊
     76{{{
     77#!sh
    2778export JAVA_HOME=/usr/lib/jvm/java-6-sun
    2879export HADOOP_HOME=/opt/hadoop
    … …  
    3081EOF
    3182}}}
     83
     84 == step 5. 設定 hadoop-site.xml ==
     85 
    3286 * 第二個設定檔是 '''hadoop-site.xml'''，由於官方所提供的範例並無法直接執行，因此我們參考[http://hadoop.apache.org/core/docs/r0.18.3/quickstart.html 線上文件]，做了以下的修改。
     87 
    3388{{{
    3489/opt/hadoop# cat > conf/hadoop-site.xml << EOF
     90}}}
     91
     92貼上以下內容
     93
     94{{{
     95#!sh
    3596<configuration>
    3697  <property>
    … …  
    54115EOF
    55116}}}
    56  * 以上我們已經設定好 Hadoop 單機測試的環境，接著讓我們來啟動 Hadoop 相關服務。首先需要先格式化 namenode，接著用 start-all.sh 來啟動所有服務，包含 namenode, datanode, secondarynamenode, tasktracker
     117
     118== step 6. 格式化HDFS ==
     119
     120 * 6. 以上我們已經設定好 Hadoop 單機測試的環境，接著讓我們來啟動 Hadoop 相關服務，格式化 namenode， secondarynamenode, tasktracker
    57121{{{
    58122/opt/hadoop# bin/hadoop namenode -format
     123}}}
     124
     125執行畫面如：
     126{{{
     127
     12809/03/23 20:19:47 INFO dfs.NameNode: STARTUP_MSG:
     129
     130/************************************************************
     131
     132STARTUP_MSG: Starting NameNode
     133
     134STARTUP_MSG:   host = /localhost
     135
     136STARTUP_MSG:   args = [-format]
     137
     138STARTUP_MSG:   version = 0.18.3
     139
     140STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.18 -r 736250; compiled by 'ndaley' on Thu Jan 22 23:12:08 UTC 2009
     141
     142************************************************************/
     143
     14409/03/23 20:19:47 INFO fs.FSNamesystem: fsOwner=hadooper,hadooper
     145
     14609/03/23 20:19:47 INFO fs.FSNamesystem: supergroup=supergroup
     147
     14809/03/23 20:19:47 INFO fs.FSNamesystem: isPermissionEnabled=true
     149
     15009/03/23 20:19:47 INFO dfs.Storage: Image file of size 82 saved in 0 seconds.
     151
     15209/03/23 20:19:47 INFO dfs.Storage: Storage directory /tmp/hadoop-hadooper/dfs/name has been successfully formatted.
     153
     15409/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG:
     155
     156/************************************************************
     157
     158SHUTDOWN_MSG: Shutting down NameNode at /localhost
     159
     160************************************************************/
     161
     162
     163}}}
     164
     165== step 7. 啟動Hadoop ==
     166
     167 * 接著用 start-all.sh 來啟動所有服務，包含 namenode, datanode,
     168{{{
    59169/opt/hadoop# bin/start-all.sh
    60170}}}
     171執行畫面如：
     172{{{
     173starting namenode, logging to /opt/hadoop/logs/hadoop-hadooper-namenode-vPro.out
     174
     175localhost: starting datanode, logging to /opt/hadoop/logs/hadoop-hadooper-datanode-vPro.out
     176
     177localhost: starting secondarynamenode, logging to /opt/hadoop/logs/hadoop-hadooper-secondarynamenode-vPro.out
     178
     179starting jobtracker, logging to /opt/hadoop/logs/hadoop-hadooper-jobtracker-vPro.out
     180}}}
     181
     182== step 8. 完成！檢查運作狀態 ==
     183
    61184 * 啟動之後，可以檢查以下網址，來觀看服務是否正常。
    62185   * http://localhost:50030/ - Hadoop 管理介面
    … …  
    67190   * [[Image(hadoop_dfs_status.png)]]
    68191
    69 === deb 套件一步安裝法 ===
    70192