wiki:NCHCCloudCourse100802/Lab1

Version 2 (modified by jazz, 14 years ago) (diff)

--

實作一： Hadoop 0.20 單機安裝
Lab1: Hadoop Installation: single node, presudo mode

    1. 前言 Preface
    2. step 1. 設定登入免密碼
    3. step 2. 安裝java
    4. step 3. 下載安裝Hadoop
    5. step 4. 設定 hadoop-env.sh
    6. step 5. 設定 *-site.xml
    7. step 6. 格式化HDFS
    8. step 7. 啟動Hadoop
    9. step 8. 完成！檢查運作狀態

前言 Preface

  • 本課程實作之電腦教室所提供的作業環境是 Ubuntu 9.04 Desktop 桌面的環境。
  • This lab is based on Ubuntu 9.04 Desktop.
  • 本頁面的部分指令，是針對不熟悉 Linux 文字編輯器的使用者所設計的'懶人'設定法，您也可以使用習慣使用的文字編輯器(如:vi,nano,joe等)進行修改。
  • The instructions listed here are suitable for users who are not familiar to Linux editor. You could also use other editors, such as vi, nano, joe, etc.
  • 黑底白字的部分為指令或console秀出的畫面，請自行剪貼提示符號 "$"(代表一般使用者) 或 "#"(代表最高權限 root 管理者) 之後的指令。如：
  • For the command shown in white color with black background, please copy and paste them to console. Please note that the prompt "$" is for normal user and prompt "#" is for super user. Here is an example: 
    /home/DIR$ Copy_Command From To ...
    則複製 Copy_Command From To ... 這個指令，貼到你的console來執行。（/home/DIR 代表目前所在的目錄路徑）

Please copy the command Copy_Command From To ... and paste to your console for excution. ( "/home/DIR" stands for the working directory )

  • 白底黑字的部分為文件內的內容 ，如 
    I am context.
    如果熟悉vi,nano,joe等編輯器可複製此區內容貼到文件內（雖然此頁面的指令都已經簡化過）
  • 登入資訊
使用者 hadooper
群組 hadooper
密碼
  • Hadooper 擁有sudoer 的權限

step 1. 設定登入免密碼

  • 由於Hadoop用ssh 作機器間的溝通，因此先設定登入機器免密碼的設定， 
~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""
~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

完成後請登入確認不用輸入密碼，（第一次登入需按enter鍵，第二次就可以直接登入到系統），以免日後輸入密碼key到手軟 

~$ ssh localhost
~$ exit
~$ ssh localhost
~$ exit

step 2. 安裝java

  • 由於 Sun Java Runtime 是執行 Hadoop 必備的工具，因此我們需要安裝 JRE 或 JDK。這裡我們直接安裝 JDK，因為後面寫程式仍舊需要用到 JDK 所提供的編譯器。目前 Ubuntu 8.04 提供的 JDK 套件最新版本為 Sun Java(TM) Development Kit (JDK) 6.06 ，套件名稱為 sun-java6-jdk。並建議刪除原本的 「 gcj 」 。 
~$ sudo apt-get purge java-gcj-compat
~$ sudo apt-get install sun-java6-bin  sun-java6-jdk sun-java6-jre

step 3. 下載安裝Hadoop

  • 請至國網中心 TWAREN 的鏡射站下載 Hadoop 0.20.2，並解開壓縮檔到 /opt 路徑。 
~$ cd /opt
/opt$ sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz
/opt$ sudo tar zxvf hadoop-0.20.2.tar.gz
/opt$ sudo mv hadoop-0.20.2/ hadoop
/opt$ sudo chown -R hadooper:hadooper hadoop
/opt$ sudo mkdir /var/hadoop
/opt$ sudo chown -R hadooper:hadooper /var/hadoop

step 4. 設定 hadoop-env.sh

  • 進入 hadoop 目錄，做進一步的設定。我們需要修改兩個檔案，第一個是 hadoop-env.sh，需要設定 JAVA_HOME, HADOOP_HOME, HADOOP_CONF_DIR 三個環境變數。 
/opt$ cd hadoop/
/opt/hadoop$ cat >> conf/hadoop-env.sh << EOF

貼上以下資訊 

export JAVA_HOME=/usr/lib/jvm/java-6-sun
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=/opt/hadoop/conf
EOF

step 5. 設定 *-site.xml

  • 接下來的設定檔共有3個 core-site.xml, hdfs-site.xml, mapred-site.xml， 
/opt/hadoop$ cat > conf/core-site.xml << EOF

貼上以下內容 

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/var/hadoop/hadoop-\${user.name}</value>
  </property>
</configuration>
EOF


/opt/hadoop$ cat > conf/hdfs-site.xml  << EOF

貼上以下內容 

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>
EOF

/opt/hadoop$ cat > conf/mapred-site.xml  << EOF

貼上以下內容 

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>
EOF

step 6. 格式化HDFS

  • 以上我們已經設定好 Hadoop 單機測試的環境，接著讓我們來啟動 Hadoop 相關服務，格式化 namenode， secondarynamenode, tasktracker 
/opt/hadoop$ bin/hadoop namenode -format

執行畫面如： 

09/03/23 20:19:47 INFO dfs.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = /localhost
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 0.20.2
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.20 -r 736250; compiled by 'ndaley' on Thu Jan 22 23:12:08 UTC 2009
************************************************************/
09/03/23 20:19:47 INFO fs.FSNamesystem: fsOwner=hadooper,hadooper
09/03/23 20:19:47 INFO fs.FSNamesystem: supergroup=supergroup
09/03/23 20:19:47 INFO fs.FSNamesystem: isPermissionEnabled=true
09/03/23 20:19:47 INFO dfs.Storage: Image file of size 82 saved in 0 seconds.
09/03/23 20:19:47 INFO dfs.Storage: Storage directory /var/hadoop/hadoop-root/dfs/name has been successfully formatted.
09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at /localhost
************************************************************/

step 7. 啟動Hadoop

  • 接著用 start-all.sh 來啟動所有服務，包含 namenode, datanode, 
/opt/hadoop$ bin/start-all.sh

執行畫面如： 

starting namenode, logging to /opt/hadoop/logs/hadoop-hadooper-namenode-pc218.out
localhost: starting datanode, logging to /opt/hadoop/logs/hadoop-hadooper-datanode-pc218.out
localhost: starting secondarynamenode, logging to /opt/hadoop/logs/hadoop-hadooper-secondarynamenode-pc218.out
starting jobtracker, logging to /opt/hadoop/logs/hadoop-hadooper-jobtracker-pc218.out
localhost: starting tasktracker, logging to /opt/hadoop/logs/hadoop-hadooper-tasktracker-pc218.out

step 8. 完成！檢查運作狀態