Version 9 (modified by jazz, 16 years ago) (diff) |
---|
實作一: Hadoop 單機安裝
tar.gz 安裝法
- 本實作基於 Ubuntu 8.04 LTS 版本,關於 Ubuntu 8.04 的安裝程序,請參考"Ubuntu 8.04 Server 版安裝步驟?"。
- 本課程實作之電腦教室所提供的作業環境是 Ubuntu 8.04 Server 版加裝 xubuntu 桌面的環境,登入資訊請留意講師說明。
- 首先,由於 Sun Java Runtime 是執行 Hadoop 必備的工具,因此我們需要安裝 JRE 或 JDK。這裡我們直接安裝 JDK,因為後面寫程式仍舊需要用到 JDK 所提供的編譯器。目前 Ubuntu 8.04 提供的 JDK 套件最新版本為 Sun Java(TM) Development Kit (JDK) 6.06 ,套件名稱為 sun-java6-jdk。
~$ sudo apt-get install sun-java6-jdk ~$ cat >> /etc/bash.bashrc << EOF export JAVA_HOME=/usr/lib/jvm/java-6-sun EOF
- 其次,請至國網中心 TWAREN 的鏡射站下載 Hadoop 0.18.3,並解開壓縮檔到 /opt 路徑。
~$ cd /opt /opt$ sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.18.3/hadoop-0.18.3.tar.gz /opt$ sudo tar zxvf hadoop-0.18.3.tar.gz /opt$ sudo mv hadoop-0.18.3/ hadoop
- 進入 hadoop 目錄,做進一步的設定。我們需要修改兩個檔案,第一個是 hadoop-env.sh,需要設定 JAVA_HOME, HADOOP_HOME, HADOOP_CONF_DIR 三個環境變數。
/opt$ cd hadoop/ /opt/hadoop$ sudo su /opt/hadoop# cat >> conf/hadoop-env.sh << EOF export JAVA_HOME=/usr/lib/jvm/java-6-sun export HADOOP_HOME=/opt/hadoop export HADOOP_CONF_DIR=/opt/hadoop/conf EOF
- 第二個設定檔是 hadoop-site.xml,由於官方所提供的範例並無法直接執行,因此我們參考線上文件,做了以下的修改。
/opt/hadoop# cat > conf/hadoop-site.xml << EOF <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000/</value> <description> The name of the default file system. Either the literal string "local" or a host:port for NDFS. </description> </property> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> <description> The host and port that the MapReduce job tracker runs at. If "local", then jobs are run in-process as a single map and reduce task. </description> </property> </configuration> EOF
deb 套件安裝法
Attachments (3)
- hadoop_administration.png (58.5 KB) - added by jazz 16 years ago.
- hadoop_task_tracker.png (95.0 KB) - added by jazz 16 years ago.
- hadoop_dfs_status.png (53.3 KB) - added by jazz 16 years ago.
Download all attachments as: .zip