Version 14 (modified by jazz, 11 years ago) (diff) |
---|
實作三 Lab3
Hadoop 本機模式
Apache Hadoop Local Mode
帳號註冊
- 有興趣註冊個人使用的帳號,請至國網中心簡單龍雲端服務(easycloud)網站進行申請 - http://easycloud.nchc.org.tw
- 由於目前帳號申請採人工產生帳號,無法馬上產生實驗用帳號。
產生虛擬機器
安裝 Git
- 開啟第1台的 VNC 遠端桌面
~$ su - ~# locale-gen zh_TW.UTF-8 ~# echo "nameserver 8.8.8.8" >> /etc/resolv.conf ~# apt-get -y install git ~# git clone https://github.com/jazzwang/hadoop_labs.git
安裝 Hadoop
- 首先, 我們來介紹 Hadoop 的三種安裝模式
- <參考> http://hadoop.apache.org/docs/stable/single_node_setup.html
Now you are ready to start your Hadoop cluster in one of the three supported modes: * Local (Standalone) Mode * Pseudo-Distributed Mode * Fully-Distributed Mode
- 開始動手吧~請剪貼以下的步驟:
~# cd hadoop_labs ~/hadoop_labs# lab000/hadoop-local-mode
- 等待安裝的過程中,讓我們來[ 講解 hadoop-local-mode 這隻 Shell Script] 做了哪些事情。
- 安裝完成,首先先讓我們觀察有幾個 java process
~/hadoop_labs# jps
- 觀察有沒有開 port
~/hadoop_labs# netstat -nap | grep java
- 讓我們來複習一下 HDFS 的基本操作
~/hadoop_labs# cd ~ ~# ls ~# source ~/.bashrc ~# hadoop fs -ls ~# hadoop fs -mkdir tmp ~# hadoop fs -ls ~# ls ~# hadoop fs -put ${HOME}/hadoop/conf.local input ~# hadoop fs -ls ~# ls
實作習題
試回答以下問題:
- 當您下 jps 指令之後,除了 jps 以外,看到幾個 java process ?
(A) 0,只有 jps 一個結果 (B) 1 (C) 2 (D) 3 (E) 4
- 回到家目錄,執行 hadoop fs -ls 指令,您看到的結果跟直接下 ls 有無不同?
(A) hadoop fs -ls 會顯示完整路徑,並將隱藏檔案也秀出來. ls 只會秀出一般的檔案 (B) 顯示 can not access
- 在家目錄, 執行 hadoop fs -mkdir tmp 指令,對家目錄有何影響?
(A) 在家目錄底下多了一個 tmp 目錄 (B) 家目錄沒有任何改變
<補充> 安裝 Hadoop 1.2.1
- 進入視窗環境後,請開啟一個終端機(terminal),並執行以下指令即可完成 Hadoop 1.2.1 的單機安裝
wget http://hadoop.nchc.org.tw/~jazz/temp/install-hadoop-1.2.1-precise chmod a+x install-hadoop-1.2.1-precise ./install-hadoop-1.2.1-precise
- 確認安裝是否正確,請開啟 http://localhost:50070 與 http://localhost:50030
Attachments (7)
- EasyCloud_1.png (37.3 KB) - added by jazz 11 years ago.
- EasyCloud_2.png (52.3 KB) - added by jazz 11 years ago.
- EasyCloud_3.png (76.4 KB) - added by jazz 11 years ago.
- EasyCloud_4.png (120.4 KB) - added by jazz 11 years ago.
- EasyCloud_5.png (340.3 KB) - added by jazz 11 years ago.
- EasyCloud_6.png (508.1 KB) - added by jazz 11 years ago.
- EasyCloud_7.png (495.1 KB) - added by jazz 11 years ago.
Download all attachments as: .zip