wiki:VNU120925/Lab1

Version 1 (modified by jazz, 12 years ago) (diff)

--

◢ | <回課程大綱> ▲ | <實作二> ◣

實作一 Lab 1

實驗帳號申請
Apply an account from NCHC

帳號註冊

  • 首先連線至 http://hadoop.nchc.org.tw
  • 點選"新增帳號"
  • 接著填入您欲申請的「帳號」、「密碼」及相關資訊(僅 e-mail 為必備,單位與電話僅為統計用途使用)
  • 送出後,請至您的信箱收信,首先會收到請您點選連結啟動帳號的信件,點選啟動連結後,才會收到「系統帳號」與「系統密碼」。

在 Windows 底下使用 SSH Client 連線

  • 下載 WinSCP 進行大量檔案上傳。

補充:產生 SSH Key 並進行金鑰交換

  • 下載 PuTTYgen
  • 執行 PuTTYgen,按下『Generate』。
  • 在畫面上不斷移動滑鼠,直到產生金鑰為止。您可以將公鑰(給別人的)與私鑰(自己保管的)另存成檔案,等一下就可以做到輸入免密碼。
  • 把金鑰拷貝起來,並且在 pietty 視窗中,使用以下指令,把公鑰存到 hadoop.nchc.org.tw。或者把公鑰存檔為 authorized_keys,用 WinSCP 複製到 hadoop.nchc.org.tw 的 .ssh 目錄中。
    ~$ mkdir -p .ssh
    ~$ echo "公鑰的一大串文字 ssh-rsa .... 到 =rsa-key .... " >> .ssh/authorized_keys
    
  • 點選『詳細設定』
  • 在『Connection』底下的『Data』,輸入 『Auto-login username』
  • 在『Connection』底下的『SSH』的『Auth』,選擇剛剛 PuTTYgen 產生的私鑰檔案。
  • 選擇『Apply』,並點選『連線』選單底下的『儲存設定』
  • 當完成設定之後,下次使用 pietty 連線 hadoop.nchc.org.tw 就不用再次輸入帳號與密碼了。
  • 類似的做法,在 WinSCP 視窗中選擇 private key 路徑,就可以用 WinSCP 免密碼登入。
  • 注意:這份金鑰請妥善保管,否則別人拿到金鑰,就可以不用你的密碼登入你的帳號哦!!建議在自己的電腦上才執行~

實作一 Lab1

    Hadoop 單機安裝練習
Hadoop Installation in Practice

下載 Hadoop4Win

安裝 Hadoop4Win

  • STEP 1 : 點選 hadoop4win 安裝檔(*.exe),首先請選擇語系:(預設是「正體中文」)

  • STEP 2 : 本軟體採 Apache 授權,按下「我接受(I Agree)」按鈕繼續。

  • STEP 3 : 預設一定會安裝 Cygwin 、JDK 與 Hadoop ,至於 HBase 跟 Ant ,您可視需求自行取消。

  • STEP 4 : 指定安裝目錄(預設是 C:\hadoop4win),請確認安裝目錄有寫入權限。

  • STEP 5 : 指定「開始功能表」的目錄名稱,預設為 hadoop4win,稍候會建立一些常用的捷徑。

  • STEP 6 : 開始安裝,可按下「顯示細節」看目前的安裝進度。

  • 若為網路安裝版,會顯示下載 JDK、Hadoop、Ant 與 HBase 的下載進度訊息


  • 接著會自動安裝 Cygwin

  • 當 Cygwin 安裝完成後,會在「顯示細節」的安裝進度中,看到在解壓縮 Hadoop 、Ant 與 HBase 的進度。

  • 安裝完成時,可看到幫您設定好「開始功能表」的一些捷徑

  • 目前在「開始功能表」設定了以下的捷徑:

    • hadoop4win - 啟動 hadoop4win 的 Cygwin 視窗
    • start-hadoop - 啟動 Hadoop 的服務(跑在獨立的 CMD 視窗中)
    • start-hbase - 啟動 HBase 的服務(跑在獨立的 CMD 視窗中),請先跑 start-hadoop 才跑 start-hbase
    • stop-hadoop - 關閉 Hadoop 的服務(請關閉 HBase 之後才關閉 Hadoop)
    • stop-hbase - 關閉 HBase 的服務
    • Hadoop API javadoc - 開啟安裝在本機的 Hadoop API 文件
    • JobTracker Web UI - 用瀏覽器開啟 http://localhost:50030 的頁面
    • NameNode Web UI - 用瀏覽器開啟 http://localhost:50070 的頁面
    • uninstall - 反安裝程式

Attachments (1)

Download all attachments as: .zip