wiki:waue/2009/lession

Version 30 (modified by waue, 16 years ago) (diff)

--

雲端運算基礎課程

2009 - 03 - 30 : 上午

課目 時間 長度
0. 課程介紹與自我介紹時間 10 min 9:30~9:40
1. 雲端運算簡介 1h 9:40~10:30
2. Hadoop簡介 50 min 10:40~11:30
實作一: Hadoop 單機安裝 20 min 11:30~11:50

2009 - 03 - 30 : 下午

課目 時間 長度
3. HDFS 介紹 1h 13:00~14:00
實作二: HDFS 指令操作練習 1h 14:00~15:00
4. 叢集環境設定說明 50 min 15:10~16:00
實做三: Hadoop 叢集安裝與 HDFS 指令操作練習 1h 16:00~17:00

2009 - 03 - 31 : 上午

課目 時間 長度
5. MapReduce簡介 40 min 9:35~10:10
6. Hadoop MapReduce 程式設計解說 50 min 10:15~11:10
實作四: MapReduce 範例實做 20 min 11:20 ~ 11:40
7. 小結 10 min

2009 - 03 - 31 : 下午

課目 時間 長度
8. drbl 課程 40min
實作: 運用 DRBL 將電腦教室轉化為 Hadoop 叢集 3h

學員課程建議:

  • 多舉例應用範圍
  • 多解釋web ui
  • 找出更多範例
  • 感受錯誤容忍機制、體驗大量處理機制
  • 增加hadoop-default.xml的有用參數

問題

  • server如何增加client 數
    • 是否能連到正確的namenode取決於conf/hadoop-site.xml
      $ bin/hadoop-daemon.sh --config ./conf start datanode
      starting datanode, logging to /tmp/hadoop/logs/hadoop-waue-datanode-Dx7200.out
      $ bin/hadoop-daemon.sh --config ./conf start tasktracker
      starting tasktracker, logging to /tmp/hadoop/logs/hadoop-waue-tasktracker-Dx7200.out
      
  • 檔案大小限制
  • 如何看區塊放在哪個節點上
    • 點到該檔案頁面後,出現在最下方
Total number of blocks: 1
-5300341523868264468: 140.110.141.129:50010 140.110.138.191:50010
  • 如何升級降級hadoop