雲端運算基礎課程

• nutch 投影片 , 實做 , 其他實做調整, pipes and streaming

2009 - 03 - 30 : 上午

課目	時間	長度
0. 課程介紹與自我介紹時間	10 min	9:30~9:40
1. 雲端運算簡介	1h	9:40~10:30
2. Hadoop簡介	50 min	10:40~11:30
實作一： Hadoop 單機安裝	20 min	11:30~11:50

2009 - 03 - 30 : 下午

課目	時間	長度
3. HDFS 介紹	1h	13:00~14:00
實作二： HDFS 指令操作練習	1h	14:00~15:00
4. 叢集環境設定說明	50 min	15:10~16:00
實做三： Hadoop 叢集安裝與 HDFS 指令操作練習	1h	16:00~17:00

2009 - 03 - 31 : 上午

課目	時間	長度
5. MapReduce簡介	40 min	9:35~10:10
6. Hadoop MapReduce 程式設計解說	50 min	10:15~11:10
實作四： MapReduce 範例實做	20 min	11:20 ~ 11:40
7. 小結	10 min

2009 - 03 - 31 : 下午

課目	時間	長度
8. drbl 課程	40min
實作： 運用 DRBL 將電腦教室轉化為 Hadoop 叢集	3h

學員課程上建議：

• 多舉例應用範圍
• 多解釋web ui
• 找出更多範例
• 感受錯誤容忍機制、體驗大量處理機制
• 增加hadoop-default.xml的有用參數

問卷之改進反應

1. 進階程式設計,例如一些新技術或是新應用
2. 希望在南部也能開一場
3. 雲端計算課程進階(load balance,容錯示範..etc),雲端計算課程程式實做(nutch),雲端計算結合DRBL實做(如何快速部屬雲端叢集),雲端計算+HBase
4. 雲端計算實做步驟可再詳盡一些,希望回去自己實做時照網頁步驟也可以完成,不侷限在國網電腦教室環境. 如果可以再加上操作影片示範會更好
5. 實際應用部分可以在多一些實作

問題

• server如何增加client 數
  • 是否能連到正確的namenode取決於conf/hadoop-site.xml

    $ bin/hadoop-daemon.sh --config ./conf start datanode
    starting datanode, logging to /tmp/hadoop/logs/hadoop-waue-datanode-Dx7200.out
    $ bin/hadoop-daemon.sh --config ./conf start tasktracker
    starting tasktracker, logging to /tmp/hadoop/logs/hadoop-waue-tasktracker-Dx7200.out
    

• 檔案大小限制
• 如何看區塊放在哪個節點上
  • 點到該檔案頁面後，出現在最下方

Total number of blocks: 1

-5300341523868264468:

140.110.141.129:50010

140.110.138.191:50010

• 如何升級降級hadoop