= 雲端運算基礎課程 =
* nutch 投影片 , 實做 , 其他實做調整, pipes and streaming
== 2009 - 03 - 30 : 上午 ==
|| 課目 || 時間 || 長度 ||
|| 0. 課程介紹與自我介紹時間 || 10 min || 9:30~9:40 ||
|| 1. 雲端運算簡介 || 1h || 9:40~10:30 ||
|| 2. Hadoop簡介 || 50 min || 10:40~11:30 ||
|| 實作一： Hadoop 單機安裝 || 20 min || 11:30~11:50 ||
== 2009 - 03 - 30 : 下午 ==
|| 課目 || 時間 || 長度 ||
|| 3. HDFS 介紹 || 1h || 13:00~14:00 ||
|| 實作二： HDFS 指令操作練習 || 1h || 14:00~15:00 ||
|| 4. 叢集環境設定說明 || 50 min || 15:10~16:00 ||
|| 實做三： Hadoop 叢集安裝與 HDFS 指令操作練習 || 1h || 16:00~17:00 ||
== 2009 - 03 - 31 : 上午 ==
|| 課目 || 時間 || 長度 ||
|| 5. MapReduce簡介 || 40 min || 9:35~10:10 ||
|| 6. Hadoop MapReduce 程式設計解說 || 50 min || 10:15~11:10 ||
|| 實作四： MapReduce 範例實做 || 20 min || 11:20 ~ 11:40 ||
|| 7. 小結 || 10 min ||
== 2009 - 03 - 31 : 下午 ==
|| 課目 || 時間 || 長度 ||
|| 8. drbl 課程 || 40min ||
|| 實作： 運用 DRBL 將電腦教室轉化為 Hadoop 叢集 || 3h ||
= 學員課程上建議： =
* 多舉例應用範圍
* 多解釋web ui
* 找出更多範例
* 感受錯誤容忍機制、體驗大量處理機制
* 增加hadoop-default.xml的有用參數
= 問卷之改進反應 =
1. 進階程式設計,例如一些新技術或是新應用
2. 希望在南部也能開一場
3. 雲端計算課程進階(load balance,容錯示範..etc),雲端計算課程程式實做(nutch),雲端計算結合DRBL實做(如何快速部屬雲端叢集),雲端計算+HBase
5. 雲端計算實做步驟可再詳盡一些,希望回去自己實做時照網頁步驟也可以完成,不侷限在國網電腦教室環境. 如果可以再加上操作影片示範會更好
6. 實際應用部分可以在多一些實作
= 問題 =
* server如何增加client 數
* 是否能連到正確的namenode取決於conf/hadoop-site.xml
{{{
$ bin/hadoop-daemon.sh --config ./conf start datanode
starting datanode, logging to /tmp/hadoop/logs/hadoop-waue-datanode-Dx7200.out
$ bin/hadoop-daemon.sh --config ./conf start tasktracker
starting tasktracker, logging to /tmp/hadoop/logs/hadoop-waue-tasktracker-Dx7200.out
}}}
* 檔案大小限制
* 如何看區塊放在哪個節點上
* 點到該檔案頁面後，出現在最下方
{{{
#!html
Total number of blocks: 1
}}}
* 如何升級降級hadoop