{{{ #!html
雲端運算之大資料處理實務班
}}} [[PageOutline]] = 課程目標 = * 學習 Hadoop File System 之 API 實作 * 學習 Hadoop MapReduce 開發輔助工具 Eclipse * 學習 MapReduce 之 API 實作 = 預備知識 = * 具 Linux 操作實務與 Java 程式語言基礎者尤佳。 = 課程日期 = * 102年7月23~24日 (週一/週二 白天9:10 ~16:20 ),共2天、計12小時 。 = 課程內容 = * [raw-attachment:wiki:Hinet130923:13-09-23_Hadoop_Advanced.pdf 完整版投影片] == '''2013-07-23(一)''' == || 時段 || 課程內容 || 實作 || 補充資料 || || 09:10-10:00 || Big Data 與 Hadoop 的關聯 || || * 重點一:減少資料搬運的頻寬成本跟時間成本 [[BR]] * 重點二:在地運算(Data Locality) || || 10:00-10:20 || Hadoop 的三種模式與三種安裝方法 || [wiki:Hinet130923/Lab0 實作零] || * http://www.cloudera.com - RPM/DEB 套件庫 [[BR]] * http://hortonworks.com - HDP for Windows || || 10:20-10:50 || 單機模式(Local Mode)操作觀察 || [wiki:Hinet130923/Lab1 實作一] || * [http://hadoop.apache.org/docs/stable/single_node_setup.html 阿帕契基金會官網單機安裝流程] [[BR]] * [http://hadoop.nchc.org.tw/~jazz/temp Ubuntu 安裝 Hadoop / HBase 單機安裝腳本] || || 10:50-11:00 || 中場休息 || || || || 11:00-11:40 || 偽分散式模式(Pseudo-Distributed Mode)操作觀察 || [wiki:Hinet130923/Lab2 實作二] || || || 11:40-12:00 || 全分散式模式(Full Distributed Mode)操作觀察 || [wiki:Hinet130923/Lab3 實作三] || || || 12:00-13:30 || 午餐時間 || || || || 13:30-14:30 || Hadoop 簡介:四個背景程式的分工情形 || [raw-attachment:wiki:YZU130807:part-3.pdf 簡報] || * [http://www.slideshare.net/jazzwang/high-throughput-computing-technologies 高通量資料處理平台] || || 14:30-14:50 || HDFS 基本指令操作 || [wiki:Hinet130923/Lab4 實作四] || || || 14:50-15:00 || 中場休息 || || || || 15:00-15:30 || 基本除錯技能(一) Bash 除錯 || [wiki:Hinet130923/Lab5 實作五] || || || 15:30-15:50 || 基本除錯技能(二) Log4J || [wiki:Hinet130923/Lab6 實作六] || || || 15:50-16:20 || 基本除錯技能(三) 切換 Hadoop 設定檔 || [wiki:Hinet130923/Lab7 實作七] || || || 16:20-17:10 || 課後討論與填寫線上習題 || || * http://elearning.cht.com || == '''2013-07-24(二)''' == || 時段 || 課程內容 || 實作 || 補充資料 || || || Hadoop !FileSystem API 實作(一) [[BR]] Local 檔案上傳到 HDFS || [wiki:Hinet130923/Lab9 實作九] || || || || Hadoop !FileSystem API 實作(二) [[BR]] HDFS 下載檔案到 Local || [wiki:Hinet130923/Lab10 實作十] || || || || Hadoop !FileSystem API 實作(三) [[BR]] 判斷檔案是否存在、屬性為何 || [wiki:III130629/Lab11 實作十一] || || || || Eclipse 安裝 || [wiki:Hinet130923/Lab8 實作八] || || || MapReduce 基本指令操作 || [wiki:III130629/Lab12 實作十二] || ||