| Version 27 (modified by jazz, 11 years ago) (diff) |
|---|
雲端運算之大資料處理實務班
課程目標
預備知識
- 具 Linux 操作實務與 Java 程式語言基礎者尤佳。
課程日期
- 102年7月23~24日 (週一/週二 白天9:10 ~16:20 )，共2天、計12小時 。
課程內容
2013-07-23（一）
時段 課程內容 實作 補充資料 09:10-10:00 Big Data 與 Hadoop 的關聯 * 重點一:減少資料搬運的頻寬成本跟時間成本
* 重點二:在地運算(Data Locality)10:00-10:20 Hadoop 的三種模式與三種安裝方法 實作零 * http://www.cloudera.com - RPM/DEB 套件庫
* http://hortonworks.com - HDP for Windows10:20-10:50 單機模式（Local Mode）操作觀察 實作一 * 阿帕契基金會官網單機安裝流程
* Ubuntu 安裝 Hadoop / HBase 單機安裝腳本10:50-11:00 中場休息 11:00-11:40 偽分散式模式（Pseudo-Distributed Mode）操作觀察 實作二 11:40-12:00 全分散式模式（Full Distributed Mode）操作觀察 實作三 12:00-13:30 午餐時間 13:30-14:30 Hadoop 簡介:四個背景程式的分工情形 投影片 * 高通量資料處理平台 14:30-14:50 HDFS 基本指令操作 實作四 14:50-15:00 中場休息 15:00-15:30 基本除錯技能(一) Bash 除錯 實作五 15:30-15:50 基本除錯技能(二) Log4J 實作六 15:50-16:20 基本除錯技能(三) 切換 Hadoop 設定檔 實作七 16:20-17:10 課後討論與填寫線上習題 * http://elearn.cht.com.tw
2013-07-24（二）
時段 課程內容 實作 補充資料 09:10-09:50 Windows 版 Hadoop 安裝 實作八 09:50-10:20 Hadoop 叢集設定 投影片 10:20-10:40 中場休息 10:40-11:00 實作練習:Hadoop 叢集設定 實作九 11:00-12:00 Eclipse 安裝 實作十 * 設定與操作 Eclipse Plugin 產生 Hadoop 專案的步驟 12:00-13:30 午餐時間 13:30-14:00 MapReduce 基本指令操作 實作十一 14:00-14:45 Hadoop FileSystem API 實作(一)
Local 檔案上傳到 HDFS實作十二 14:45-15:00 中場休息 15:00-15:15 Hadoop FileSystem API 實作(二)
HDFS 下載檔案到 Local實作十三 15:15-15:30 Hadoop FileSystem API 實作(三)
判斷檔案是否存在、屬性為何實作十四 15:30-16:00 新版 Hadoop MapReduce 語法(0.19以後)
使用 WordCount 範例解說實作十五 16:00-16:20 舊版 Hadoop MapReduce 語法(0.19以前)
使用 WordCount 範例解說實作十六
Attachments (1)
- 13-09-23_Hadoop_Advanced.pdf (6.9 MB) - added by jazz 11 years ago.
