wiki:Hinet120814
雲端平台Hadoop與MapReduce實作基礎班

  1. 預備知識
  2. 課程日期
  3. 課程內容
    1. 2012-08-14（二）
    2. 2012-08-15（三）
  4. 參考資料
  5. 問答集錦
  6. 課後練習
  7. 公用環境
  8. 輔助工具
  9. 串聯多台 Hadoop4Win

預備知識

  • 具 Linux 操作實務與 Java 程式語言基礎者尤佳。

課程日期

  • 101年08月14日～08月15日，共 2 天、計 12 小時 。

課程內容

2012-08-14（二）

上午時段 課程內容 投影片 實作 補充資料
09:10~10:00 淺談海量資料的趨勢、挑戰與因應對策 part-1
10:00~10:10 中場休息
10:10~11:00 處理海量資料的資訊架構與關鍵技術 part-2
11:00~11:10 中場休息
11:10~12:00 實作一：Hadoop 單機安裝 實作一
實作二
12:00~13:30 午餐、午休
下午時段 課程內容 投影片 實作 補充資料
13:30~14:20 Hadoop 簡介：緣起與術語 part-3
14:20~14:30 中場休息
14:30~15:20 HDFS 觀念與指令解說 part-4
15:20~15:30 中場休息
15:30~16:20 實作二：HDFS 操作實務 實作三
實作四

2012-08-15（三）

上午時段 課程內容 投影片 實作 補充資料
09:10~10:00 MapReduce 簡介 part-5
10:00~10:10 中場休息
10:10~11:00 實作三：MapReduce 範例操作 實作五
實作六
11:00~11:10 中場休息
11:10~11:30 Hadoop 叢集安裝設定解說 part-6
11:30~12:00 實作四：Hadoop 程式編譯實務 實作七
實作八
下午時段 課程內容 投影片 實作 補充資料
13:30~14:00 Hadoop 相關專案(1) Hadoop Streaming part-7
14:00~14:20 實作五：Hadoop Streaming 操作練習 實作九
實作十
14:20~14:30 中場休息
14:30~15:00 Hadoop 相關專案(2) - Pig part-8 ​SimplyHired 職缺技術趨勢圖
15:00~15:20 實作六：Pig Latin 操作練習 實作十一
15:20~15:30 中場休息
15:30~16:00 HBase 操作觀察 實作十二
16:00~16:20 Hadoop 示範應用 - 抓抓龍（Crawlzilla） part-9
補充 實作七：抓抓龍安裝操作(示範) 實作十三
補充 Hadoop 示範應用 - 雲端入侵日誌分析系統（ICAS） part-10

參考資料

問答集錦

  1. 需求: 用 HBase 做日誌分析, 根據相同 Event 去計數某一時間區段的連線次數(或網路攻擊次數)
  2. 運用 Hadoop 提供 PaaS 服務:

課後練習

公用環境

輔助工具

  • 中華電信 hicloud 帳務 - 02-23445568

串聯多台 Hadoop4Win

rm -rf /cygdrive/c/var/hadoop/hadoop-chtti/dfs/data/
rm /opt/hadoop/conf
for ((i=1;i<=50;i++)); do printf "10.131.33.$i G300-P%02d\n" $i; done >> /etc/hosts
cp /opt/hadoop/conf-pseudo /opt/hadoop/conf-full
echo > /opt/hadoop/conf-full/core-site.xml << EOF
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://10.131.33.22:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/var/hadoop/hadoop-${user.name}</value>
  </property>
</configuration>
EOF
echo > /opt/hadoop/conf-full/mapred-site.xml << EOF
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>10.131.33.22:9001</value>
  </property>
</configuration>
EOF
ln -s /opt/hadoop/conf-full /opt/hadoop/conf
/opt/hadoop/bin/hadoop-daemon.sh start datanode
/opt/hadoop/bin/hadoop-daemon.sh start tasktracker
Last modified 12 years ago Last modified on Dec 2, 2012, 3:16:04 PM

Attachments (11)