Changes between Version 2 and Version 3 of NCHCCloudCourse110721


Ignore:
Timestamp:
Jul 20, 2011, 11:10:26 AM (13 years ago)
Author:
shunfa
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • NCHCCloudCourse110721

    v2 v3  
    1313 * [https://edu.nchc.org.tw/course/one_course_introduction.asp?lms_auto_course_id=1695&from_course_list_url=course_index 報名網頁課程資訊]
    1414
     15= 教材更新 =
     16 
     17 * [http://crawlweb1.nchc.org.tw/training/courseUpdate.sh 下載更新Shell檔]
     18
    1519= 課程大綱 =
    1620
    … …  
    2024
    2125 ||     時間      || 時數 || 課程內容 || 投影片[[BR]]實作 || 補充 ||
    22  || 09:30~10:40 ||  50m || 介紹課程與 Hadoop 簡介  || [raw-attachment:wiki:NCHCCloudCourse100928:part-1.pdf part-1] || 1. [wiki:NCHCCloudCourse100928_1_Install 補充一：Hadoop 單機安裝與設定][[BR]]2. [raw-attachment:wiki:NCHCCloudCourse100928:install-hadoop Ubuntu 10.04 安裝 JDK, Hadoop 0.20.2 的 Bash Script][[BR]]3. 影像處理參考：[raw-attachment:wiki:jazz/09-11-10:09-11-12_hadoop-tw-09.pdf 吳冠龍先生，台大資工系通訊與多媒體實驗室][[BR]] Image Selection for Large-Scale Flickr Photos using Hadoop[[BR]]4. ACM 論文:[http://portal.acm.org/citation.cfm?id=1631528 Canonical image selection ...][[BR]]5. [http://hpc.asu.edu/files/Customizing%20Input%20File%20Formats%20for%20Image%20Processing%20in%20Hadoop_0.pdf Customizing InputFileFormats for Image Processing in Hadoop][[BR]],Jeff Conner, Arizona State University ||
     26 || 09:30~10:40 ||  50m || 介紹課程與 Hadoop 簡介  || [raw-attachment:wiki:NCHCCloudCourse100928:part-1.pdf part-1] || 1. [wiki:NCHCCloudCourse100928_1_Install 補充一：Hadoop 單機安裝與設定][[BR]]2. [raw-attachment:wiki:NCHCCloudCourse100928:install-hadoop Ubuntu 10.04 安裝 JDK, Hadoop 0.20.2 的 Bash Script][[BR]]3. 影像處理參考：[raw-attachment:wiki:jazz/09-11-10:09-11-12_hadoop-tw-09.pdf 吳冠龍先生，台大資工系通訊與多媒體實驗室][[BR]] Image Selection for Large-Scale Flickr Photos using Hadoop[[BR]]4. ACM 論文:[http://portal.acm.org/citation.cfm?id=1631528 Canonical image selection ...] ||
    2327 || 10:43~10:53 ||  10m || 休息 || || ||
    2428 || 10:53~11:30 || 40m || Hadoop生態系簡介 || [raw-attachment:wiki:NCHCCloudCourse100928:part-2.pdf part-2] || 1. [http://forum.hadoop.tw/viewtopic.php?f=4&t=301 <學習資源> Hadoop 目前三本書籍][[BR]]2. [http://www.umiacs.umd.edu/~jimmylin/MapReduce-book-final.pdf Data-Intensive Text Processing with MapReduce] (PDF),[[BR]][http://www.umiacs.umd.edu/~jimmylin/book.html Jimmy Lin, University of Maryland] ||
    25  || 11:30~12:00 || 0.5h || 實作一：Hadoop Streaming 範例操作 ||[wiki:NCHCCloudCourse100928/Lab1 Lab-1] || 1. [wiki:NCHCCloudCourse100928/Lab1 實作一：Hadoop Streaming 範例操作] [[BR]] 2. [wiki:Hadoop_Lab1 補充：Hadoop 0.20 單機安裝] ||
    26  || 13:00~13:30  || 0.5h  || MapReduce 與 HDFS 觀念介紹 || [raw-attachment:wiki:NCHCCloudCourse100928:part-3.pdf part-3] || 1. [http://trac.nchc.org.tw/grid/intertrac/wiki%3Ajazz/09-04-14%23MapReduce 不同語言的 MapReduce 實作] ||
    27  || 13:30~14:20  || 50m  || 開發輔助工具 Eclipse | Netbeans || [raw-attachment:wiki:NCHCCloudCourse100928:part-4.pdf part-4][[BR]][wiki:NCHCCloudCourse100928/Lab2 Lab-2] || 1. [wiki:NCHCCloudCourse100928_2_IDE 實作二 ：編譯環境設定- 安裝 Eclipse 3.3.2 與 Hadoop 外掛程式][[BR]]2. [wiki:NCHCCloudCourse100928/Netbeans 補充二：安裝 Netbean 6.9.1 中文版與 KamaSphere Studio 外掛程式] ||
    28  || 14:30~15:00  || 30m  || Map Reduce 程式架構 || [raw-attachment:wiki:NCHCCloudCourse100928:part-5.pdf part-5] || 1. [wiki:NCHCCloudCourse100928_3_EXE 實作三 ： HDFS IO Code] ||     
    29  || 15:00~16:50  || 2h 超過  ||   程式設計：範例程式解說與實作 || [raw-attachment:wiki:NCHCCloudCourse100928:part-5.pdf part-5] || 1. [wiki:NCHCCloudCourse100928_4_EXM 實作四 ： MapReduce 範例程式] ||       
     29 || 11:30~12:00 || 0.5h || 實作一：Hadoop Streaming 範例操作 || [wiki:NCHCCloudCourse100928/Lab1 Lab-1] || 1. [wiki:NCHCCloudCourse100928/Lab1 實作1.a：Hadoop Streaming 範例操作] ||
     30 || 13:00~13:30  || 0.5h  || MapReduce 與 HDFS 觀念介紹 || [raw-attachment:wiki:NCHCCloudCourse100928:part-3.pdf part-3] || 1. [http://trac.nchc.org.tw/grid/intertrac/wiki%3Ajazz/09-04-14%23MapReduce 補充：不同語言的 MapReduce 實作]  、 [wiki:NCHCCloudCourse100928_1_Install 實做1.b 安裝與設定參考] ||
     31 || 13:30~14:20  || 50m  || 開發輔助工具 Eclipse | Netbeans || [raw-attachment:wiki:NCHCCloudCourse100928:part-4.pdf part-4][[BR]][wiki:NCHCCloudCourse100928/Lab2 實做2.a] || 1. [wiki:NCHCCloudCourse100928_2_IDE 實作2.b ：編譯環境設定- 安裝 Eclipse 3.3.2 與 Hadoop 外掛程式][[BR]]2. [wiki:NCHCCloudCourse100928/Netbeans 補充2.c：安裝 Netbean 6.9.1 中文版與 KamaSphere Studio 外掛程式] ||
     32 || 14:30~15:00  || 30m  || Map Reduce 程式架構 || [raw-attachment:wiki:NCHCCloudCourse100928:part-5.pdf part-5] || 1. [wiki:NCHCCloudCourse100928_3_EXE 實作3 ： HDFS IO Code] ||     
     33 || 15:00~16:50  || 2h 超過  ||   程式設計：範例程式解說與實作 || [raw-attachment:wiki:NCHCCloudCourse100928:part-5.pdf part-5] || 1. [wiki:NCHCCloudCourse100928_4_EXM 實作4 ： MapReduce 範例程式] ||       
    3034
    31  * 課後練習方式：
    32    * 使用[http://www.cloudera.com/downloads/ Cloudera 提供的 VMWare Image] (CDH2, 0.20.x)
    33    * 使用[http://developer.yahoo.com/hadoop/tutorial/module3.html#vm Yahoo! Hadoop Tutorial 的 VMWare Image] (0.20.S)
    34    * 使用[http://code.google.com/intl/zh-TW/edu/parallel/tools/hadoopvm/index.html Google 提供的 Hadoop VMWare Image] (0.13,很舊了)
     35== 課程實做 ==
     36
     37 * 1.a [wiki:NCHCCloudCourse100928/Lab1 Hadoop Streaming ]
     38 * 1.b [wiki:NCHCCloudCourse100928_1_Install Hadoop安裝與設定]
     39 * 2.a [wiki:NCHCCloudCourse100928/Lab2 指令方式編譯hadoop]
     40 * 2.b [wiki:NCHCCloudCourse100928_2_IDE 編譯環境設定- 安裝 Eclipse 3.3.2 與 Hadoop 外掛程式]
     41 * 2.c [wiki:NCHCCloudCourse100928/Netbeans 安裝 Netbean 6.9.1 中文版與 KamaSphere Studio 外掛程式]
     42 * 3. [wiki:NCHCCloudCourse100928_3_EXE 程式設計I- HDFS IO Code]
     43 * 4. [wiki:NCHCCloudCourse100928_4_EXM 程式設計II- MapReduce 範例程式]
    3544
    3645==  '''2011-07-22 (五)'''  ==
    … …  
    3948
    4049 ||     時間      || 時數  || 課程內容 || 投影片/實作 || 補充 ||
    41  || 09:30~10:20  ||   50m || 開發環境確認[[BR]]範例程式補完[[BR]]Hadoop應用範例分享 || [raw-attachment:wiki:NCHCCloudCourse100928:part-5.pdf part-5] || 1. [wiki:NCHCCloudCourse100928#補充資料 心得分享：NoSQL 必須視應用特性再決定是否採用][[BR]]2. [wiki:NCHCCloudCourse100928_4_EXM 實作四：MapReduce 範例程式] ||
     50 || 09:30~10:20  ||   50m || 開發環境確認[[BR]]範例程式補完[[BR]]Hadoop應用範例分享 || [raw-attachment:wiki:NCHCCloudCourse100928:part-5.pdf part-5] || 1. [wiki:NCHCCloudCourse100928_4_EXM 實作四：MapReduce 範例程式] ||
    4251 || 10:20~10:30 ||   10m || 休息 || || ||
    43  || 10:30~11:30  ||  60m || HBase 簡介與架構 || [raw-attachment:wiki:NCHCCloudCourse100928:part-6.pdf part-6] || 1. [wiki:NCHCCloudCourse100929_1_HBInstall 實作五：安裝與設定參考] ||
    44  || 11:30~12:00  ||  30m || HBase 安裝操作說明 || [raw-attachment:wiki:NCHCCloudCourse100928:part-7.pdf part-7] || 1. [wiki:NCHCCloudCourse100929_2_USE 實作六：HBase 使用方法] ||
     52 || 10:30~11:30  ||  60m || HBase 簡介與架構 || [raw-attachment:wiki:NCHCCloudCourse100928:part-6.pdf part-6] || 1. [wiki:NCHCCloudCourse100929_1_HBInstall 實作5：安裝與設定參考] [[BR]] 2. [grid:wiki:jazz/NoSQL Jazz's NoSQL 筆記] [[BR]] 3. [raw-attachment:wiki:NCHCCloudCourse110718:scale.pdf 關於 Large Scale Website] [[BR]] 4. [wiki:NCHCCloudCourse100928#補充資料 心得分享：NoSQL 必須視應用特性再決定是否採用] [[BR]] 5. Twitter 比較 HBase 與 Cassandra （[http://ria101.wordpress.com/2010/02/24/hbase-vs-cassandra-why-we-moved/ 原文]|[http://wangxu.me/blog/?p=371 中文]） [[BR]] 6. [http://trac.nchc.org.tw/cloud/wiki/waue/2011/0707 cassandra 安裝使用簡介] ||
     53 || 11:30~12:00  ||  30m || HBase 安裝操作說明 || [raw-attachment:wiki:NCHCCloudCourse100928:part-7.pdf part-7] || 1. [wiki:NCHCCloudCourse100929_2_USE 實作6：HBase 使用方法] ||
    4554 || 12:00~13:00  ||  60m || - 午餐 || || ||
    46  || 13:00~14:00  ||  60m || HBase 程式架構與範例 || [raw-attachment:wiki:NCHCCloudCourse100928:part-8.pdf part-8] || 1. [wiki:NCHCCloudCourse100929_4_HBEX 實作七 ：HBase程式設計][[BR]]2. [wiki:NCHCCloudCourse100929_4_HEXM HBase 範例：台中餐城(TCRC)銷售金額統計] ||
     55 || 13:00~14:00  ||  60m || HBase 程式架構與範例 || [raw-attachment:wiki:NCHCCloudCourse100928:part-8.pdf part-8] || 1. [wiki:NCHCCloudCourse100929_4_HBEX 實作7 ：HBase程式設計][[BR]]2. [wiki:NCHCCloudCourse100929_4_HEXM HBase 範例：台中餐城(TCRC)銷售金額統計] ||
    4756 || 14:00~14:20 ||  20m || 實作練習 + 休息 + 發課程收據/修課證明 || || ||
    48  || 14:20~16:00 || 100m || Hadoop + HBase + PHP  案例實務  || [raw-attachment:wiki:NCHCCloudCourse100928:part-8.pdf part-8] || 1. [wiki:waue/2010/HbaseThrift 實作八 ：Hbase + Thrift + PHP ] ||
     57 || 14:20~16:00 || 100m || Hadoop + HBase + PHP  案例實務  || [raw-attachment:wiki:NCHCCloudCourse100928:part-8.pdf part-8] || 1. [wiki:waue/2010/HbaseThrift 實作8 ：Hbase + Thrift + PHP ] ||
    4958 || 16:00~16:10 ||  10m || 補充教材: hadoop + 關聯式資料庫 || [raw-attachment:wiki:NCHCCloudCourse100928:part-9.pdf part-9] || 1. [wiki:NCHCCloudCourse100928_MYSQL Hadoop 透過 JDBC 連結 MySQL 範例程式碼][[BR]]2. [http://www.mysql.com/downloads/connector/j/ JDBC Driver for MySQL (Connector/J)][[BR]] 3. [http://www.cloudera.com/blog/tag/dbinputformat/ 關於 DBInputFormat (from Cloudera)] - [http://developer.yahoo.net/blogs/hadoop/DBInputFormat.ppt slides] ||
    50  || 16:10~16:30 ||  20m || Hadoop 與 HBase 應用案例分享 || [raw-attachment:wiki:NCHCCloudCourse100928:part-10.pdf part-10][[BR]] [raw-attachment:wiki:NCHCCloudCourse110718:Hadoop應用-Crawlzilla簡介.pdf Crawlzilla簡報檔]|| 1. [wiki:waue/2009/SEC_to_ICAS ICAS][[BR]]2. [http://code.google.com/p/crawlzilla Crawlzilla專案網址] ||
     59 || 16:10~16:30 ||  20m || Hadoop 與 HBase 應用案例分享 || [raw-attachment:wiki:NCHCCloudCourse100928:part-10.pdf part-10][[BR]] [raw-attachment:wiki:NCHCCloudCourse110718:Hadoop應用-Crawlzilla簡介.pdf Crawlzilla簡報檔]|| 1. [http://code.google.com/p/crawlzilla Crawlzilla專案網址] ||
    5160
    52  * 課後問題討論，建議優先至 http://forum.hadoop.tw 進行討論。
     61== 課程實做 ==
     62
     63 * [wiki:NCHCCloudCourse100929_1_HBInstall 實作5：安裝與設定參考]
     64 * [wiki:NCHCCloudCourse100929_2_USE 實作6：HBase 使用方法]
     65 * [wiki:NCHCCloudCourse100929_4_HBEX 實作7 ：HBase程式設計]
     66 * [wiki:waue/2010/HbaseThrift 實作8 ：Hbase + Thrift + PHP ]
     67
     68= 課後練習 =
     69
     70 * 使用[http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win Hadoop4Win] - 在 Windows 上安裝單機版 Hadoop 與 HBase 練習環境 ('''注意：僅供練習使用，請勿用於實際營運！'''）
     71 * 使用 HBase 0.90 改寫以上範例 [http://trac.nchc.org.tw/cloud/wiki/waue/2011/0426  code example ]
     72 * [http://sourceforge.net/projects/drbl-hadoop/files/ DRBL-Hadoop Live CD] (CDH2, 0.20.x) - 國網中心 hadoop.nchc.org.tw 的底層作法，使用方法仍在整理中～但已足夠作為練習 Hadoop 的執行環境
     73 * 使用[http://www.cloudera.com/downloads/ Cloudera 提供的 VMWare Image] (CDH2, 0.20.x)
     74 * 使用[http://developer.yahoo.com/hadoop/tutorial/module3.html#vm Yahoo! Hadoop Tutorial 的 VMWare Image] (0.20.S)
     75 * 使用[http://code.google.com/intl/zh-TW/edu/parallel/tools/hadoopvm/index.html Google 提供的 Hadoop VMWare Image] (0.13,很舊了)
     76
     77= 公用環境 Public Cluster =
     78
     79 * 課後問題討論，建議優先至台灣 Hadoop 使用者討論區 http://forum.hadoop.tw 進行討論。
    5380 * 需要 Hadoop 叢集環境，可至 http://hadoop.nchc.org.tw 申請帳號。
     81   * 申請步驟，請參閱[wiki:YMU110509/Lab1 截圖說明]
     82 * 關於公用叢集的幾個重要入口：
     83 * http://hadoop.nchc.org.tw - 實驗叢集入口網站
     84 * http://hadoop.nchc.org.tw/ganglia - 實驗叢集負載狀態
     85 * http://hadoop.nchc.org.tw:50030 - 實驗叢集正在執行與執行完畢的任務
     86 * http://hadoop.nchc.org.tw:50070 - 實驗叢集的硬碟空間狀態
     87 * http://hadoop.nchc.org.tw/hadoop-doc - Hadoop 相關說明文件
     88 * http://hadoop.nchc.org.tw/hadoop-doc/api/index.html - Hadoop 0.20.2 javadoc 文件
     89
     90== HBase Local Mode ==
     91
     92 * 修改 /etc/hosts
     93{{{
     94echo "127.0.0.1 localhost $(hostname)" > hosts
     95sudo mv hosts /etc/hosts
     96}}}
     97 * 產生 /opt/hbase/conf/hbase-site.xml
     98{{{
     99cat > /opt/hbase/conf/hbase-site.xml << EOF
     100<?xml version="1.0"?>
     101<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
     102<configuration>
     103<property>
     104<name>hbase.rootdir</name>
     105<value>hdfs://localhost:9000/hbase</value>
     106</property>
     107</configuration>
     108EOF
     109}}}
     110 * 啟動 Hadoop 與 HBase
     111{{{
     112/opt/hadoop/bin/start-all.sh
     113/opt/hbase/bin/start-hbase.sh
     114}}}
     115 * 檢查 jps 是否有 NameNode 等 java process，以及 HMaster 與 HQuorumPeer，正常應該要有以下的 java process （PID 可能不同）
     116{{{
     11713019 HMaster
     11810513 NameNode
     11910838 SecondaryNameNode
     12012952 HQuorumPeer
     12110916 JobTracker
     12213312 Jps
     12311068 TaskTracker
     12410676 DataNode
     125}}}