hadoop 進階課程 課程大綱

時間	時數	課程內容
09:30~10:30	1.0h	Hadoop & ecosystem 簡介
10:30~11:00	0.5h	Map Reduce 原理說明
11:00~12:00	1 h	Streaming & MapReduce compiler
12:00~13:30	1.5h	- 午餐
13:30~14:00	0.5h	開發輔助工具 Eclipse | NetBeans?
14:00~14:30	0.5h	Map Reduce 程式架構
14:30~15:00	0.5h	程式設計I- HDFS 操作
15:00~16:30	1.5h	程式設計II-範例程式

時間	時數	課程內容
09:30~11:00	1.5h	HBase 簡介與架構
11:00~12:00	1 h	HBase 安裝操作說明
12:00~13:30	1.5h	- 午餐
13:30~14:30	1 h	HBase 程式架構與範例
14:30~15:30	1h	Hadoop + HBase + PHP 案例實務
15:30~16:30	1h	hadoop + 關聯式資料庫

• ​hadoop.lib.db 函式用法
• ​Sqoop ​Sqoop 範例
• ​hadoop + postgresql
• ​hadoop 0.21 有直接支援 mysql 的類

• ​mysql 的 jdbc 驅動程式

• 若出現以下錯誤

  Caused by: java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
  
  The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.
  

代表程式碼連線到 mysql 的設定方法有錯誤，通常是Mysql 只聽 localhost，但你讓他去連 your_ip ，導致出現這樣的訊息，

• 解決方法就是

1. 連線到 local

     DBConfiguration.configureDB(conf, "com.mysql.jdbc.Driver", "jdbc:mysql://localhost/school", "waue", "wauenchc");
   

2. 讓mysql 可以遠端存取

mysql 遠端存取方法

修改 /etc/mysql/my.cnf

# bind-address 127.0.0.1
bind-address your_ip_address

$ sudo /etc/init.d/mysql restart
$ mysql -u root -p 

mysql> grant all on school.* to waue identified by 'wauenchc' with grant option;
mysql> exit

$ mysql -h your_ip_address -u waue -p "wauenchc"

出現 mysql> 則代表成功