Changes between Version 17 and Version 18 of waue/2009/0402

Timestamp:

Apr 2, 2009, 4:49:22 PM (15 years ago)

Author:

waue

Comment:

--

waue/2009/0402

@@ -173 +173 @@
 ....（略）
 }}}
+
+== job  == 
+ * 用以跟Map Reduce 的作業程序溝通
+ * 在測試此指令之前，請確認已經先執行過mapReduce的程序過
+ * 可到JobTracker:50030網頁來看程序的Jobid
+=== -status ===
+ * 查看工作狀態
+{{{
+$ bin/hadoop job -status job_200904021140_0001
+
+}}}
+=== -kill ===
+ * 終止正在執行的程序，其id為 job_200904021140_0001
+{{{
+$ bin/hadoop job -kill job_200904021140_0001
+}}}
+
+
+= streaming =
+ * Hadoop streaming是Hadoop的一個工具， 它幫助用戶創建和運行一類特殊的map/reduce作業， 這些特殊的map/reduce作業是由一些可執行文件或腳本文件充當mapper或者reducer
+ * 最簡單的透過shell執行stream的map reduce:
+{{{
+$ bin/hadoop jar hadoop-0.18.3-streaming.jar -input input -output stream-output1 -mapper /bin/cat -reducer /usr/bin/wc
+}}}
+   * 輸出的結果為： (代表 行、字數、字元數)
+{{{
+#!sh
+2910628 24507806 143451003
+}}}