Hadoop Streaming

• Hadoop streaming是Hadoop的一個工具， 它幫助用戶創建和運行一類特殊的map/reduce作業， 這些特殊的map/reduce作業是由一些可執行文件或腳本文件充當mapper或者reducer

用 shell實做mapReduce

• 最簡單的透過shell執行stream的map reduce:

  $ bin/hadoop jar hadoop-0.18.3-streaming.jar -input input -output stream-output1 -mapper /bin/cat -reducer /usr/bin/wc
  

  • 輸出的結果為： (代表 行、字數、字元數)

    2910628 24507806 143451003
    

用php實做mapReduce

• ​用 "單機" 跟 "PHP" 開發 Hadoop 程式 from Hadoop Taiwan User Group

Python 實做

• ​Hadoop Example Program from brandeis University