wiki:Streaming

Version 1 (modified by waue, 15 years ago) (diff)

--

Hadoop Streaming
  • Hadoop streaming是Hadoop的一個工具, 它幫助用戶創建和運行一類特殊的map/reduce作業, 這些特殊的map/reduce作業是由一些可執行文件或腳本文件充當mapper或者reducer

用 shell實做mapReduce

  • 最簡單的透過shell執行stream的map reduce:
    $ bin/hadoop jar hadoop-0.18.3-streaming.jar -input input -output stream-output1 -mapper /bin/cat -reducer /usr/bin/wc
    
    • 輸出的結果為: (代表 行、字數、字元數)
      2910628 24507806 143451003
      

用php實做mapReduce

Python 實做