Changes between Version 12 and Version 13 of waue/2009/0715


Ignore:
Timestamp:
Jul 15, 2009, 5:51:57 PM (15 years ago)
Author:
waue
Comment:

--

Legend:

Unmodified
Added
Removed
Modified
  • waue/2009/0715

    v12 v13  
    1818 * 舉例<WordCount> :
    1919   * 由於輸入為hdfs的路徑,因此傳到mapper裡時,key= 檔案內每一行的位址、value代表檔案內的每一行字串,因此A可以任意類別,B則為Text
    20    * 而wordcount最終要算出的是每個字的出現次數,因此輸出的<key,value>應該是文字,數字,故 E=Text, F=IntWritable
    21    * 如何才能原本一開始每一行字,進而分析成<文字,數字>,故邏輯為先把每一行的單字都取出,然後設定map的輸出為<單字,1>,以便放到Reduce去相加,所以C=Text, D=IntWritable
     20   * 而wordcount最終要算出的是每個字的出現次數,因此輸出的<key,value>應該是文字,數字,故 E=Text, F=!IntWritable
     21   * 如何才能原本一開始每一行字,進而分析成<文字,數字>,故邏輯為先把每一行的單字都取出,然後設定map的輸出為<單字,1>,以便放到Reduce去相加,所以C=Text, D=!IntWritable
     22   * 把ABCDEF填入之後,剩下只是程式邏輯而已!
     23
     24
    2225{{{
    2326#!java