wiki:III140412/Lab18

Version 1 (modified by jazz, 8 years ago) (diff)

--

◢ <實作十六> | <回課程大綱> ▲ | <實作十九> ◣

實作十八 Lab18

增加 Reducer 個數
Job.setNumReduceTasks(N)

請先連線至 nodeN.3du.me , N 為您的報名編號
  • 在前兩個範例中,我們可以觀察到預設的 reducer 個數是固定的。那我們是否可以修改 reducer 的個數呢?答案是可行的!
    cd ~/hadoop_labs/lab010
    ant
    hadoop fs -rmr input output
    hadoop fs -put ~/hadoop/conf input
    hadoop jar WordCount.jar input output
    hadoop fs -ls output
    hadoop fs -cat output/part-* 
    

實作習題

<問題 1> 請問執行任務時,同時有幾個 Reducer?

      (A) 0
      (B) 1
      (C) 2
      (D) 3

<問題 2> 請問執行任務後,最後產生幾個輸出檔?

      (A) 0
      (B) 1
      (C) 2
      (D) 3

<問題 3> 若將 Reducer 個數設為 2,而 mapper 輸出的 key 是 {A,B,C,D}, 其中 A < B < C < D。請問,結果會是以下哪一個?

      (A) {A, B}, {C, D}
      (B) {A, B, C}, {D}
      (C) {A, C}, {B, D}
      (D) {A, D}, {B, C}