Changes between Version 7 and Version 8 of jazz/09-08-27

Timestamp:

Aug 28, 2009, 12:53:37 PM (15 years ago)

Author:

jazz

Comment:

--

jazz/09-08-27

@@ -81 +81 @@
 09/08/27 14:37:31 INFO dfs.Balancer: Decided to move block 248102854142724550 with a length of 13.36 KB bytes from 192.168.1.6:50010 to 192.168.1.5:50010 using proxy source 192.168.1.6:50010
 }}}
-  * [統計] 目前平均 file size 大概都落在 1Kbytes 以下。
+  * [統計] 目前平均 file size 大概都落在 1KB 以下。
   * [[Image(wiki:jazz/09-08-27:hadoop_file_size_block_size.png,width=400)]]
-  * [發現] 根據 Hadoop 論壇的討論，發現其實 block size 是由使用者自己(Hadoop Client)決定的。
+  * [發現] 根據 Hadoop 論壇的討論，發現其實 block size 是由使用者自己(Hadoop Client)決定的。只要在上傳或複製時，用 -D 指定 dfs.block.size 屬性，就可以自訂 block size。底下的範例：
+　　　* /user/jazz/input/hadoop-default.xml - 修改前產生的檔案(/etc/hadoop/conf/hadoop-site.xml 的 dfs.block.size = 67108864 , i.e. 64MB)
+   * /user/jazz/input/hadoop-default.xml.new - 修改後複製產生的檔案(/etc/hadoop/conf/hadoop-site.xml 的 dfs.block.size = 4096 , i.e. 4KB)
+   * /user/jazz/input/hadoop-default.xml.new - 自訂屬性複製產生的檔案(/etc/hadoop/conf/hadoop-site.xml 的 dfs.block.size = 4096 , i.e. 4KB)
 {{{
+jazz@hadoop:~$ hadoop fs -cp /user/jazz/input/hadoop-default.xml /user/jazz/input/hadoop-default.xml.new
 jazz@hadoop:~$ hadoop fs -D dfs.block.size=4194304 -cp /user/jazz/input/hadoop-default.xml /user/jazz/input/hadoop-default.xml.4M
 jazz@hadoop:~$ hadoop fs -stat "filesize=%b block_size=%o filename=%n replication=%r" /user/jazz/input/hadoop-default.xml