Changes between Version 31 and Version 32 of jazz/08-11-05

Timestamp:

Nov 6, 2008, 12:05:53 PM (16 years ago)

Author:

jazz

Comment:

--

jazz/08-11-05

@@ -198 +198 @@
  * datanode : 192.168.100.254 / 172.21.253.129 (DRBL Server)
 {{{
-jazz@hadoop:~/hadoop-0.18.2$ bin/hadoop datanode
+~/hadoop-0.18.2$ bin/hadoop datanode
 08/11/05 09:26:23 INFO dfs.DataNode: STARTUP_MSG:
 /************************************************************
@@ -265 +265 @@
 unix  2      [ ]         STREAM     CONNECTED     7492     2703/java
 }}}
+ * 使用 strace 追蹤
+ * 使用 bash -x 追蹤
+{{{
+~/hadoop-0.18.2$ bash -x bin/hadoop datanode
+}}}
+ * 使用 tcpdump 追蹤 - 監控與 namenode 之間的通訊
+{{{
+~/hadoop-0.18.2$ tcpdump -i eth0 dst port 9000
+}}}
+ * 從 tcpdump 的結果發現 datanode (DRBL client 2) 有跟 namenode (DRBL client 1) 溝通，但是不同於 DRBL Server 當 datanode 時會完成與 namenode 之間連線，整體上看起來是一直嘗試與 namenode 連線的狀態，因此懷疑是否有 permission 認證方面的問題。
+ * 印象 waue 曾經用 DRBL 裝兩台 Hadoop，也因而遇到兩台同時搶 NFS 空間的窘境，因此進一步實驗如果在 DRBL client 2 上掛載 /dev/sda2 並把 conf/hadoop-env.sh 裡的 HADOOP_HOME 設成實體硬碟空間是否可行。
+ * [結論] Hadoop 會用 df 查詢到底有多少實際可用的空間，這從 http://x.x.x.x:50070 namenode 的管理介面就可以看到。因此或許 0.18.2 的版本有新的防範措施，以致於 datanode (DRBL Client 2) 無法找到 Storage 加入 namenode (DRBL Client 1)。
 
 == debian package post-install script ==