close
Warning:
Can't synchronize with repository "(default)" (Unsupported version control system "svn": /usr/lib/python2.7/dist-packages/libsvn/_fs.so: failed to map segment from shared object: Cannot allocate memory). Look in the Trac log for more information.
- Timestamp:
-
Nov 6, 2008, 12:05:53 PM (16 years ago)
- Author:
-
jazz
- Comment:
-
--
Legend:
- Unmodified
- Added
- Removed
- Modified
-
v31
|
v32
|
|
198 | 198 | * datanode : 192.168.100.254 / 172.21.253.129 (DRBL Server) |
199 | 199 | {{{ |
200 | | jazz@hadoop:~/hadoop-0.18.2$ bin/hadoop datanode |
| 200 | ~/hadoop-0.18.2$ bin/hadoop datanode |
201 | 201 | 08/11/05 09:26:23 INFO dfs.DataNode: STARTUP_MSG: |
202 | 202 | /************************************************************ |
… |
… |
|
265 | 265 | unix 2 [ ] STREAM CONNECTED 7492 2703/java |
266 | 266 | }}} |
| 267 | * 使用 strace 追蹤 |
| 268 | * 使用 bash -x 追蹤 |
| 269 | {{{ |
| 270 | ~/hadoop-0.18.2$ bash -x bin/hadoop datanode |
| 271 | }}} |
| 272 | * 使用 tcpdump 追蹤 - 監控與 namenode 之間的通訊 |
| 273 | {{{ |
| 274 | ~/hadoop-0.18.2$ tcpdump -i eth0 dst port 9000 |
| 275 | }}} |
| 276 | * 從 tcpdump 的結果發現 datanode (DRBL client 2) 有跟 namenode (DRBL client 1) 溝通,但是不同於 DRBL Server 當 datanode 時會完成與 namenode 之間連線,整體上看起來是一直嘗試與 namenode 連線的狀態,因此懷疑是否有 permission 認證方面的問題。 |
| 277 | * 印象 waue 曾經用 DRBL 裝兩台 Hadoop,也因而遇到兩台同時搶 NFS 空間的窘境,因此進一步實驗如果在 DRBL client 2 上掛載 /dev/sda2 並把 conf/hadoop-env.sh 裡的 HADOOP_HOME 設成實體硬碟空間是否可行。 |
| 278 | * [結論] Hadoop 會用 df 查詢到底有多少實際可用的空間,這從 http://x.x.x.x:50070 namenode 的管理介面就可以看到。因此或許 0.18.2 的版本有新的防範措施,以致於 datanode (DRBL Client 2) 無法找到 Storage 加入 namenode (DRBL Client 1)。 |
267 | 279 | |
268 | 280 | == debian package post-install script == |