Hadoop 運算時出錯Debug

重要的日誌檔

• 可到 /opt/hadoop/logs 內看日誌檔
• 用瀏覽器打開 ​http://localhost:50070/logs/ 或 ​http://localhost:50030/logs/ 皆可

日誌名稱的格式為

hadoop

-

使用者

-

工作身份

-

主機

.

副檔名

因此

• 運作於 pc121 主機上的 namenode 的日誌為
  • hadoop-hadooper-namenode-pc121.log
• 運作於 pc122 主機上的 datanode 的日誌為
  • hadoop-hadooper-datanode-pc122.log
• 運作於 pc123 主機上的 jobtracker 的日誌為
  • hadoop-hadooper-jobtracker-pc123.log
• 運作於 pc124 主機上的 tasktracker 的日誌為
  • hadoop-hadooper-tasktracker-pc124.log

運算到一半，hadoop若出錯

請察看：

• hadoop-ooo-jobtracker-xxx.log
• hadoop-ooo-tasktracker-xxx.log
• 50030 網頁的 Failed Jobs 連結 -> Failed/Killed? Task Attempts連結 -> 看錯誤訊息

hadoop 啟動不起來

請察看：

• hadoop-ooo-namenode-xxx.log
• hadoop-ooo-datanode-xxx.log