2011-09-12

Hadoop

• ​Set Up Apache Hadoop in Minutes with RPMs
  • 今天看到這篇文章，回想起幾天前的 ​Hadoop 0.20.204.0 Release，回過頭去查目錄內容，才赫然發現裡面包含了 RPM 跟 DEB 套件檔，看樣子未來套件安裝又多了一種選擇。
• ​An Introduction to HDFS Federation | Hortonworks
  • [Image(​http://www.hortonworks.com/wp-content/uploads/2011/08/HDFS_Federation_PNG2.png)]]
  • 看起來是多個 NameNode 形成多個 Storage Pool NameSpace 的作法，比較特別的是 DataNode 是共用的！與過去比較常看到的多組 NameNode 各自配對應的 DataNode 作法不同。
• ​Preparing for Next Release of Apache Hadoop
  • 先前也看過 ​Yahoo Developer Network 的文章在談次世代 MapReduce，本來沒有很懂差異點。今天再看了一下​投影片，才明白是要把原本 JobTracker 做的事情分成多個角色來處理，包含：ResourceManager、!NodeManager與ApplicationMaster。
  •