wiki:waue/2009/0616

Version 3 (modified by waue, 15 years ago) (diff)

--

  • eclipse 的hadoop-*-{core,ant,tools}.jar 這三個包的
  • src
     $HADOOP_HOME/src
    
  • javadoc
     $HADOOP_HOME/docs/api
    
  • 其實在這裡可以找到很多範例程式:
     $HADOOP_HOME/src/examples/org/apache/hadoop/examples/
    

hadoop 0.20 的重大改變

  • 原本的 hadoop-site.xml 與 hadoop-default.xml 都不見了

*-site.xml

  • 放在 $hadoop_conf_dir 內就會被載入

core-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

mapred-site.xml

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

*-default.xml

  • 詳細的設定,被放置於src 資料夾內
  • 將 *-default.xml檔案與*-site.xml 放在一起就會載入其內部的設定值
  • 此程式說明載入設定動作:/opt/hadoop/src/core/org/apache/hadoop/conf/Configuration.java

core-default.xml

  • /opt/hadoop/src/core

hdfs-default.xml

  • /opt/hadoop/src/hdfs

mapred-default.xml

  • /opt/hadoop/src/mapred