NutchEZ安裝流程

假設條件

JAVA_HOME	/usr/lib/jvm/java-6-sun
User	nutchuser
NutchEZ安裝路徑	/opt/nutchEZ
Tomcat安裝路徑	/opt/nutchEZ/tomcat
Source檔路徑	/opt/
三類檔案	安裝shell檔, nutch-1.0.tar.gz, apache-tomcat-6.0.18.tar.gz

開始安裝

詢問使用者資訊及其他資訊

• Admin e-mail
• DNS name
• Master IP(程式設定)

Install Nutch

解壓縮.改資料夾名稱.擁有者

• tar zxvf nutch-1.0.tar.gz
• mv nutch-1.0 nutchEZ
• chown -R nutchuser:nutchuser /opt/nutchEZ

將設定寫入設定檔

• hadoop-env.sh
• hadoop-site.xml($MasterDNS)
• nutch-site.xml($Admin)
• slaves(叢集的client_install需更改此檔)
• crawl-urlfilter.txt(爬網規則)

啟動nutch

• 格式化HDFS
• startup nucth

Install Tomcat

解壓縮.改資料夾名稱.擁有者

• tar zxvf apache-tomcat-6.0.18.tar.gz /opt/nutchEZ/
• mv /opt/nutchEZ/apache-tomcat-6.0.18 /opt/nutchEZ/tomcat
• chown -R nutchuser:nutchuser /opt/nutchEZ/

環境設定

$ cd /opt/nutchEZ
$ mkdir web
$ cd web
$ jar -xvf ../nutch-1.0.war
$ rm ../nutch-1.0.war
$ mv /opt/nuctcEZ/tomcat/webapps/ROOT /opt/tomcat/webapps/ROOT-ori
$ cd /opt/nutchEZ
$ mv /opt/nutchEZ/web /opt/nutchEZ/tomcat/webapps/ROOT
$ mkdir /opt/nutchEZ/search

修改設定檔

/opt/nutchEZ/tomcat/conf/server.xml

/opt/nutchEZ/tomcat/webapps/ROOT/WEB-INF/classes/nutch-site.xml

啟動tomcat

執行階段

• 爬網
• 搬檔案
• 重新啟動tomcat

測試

WikiInclude(shunfa/2010/0524_NutchEZ_InstallTest)?

Reference

• Nutch Install by Waue