== [wiki:waue/2010/0430 1st] == || waue || * read nutch -> by lucene reader : luke [[br]] * 系統架構圖 [[br]] * 企劃書 [[br]] * 專案規劃&系統分析 [[br]] * nutch cluster howto || fafa || * how to install hadoop cluster easily ! || == [wiki:waue/2010/0507 2st] == * 決議 * 建立統一的使用者名稱 :nutchuser || waue || 提供nutch資訊[[br]]研究tomcat權限問題 || linux 版本描述檔為 /etc/lsb-release || || shunfa || 規劃安裝流程 || || == 3st (5/17) == * 討論事項 * 圖形介面 * 安裝步驟 * 簡介系統流程 * 決議 * 目前有三個功能要完成: 1. 安裝前制步驟檢查 (check_root.sh) 2. 安裝程式碼(Install.sh)3. 管理網頁(admin.php or admin.jsp) * 下次進度 * 討論方式與svn、程式架構圖、流程設計、時程表 || waue || survey 網頁管理框架 || || || shunfa || 實做Install.sh 主邏輯 || || || rock || 實做 check_root.sh 主邏輯 || || == 4st (5/21) == * 討論事項 * [wiki:nutchez_svn subversion 專案管理] * 多國語言方案 * 目錄決定 * 更改安裝流程 || waue || nutchez.sh 規劃 || || || fafa || master_install || || || rock || client_install || || == 5st (5/28) == === rock === Slave 安裝程式demo === fafa === Master 安裝程式demo === waue === * 討論 web 要用 [http://wiki.apache.org/tomcat/UsingPhp tomcat 5 + php 4 ] 或 tomcat 6 + jsp * 討論 目錄架構 * [http://trac.nchc.org.tw/cloud/export/124/nutchez-0.2/package/nutchez-0.2-20100524.tar.gz 下載修改後 nutch 叢集版 的壓縮檔] * 設定叢集驅動模式( /opt/nutchez/nutch/conf/ 的 hadoop-site.xml ) {{{ #!xml fs.default.name hdfs://localhost:9000 mapred.job.tracker localhost:9001 hadoop.tmp.dir /var/nutchez/nutch-nutchuser }}} * 設定 最後的搜尋結果 ( /opt/nutchez/tomcat/webapps/ROOT/WEB-INF/classes/ 的 nutch-site.xml ) {{{ #!xml searcher.dir /home/nutchuser/nutchez/search }}} * 使 nutch 主程式引入環境變數 (改 /opt/nutchez/nutch/bin/nutch ) {{{ #!sh NUTCH_HOME=/opt/nutchez/nutch NUTCH_CONF_DIR=/opt/nutchez/nutch/conf NUTCH_LOG_DIR=/var/nutchez/logs }}} * 叢集版的 nutch ,要使用之前,要先執行 hadoop format 與 start-all.sh == 6st (6/4) == * 流程演練與討論 * 報名 & 企劃書 修改 * nutchez 叢集總管介面 開發討論 * nutchez web管理頁面 開發討論 需修改部份 {{{ Install.sh 1. IP 沒有被紀錄 2. 預設安裝 gij 的問題 3. nutchez 的 tar.gz 包修正 4. 將 自己的 hostname & ip 紀錄到 nutch_nodes 5. ssh-add /home/nutchuser/.ssh/id_rsa 以免ubuntu9.10之後無法登入 Client_Install.sh 1. 預設安裝 gij 的問題 2. ssh-add /home/nutchuser/.ssh/id_rsa 以免ubuntu9.10之後無法登入 3. slave的 /etc/hosts 被填寫兩次 client ip & name 其他: Merge nutch nodes }}}