Changes between Initial Version and Version 1 of crawlzilla-2.0

Timestamp:

Oct 14, 2011, 3:25:47 PM (13 years ago)

Author:

waue

Comment:

--

crawlzilla-2.0

@@ +1 @@
+{{{
+#!html
+<div style="text-align: center; color:#151B8D"><big style="font-weight: bold;"><big><big>
+crawlzilla 2.0 工作項目
+</big></big></big></div> <div style="text-align: center; color:#7E2217"><big style="font-weight: bold;"><big>
+新架構設計　與　新功能
+</big></big></div>
+}}}
+[[PageOutline]]
+
+ = 架構改變 =
+ == 專案發行 ==
+原本架構：
+
+ * crawlzilla-package.tar.gz 
+ * carwlzilla-install.tar.gz 
+
+舊的安裝與更新方法是，下載 crawlzilla-package.tar.gz （140M）下來更新，然而一旦修改此 package 檔，則需要重新上傳，造成伺服器與更新時間太頻繁。
+
+註：sourceforge 目前上傳速度約為 ~　11k　（慢到會哭），下載還要等檔案都　mirror 到全球站台後，檔案才不會有問題。
+
+新架構希望能達到以下目的
+
+ * 方便更新到 sourceforge.net 
+ * 更新較頻繁的檔可以越小越好
+
+目前架構：
+
+ || nutch-1.2-tomcat-6.0-BaseLite-p0.tar.gz || 原本的 apache-nutch-1.2 與 apache-tomcat-6.0 但刪除 doc/, src/, .job, .jar  || 54.0 M || 
+ || nutch-1.2-IKAnalyzer-p0.tar.gz  || 放入 中文分詞後更改的 .jar, .job 與 IKAnalyzer.lib  || 49.7 M || 
+ || nutch-1.2-WebDefault-p0.tar.gz || 修改過得 nutch 的搜尋網頁介面：tomcat/webapps/default/ || 36.4M || 
+ || carwlzilla-install.tar.gz || 含有 crawlzilla 的 main, war, ; 針對 {conf/ , bin/} 的 nutch-patch , tomcat-patch || 0923版= 9.5M  || 
+
+ == 網頁 MVC ==
+所有　crawlzilla.war 內的　jsp , javabean, servlet 　作統籌規劃，確實MVC
+
+ == svn ==
+ crawlzilla web
+
+ = 系統 = 
+
+ == 搜尋本機及FTP文件檔案 == 
+ == 抓取動態網頁的可行性 == 
+ == 簡化安裝流程　== 
+ * 分別為安裝及設定 
+ == 加入資料庫格式 == 
+增加系統效能
+ * SQL-lite
+ * json
+...
+ == 增量爬取 == 
+ * 其實等於 recrawl
+ == IDB merge　== 
+ * mergecrawl 
+
+
+
+ = 網頁 =
+
+ == 網頁管理頁面重新設計 == 
+
+網頁管理頁面重新設計，不再套用現成版面，並提供客製化CSS樣板
+
+ == 客製化中文分詞詞庫 == 
+客製化中文分詞詞庫採線上即時編輯OR匯入檔案的方式，找詞庫
+
+ == Nutch 搜尋UI ==
+ * Nutch 搜尋UI替換為crawlzilla自有設計版面
+ * 加入該　索引庫統計資訊
+
+ == autocomplete搜尋關鍵字 == 
+於nutch 的搜尋介面上能自動提示與統計　關鍵字
+ == 手機版網頁 == 
+ * crawlzilla 手機版
+ == Hadoop網頁操作頁面 == 
+ * 嘗試過，但需要 改寫 hadoop 的 jsp ，並導入 jetty ，最後用 ant 打包
+ == IDB 匯入/匯出 == 
+ * 再網頁上新增按鈕將 IDB 打包給使用者下載
+ * 網頁上新增功能讓使用者　將　IDB 上傳
+ = 文件 = 
+
+ == 開發者文件(參考Gray提供之樣板) == 
+ == 安裝及使用教學文件 == 
+
+ = 推廣 = 
+
+ == 尋找新的使用者 == 
+
+ = 技術 = 
+
+ == HTML5 + CSS3 + JS == 
+ * [http://inspectelement.com/html5portfolio/#portfolio html 5 + css 3 ：step by step 教學（英文）]
+ * [http://lilaccreative.com/ demo ]
+ * [http://special-christina.blogspot.com/2011/01/35html5.html 35個歐美HTML5網站欣賞]
+
+ == Nutch 功能 == 
+ * SQLite
+ * hadoop程式碼
+ * 非同步網頁
+    * Servlet 3.0之非同步處理機制與非同步事件聆聽器
+    * Servlet/JSP Gossip: 簡介 AsyncContext
+    * Servlet的版本對照
+ * Nutch + HBase : long term 
+