Changes between Version 22 and Version 23 of LogParser

Timestamp:

Jul 8, 2008, 10:25:42 AM (17 years ago)

Author:

waue

Comment:

--

LogParser

@@ -50 +50 @@
 }}}
 !LogParserGo共宣告了以下幾個全域變數及方法：
- 1. Item 1
-   a. Item 1.a
-   a. Item 1.b
-      i. Item 1.b.i
-      i. Item 1.b.ii
- 1. Item 2
-And numbered lists can also be given an explicit number:
- 3. Item 3
+
  1. HBaseConfiguration conf為重要的控制設定參數，其定義了很多方法可以設定或取得map reduce程式運作所需要的值 
  2. 定義 TABLE 為 "table.name"，table.name為 name property 
- 3. String !tableName 為資料表名稱 
+ 3. String tableName 為資料表名稱 
  4. Htable table 在定義一個HBase的操作變數 
  5. class !MapClass 為實做map的一個內部類別 
- 6. Path[] !listPaths 是個可以列出指定路徑下的檔案和目錄，原本0.16 API即宣告 Deprecated，因此為了解決warning在此實做 
- 7. void !runMapReduce(String table, String dir) 跑MapReduce的程序 
- 8. void !creatTable(String table)  建立hbase的資料表 
+ 6. Path[] listPaths 是個可以列出指定路徑下的檔案和目錄，原本0.16 API即宣告 Deprecated，因此為了解決warning在此實做 
+ 7. void runMapReduce(String table, String dir) 跑!MapReduce的程序 
+ 8. void creatTable(String table)  建立hbase的資料表 
  9. void main(String[] args)  main 函數 
 
@@ -72 +65 @@
 
 {{{
+#!java
         public static void main(String[] args) throws IOException {
                 String table_name = "apache-log2";
@@ -82 +76 @@
 
 首先看到main函數究竟搞了些什麼？[[br]][[br]]
-宣告了table的名稱，要parser的檔案放在'''hdfs'''當中的哪個路徑下，注意此路徑為hdfs，若給的是local file system的路徑的話，程式跑的時候會產生!NullPointer Exception的錯誤。然後呼叫!creatTable函數其功能用來創建table，接著跑!runMapReduce函數，而整個程式主體就是在!runMapReduce
+宣告了table的名稱，要parser的檔案放在'''hdfs'''當中的哪個路徑下，注意此路徑為hdfs，若給的是local file system的路徑的話，程式跑的時候會產生!NullPointer Exception的錯誤。然後呼叫creatTable函數其功能用來創建table，接著跑runMapReduce函數，而整個程式主體就是在runMapReduce
 
 ------------------------------------
 {{{
+#!java
         public static class MapClass extends MapReduceBase implements
                         Mapper<WritableComparable, Text, Text, Writable> {
@@ -140 +135 @@
 ------------------------------
 {{{
+#!java
         static public Path[] listPaths(FileSystem fsm, Path path)
                         throws IOException {
@@ -153 +149 @@
 
 {{{
+#!java
         public static void runMapReduce(String table, String dir)
                         throws IOException {
@@ -191 +188 @@
 
 {{{
+#!java
         public static void creatTable(String table) throws IOException {
                 HBaseAdmin admin = new HBaseAdmin(conf);
@@ -214 +212 @@
 
 {{{
+#!java
   private String ip;
   private String protocol;
@@ -243 +242 @@
 ----------------------------
 {{{
+#!java
   public LogParser(String line) throws ParseException, Exception{ 
          Matcher matcher = p.matcher(line);
@@ -271 +271 @@
 
 {{{
+#!java
   public static boolean isIpAddress(String inputString) {
     StringTokenizer tokenizer = new StringTokenizer(inputString, ".");