新 hbase 解析

• hbase 已經到0.19.3了，可惜的是 hbase 0.18.1的api及文件都已經從官方網頁被拿掉了，所幸hbase 0.18 與hbase 0.19相差無幾
• hbase 0.1.3 到 hbase 0.19.3 中間好像已經包含了十幾代，但是其實類似java 1.4 直接跳躍 到 java 5 一樣，hbase 0.1.3 -> hbase 0.2.x -> hbase 0.18.x -> hbase 0.19.x
  • 從 hbase 0.18.x 之後，其版本名稱就直接對應hadoop 的版本名稱，如 hbase 0.18 搭配 hadoop 0.18 ， hbase 0.19 搭配hadoop 0.19

差別

筆者開發hbase時是 hbase 0.13的時代，現在又重拾舊業，發現已經差很多了。如撈取資料的方式：

• hbase 0.13 : select * from 'table_name'
• hbase 0.19 : scan 'table_name'

資料庫結構：

table A

	column_family:column_quolify1	column_family:column_quolify2	column_family:column_quolify3
row : time stamp 2	cell_value1	cell_value2	cell_value3
row : time stamp 1	cell_value1	cell_value2	cell_value3

• 因此 table A這個資料表，總共有二度的空間，每一度空間又有二維結構。
  • 每個 column_family有許多column_quolify1
  • 每個 row 又分許多 timestamp

程式碼

宣告

• 定義宣告以下參數

String table_name = "waue"; 
String colomn_family = "family:";
String column_quolify= "qf";
String hbase_row = "w-row";
String value = "yes ! good !";

必要條件 資料表屬性：HBaseConfiguration

• 首先，建立HTableDescriptor 物件，用來設定資料表屬性，為必要條件。

HBaseConfiguration config = new HBaseConfiguration();

資料表的特權操作：HBaseAdmin

• HBaseAdmin 用來執行資料庫的建立刪除操作，下面這段是用來檢查是否已經存在這個資料表，沒有的話則新增， 新增時需要用到HTableDescriptor這個類別來新增Column_Family這個成員。此非必要條件，因為不見得每次執行程式都要新建一個表單

• 注意: 在此colomn_family 的後面要以:結尾，如" family:"

HBaseAdmin admin = new HBaseAdmin(config);

if (!admin.tableExists(table_name)) {
  System.out.println("HTable : " + table_name
      + "  creating ... please wait");
  HTableDescriptor tableDesc = new HTableDescriptor(table_name);
  // add column family
  tableDesc.addFamily(new HColumnDescriptor(colomn_family));
  admin.createTable(tableDesc);
}

• 接著，我們用BatchUpdate來加入表單內容，我們首先用建構值填入hbase_row，接著用put放入值，用delete刪除值。
• 此非必要條件（也就是沒有用到這個類別程式也能跑），但若是希望能新增或刪除資料的話還是得用到它

注意：這個類別不需要其他類別支援。

新增/刪除 資料表內容：BatchUpdate?

BatchUpdate batchUpdate = new BatchUpdate(hbase_row);
batchUpdate.put(colomn_family+column_quolify, Bytes.toBytes(value));
batchUpdate.delete(colomn_family+"cellIWantDeleted");

資料表內容：HTable

• HTable 類別在此是用來把之前的建構的內容寫入 ，之後還會用這個類別取得資料表內容，因此也算是必要條件
• HTable 類別用來連接HBaseConfiguration與BatchUpdate，如此完成表單建立 這個類別填入HBaseConfiguration與table_name的建構值，並用commit這個函式輸入之前BatchUpdate建立的表單資料。

HTable table = new HTable(config, table_name);
table.commit(batchUpdate);

• 如果你已經知道資料表中的 "row" "colomn_family" "column_quolify" 的資訊，可以用下列方法把該cell的值印出來。

注意： Hbase內的資料屬性雖然是byte，但要用 org.apache.hadoop.hbase.util.Bytes 的 toString(值) 才可以轉出正確格式

Cell cell = table.get(hbase_row, colomn_family+column_quolify);
// System.out.print(cell.getValue()); 會印出亂碼，因為資料格式不正確
System.out.print(Bytes.toString(cell.getValue()));  // cell value = yes ! good !

掃描資料表：Scanner

• 接下來的程式碼用來印出資料表內容，因此需要用到HTable
• Scanner連接到HBase後，怎麼把內容萃取出來呢？ 用到 RowResult承接 Scanner.next()方法，然而一個row裡面，會有 許多colomn_family，每個colomn_family又會有自己的column_quolify，形成colomn_family：column_quolify的二維結構。
  • getRow() : 把row的名稱秀出來
  • get(colomn_family：column_quolify) : 把該cell的值秀出來
• for (RowResult? result : scanner) 可以看成是 for (int i=0; i< scanner.length; i++){ RowResult? result[i] = scanner[i];

Scanner scanner = table.getScanner(new String[] { colomn_family+column_quolify });

RowResult rowResult = scanner.next();

while (rowResult != null) {

  System.out.println("Found row: "
      + Bytes.toString(rowResult.getRow())
      + " with value: "
      + rowResult.get(Bytes
          .toBytes(colomn_family+column_quolify)));
  rowResult = scanner.next();
}

for (RowResult result : scanner) {
  System.out.println("Found row: "
      + Bytes.toString(rowResult.getRow())
      + " with value: "
      + rowResult.get(Bytes
          .toBytes(colomn_family+column_quolify)));
}

scanner.close();

• 完整程式碼如下

import java.io.IOException;

import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Scanner;
import org.apache.hadoop.hbase.io.BatchUpdate;
import org.apache.hadoop.hbase.io.Cell;
import org.apache.hadoop.hbase.io.RowResult;
import org.apache.hadoop.hbase.util.Bytes;

public class hbase {

  public static void main(String args[]) throws IOException {

    String table_name = "waue"; 
    String colomn_family = "family:";
    String column_quolify= "qf";
    String hbase_row = "w-row";
    String value = "0911311311";
    
    HBaseConfiguration config = new HBaseConfiguration();


    HBaseAdmin admin = new HBaseAdmin(config);
    if (!admin.tableExists(table_name)) {
      System.out.println("HTable : " + table_name
          + "  creating ... please wait");
      HTableDescriptor tableDesc = new HTableDescriptor(table_name);
      // add column family
      tableDesc.addFamily(new HColumnDescriptor(colomn_family));
      admin.createTable(tableDesc);
    }

    HTable table = new HTable(config, table_name);


    BatchUpdate batchUpdate = new BatchUpdate(hbase_row);


    batchUpdate.put(colomn_family+column_quolify, Bytes
        .toBytes(value));


    batchUpdate.delete(colomn_family+"cellIWantDeleted");


    table.commit(batchUpdate);


    Cell cell = table.get(hbase_row, colomn_family+column_quolify);
    System.out.print(cell.getValue());


    Scanner scanner =
    table.getScanner(new String[] { colomn_family+column_quolify });

    RowResult rowResult = scanner.next();

    while (rowResult != null) {

      System.out.println("Found row: "
          + Bytes.toString(rowResult.getRow())
          + " with value: "
          + rowResult.get(Bytes
              .toBytes(colomn_family+column_quolify)));
      rowResult = scanner.next();
    }

    for (RowResult result : scanner) {
      System.out.println("Found row: "
          + Bytes.toString(rowResult.getRow())
          + " with value: "
          + rowResult.get(Bytes
              .toBytes(colomn_family+column_quolify)));
    }

    scanner.close();
  }
}