| Version 7 (modified by waue, 15 years ago) (diff) |
|---|
新 hbase 解析
- hbase 已經到0.19.3了，可惜的是 hbase 0.18.1的api及文件都已經從官方網頁被拿掉了，所幸hbase 0.18 與hbase 0.19相差無幾
- hbase 0.1.3 到 hbase 0.19.3 中間好像已經包含了十幾代，但是其實類似java 1.4 直接跳躍 到 java 5 一樣，hbase 0.1.3 -> hbase 0.2.x -> hbase 0.18.x -> hbase 0.19.x
- 從 hbase 0.18.x 之後，其版本名稱就直接對應hadoop 的版本名稱，如 hbase 0.18 搭配 hadoop 0.18 ， hbase 0.19 搭配hadoop 0.19
差別
筆者開發hbase時是 hbase 0.13的時代，現在又重拾舊業，發現已經差很多了。如撈取資料的方式：
- hbase 0.13 : select * from 'table_name'
- hbase 0.19 : scan 'table_name'
資料庫結構：
table A
column_family:column_quolify1 column_family:column_quolify2 column_family:column_quolify3 row : time stamp 2 cell_value1 cell_value2 cell_value3 row : time stamp 1 cell_value1 cell_value2 cell_value3
- 因此 table A這個資料表，總共有二度的空間，每一度空間又有二維結構。
- 每個 column_family有許多column_quolify1
- 每個 row 又分許多 timestamp
程式碼
- 設計Hbase 的程式，首先要先規劃要建構怎樣功能的程式碼，在看需要用到什麼類別，類別產生出的物件的function可以靠eclipse產生(alt+/)再來挑選
宣告
- 定義宣告以下參數
String table_name = "waue"; String colomn_family = "family:"; String column_quolify= "qf"; String hbase_row = "w-row"; String value = "yes ! good !";
必要條件 資料表屬性：HBaseConfiguration
- 首先，建立HTableDescriptor 物件，用來設定資料表屬性，為必要條件。
HBaseConfiguration config = new HBaseConfiguration();
資料表的特權操作：HBaseAdmin
- HBaseAdmin 用來執行資料庫的建立刪除操作，下面這段是用來檢查是否已經存在這個資料表，沒有的話則新增， 新增時需要用到HTableDescriptor這個類別來新增Column_Family這個成員。此非必要條件，因為不見得每次執行程式都要新建一個表單
- 注意: 在此colomn_family 的後面要以:結尾，如" family:"
HBaseAdmin admin = new HBaseAdmin(config); if (!admin.tableExists(table_name)) { System.out.println("HTable : " + table_name + " creating ... please wait"); HTableDescriptor tableDesc = new HTableDescriptor(table_name); // add column family tableDesc.addFamily(new HColumnDescriptor(colomn_family)); admin.createTable(tableDesc); }
新增/刪除 資料表內容：BatchUpdate
- 接著，我們用!BatchUpdate來加入表單內容，我們首先用建構值填入hbase_row，接著用put放入值，用delete刪除值。
- 此非必要條件（也就是沒有用到這個類別程式也能跑），但若是希望能新增或刪除資料的話還是得用到它
注意：這個類別不需要其他類別支援。
BatchUpdate batchUpdate = new BatchUpdate(hbase_row); batchUpdate.put(colomn_family+column_quolify, Bytes.toBytes(value)); batchUpdate.delete(colomn_family+"cellIWantDeleted");
資料表內容：HTable
- HTable 類別在此是用來把之前的建構的內容寫入 ，之後還會用這個類別取得資料表內容，因此也算是必要條件
- HTable 類別用來連接HBaseConfiguration與BatchUpdate，如此完成表單建立 這個類別填入HBaseConfiguration與table_name的建構值，並用commit這個函式輸入之前!BatchUpdate建立的表單資料。
HTable table = new HTable(config, table_name); table.commit(batchUpdate);
- 如果你已經知道資料表中的 "row" "colomn_family" "column_quolify" 的資訊，可以用下列方法把該cell的值印出來。
注意： Hbase內的資料屬性雖然是byte，但要用 org.apache.hadoop.hbase.util.Bytes 的 toString(值) 才可以轉出正確格式
Cell cell = table.get(hbase_row, colomn_family+column_quolify); // System.out.print(cell.getValue()); 會印出亂碼，因為資料格式不正確 System.out.print(Bytes.toString(cell.getValue())); // cell value = yes ! good !
掃瞄資料表：Scanner
- 接下來的程式碼用來印出資料表內容，因此需要用到HTable
- Scanner連接到HBase後，怎麼把內容萃取出來呢？ 用到 RowResult承接 Scanner.next()方法，然而一個row裡面，會有
許多colomn_family，每個colomn_family又會有自己的column_quolify，形成colomn_family：column_quolify的二維結構。
- getRow() : 把row的名稱秀出來
- get(colomn_family：column_quolify) : 把該cell的值秀出來
- for (RowResult result : scanner) 可以看成是 for (int i=0; i< scanner.length; i++){ RowResult result[i] = scanner[i];
Scanner scanner = table.getScanner(new String[] { colomn_family+column_quolify }); RowResult rowResult = scanner.next(); while (rowResult != null) { System.out.println("Found row: " + Bytes.toString(rowResult.getRow()) + " with value: " + rowResult.get(Bytes .toBytes(colomn_family+column_quolify))); rowResult = scanner.next(); } for (RowResult result : scanner) { System.out.println("Found row: " + Bytes.toString(rowResult.getRow()) + " with value: " + rowResult.get(Bytes .toBytes(colomn_family+column_quolify))); } scanner.close();
完整程式碼如下
- 完整程式碼如下
import java.io.IOException;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Scanner;
import org.apache.hadoop.hbase.io.BatchUpdate;
import org.apache.hadoop.hbase.io.Cell;
import org.apache.hadoop.hbase.io.RowResult;
import org.apache.hadoop.hbase.util.Bytes;
public class hbase {
public static void main(String args[]) throws IOException {
String table_name = "waue";
String colomn_family = "family:";
String column_quolify= "qf";
String hbase_row = "w-row";
String value = "0911311311";
HBaseConfiguration config = new HBaseConfiguration();
HBaseAdmin admin = new HBaseAdmin(config);
if (!admin.tableExists(table_name)) {
System.out.println("HTable : " + table_name
+ " creating ... please wait");
HTableDescriptor tableDesc = new HTableDescriptor(table_name);
// add column family
tableDesc.addFamily(new HColumnDescriptor(colomn_family));
admin.createTable(tableDesc);
}
HTable table = new HTable(config, table_name);
BatchUpdate batchUpdate = new BatchUpdate(hbase_row);
batchUpdate.put(colomn_family+column_quolify, Bytes
.toBytes(value));
batchUpdate.delete(colomn_family+"cellIWantDeleted");
table.commit(batchUpdate);
Cell cell = table.get(hbase_row, colomn_family+column_quolify);
System.out.print(cell.getValue());
Scanner scanner =
table.getScanner(new String[] { colomn_family+column_quolify });
RowResult rowResult = scanner.next();
while (rowResult != null) {
System.out.println("Found row: "
+ Bytes.toString(rowResult.getRow())
+ " with value: "
+ rowResult.get(Bytes
.toBytes(colomn_family+column_quolify)));
rowResult = scanner.next();
}
for (RowResult result : scanner) {
System.out.println("Found row: "
+ Bytes.toString(rowResult.getRow())
+ " with value: "
+ rowResult.get(Bytes
.toBytes(colomn_family+column_quolify)));
}
scanner.close();
}
}
