6 | | |
| 6 | [[PageOutline]] |
| 7 | |
| 8 | * 說明: cloudbase 在目前使用過的解讀下,可稱之為運用在hadoop的database,可以輕易的使用sql語法進行hadoop資料的分析。 |
| 9 | * 每次進行sql的查詢時,hadoop就會進行mapreduce來解析,最後在呈現出結果 |
| 10 | * 與hbase的不同:目前認為,cloud base比hbase 方便的一點在於,hbase必須在mapreduce的程式碼中加入把結果塞入hbase的code,而cloud卻不用,只要把cloud執行起來之後,他就會不斷的監聽hadoop並將hadoop的結果自行紀錄於自己的database,如此一來只要對cloud base進行sql的語法查詢就可以撈出資訊 |
| 11 | |
| 12 | = 安裝步驟 = |
| 13 | |
| 14 | == step 0: 準備相關軟件: == |
| 15 | |
| 16 | 下載hadoop-0.18.3.tar.gz |
| 17 | |
| 18 | [http://www.apache.org/dist/hadoop/core/hadoop-0.18.3/hadoop-0.18.3.tar.gz] |
| 19 | |
| 20 | 下載cloudbase最新版(目前使用 cloudbase 1.3) |
| 21 | |
| 22 | [http://sourceforge.net/projects/cloudbase] |
| 23 | |
| 24 | [http://downloads.sourceforge.net/cloudbase/cloudbase-1.3.tar.gz?use_mirror=jaist] |
| 25 | |
| 26 | == step 1 : 安裝設定hadoop == |
| 27 | |
| 28 | * 請參考之前的hadoop安裝教學 或 nutch 的安裝教學 |
| 29 | * 執行到start-all.sh ,亦即啟動hadoop環境並執行中... |
| 30 | * 確認服務正常: |
| 31 | |
| 32 | {{{ |
| 33 | $ jps |
| 34 | 24376 NameNode |
| 35 | 24471 DataNode |
| 36 | 24579 SecondaryNameNode |
| 37 | 24882 JobShell |
| 38 | 24665 JobTracker |
| 39 | 24769 TaskTracker |
| 40 | 28090 Jps |
| 41 | }}} |
| 42 | |
| 43 | == step 2 : 啟動CloudBase == |
| 44 | * 安裝cloudbase |
| 45 | {{{ |
| 46 | $ cd /opt/ |
| 47 | $ tar xvzf cloudbase-1.3.tar.gz |
| 48 | $ ln -sf /opt/cloudbase-1.3 /opt/cloudbase |
| 49 | }}} |
| 50 | |
| 51 | * 修改 cloudbase-env |
| 52 | {{{ |
| 53 | $ vim /opt/cloudbase/bin/cloudbase-env |
| 54 | }}} |
| 55 | * 內容為: |
| 56 | {{{ |
| 57 | #!sh |
| 58 | # Set the hadoop home dir |
| 59 | HADOOP_HOME=/home/hadoop/hadoop |
| 60 | export HADOOP_HOME |
| 61 | }}} |
| 62 | * 啟動 cloudbase |
| 63 | {{{ |
| 64 | $ cd /opt/cloudbase/bin/ |
| 65 | $ ./start-cloudbase & |
| 66 | }}} |
| 67 | * 記得執行$cloudbase/test/bin/setup 以建立測試的資料表(此步驟連官網都沒有,但最後一直沒有test_table出現,找了很久才找到要執行此步) |
| 68 | |
| 69 | == step 3 : 用SQuirreL SQL 檢視 == |
| 70 | |
| 71 | 首先下載client 端軟件,SQuirreL SQL Client 。 |
| 72 | |
| 73 | [http://squirrel-sql.sourceforge.net/] |
| 74 | |
| 75 | [http://jaist.dl.sourceforge.net/sourceforge/squirrel-sql/squirrel-sql-3.0-install.jar] |
| 76 | |
| 77 | 執行點擊兩下下載下來的 squirrel-sql-3.0-install.jar即可安裝,下一步即可 |
| 78 | |
| 79 | {{{ |
| 80 | #!sh |
| 81 | * Drivers -> New Driver -> name: CloudBase JDBC Driver , example url : jdbc:cloudbase://localhost:4444, class name : com.business.cloudbase.CBDriver , ultra class path : /opt/cloudbase/build/jar/cloudbasejdbc-1.3.jar -> ok |
| 82 | * Aliases -> user : test , password: test -> connect |
| 83 | * SQL -> select * FROM test_table1 -> 點小黑人在跑的圖示 -> 就有結果出現囉! |
| 84 | }}} |
| 85 | * enjoy |
| 86 | |
| 87 | * 當執行sql語法時,可以到localhost:50030觀查到,hadoop被呼叫來執行mapreduce的工作。而cloudbase的console端也能看到完整的log如下 |