2010-04-24
ODSC.TW 2010
- 09:00–09:50 nosql cassandra - Gasol (Pixnet)
- http://cassandra.apache.org/
- 具備副本機制,優先存在記憶體中,後續寫入 commit log 中。採取完全平等的分散式架構,沒有 Hadoop NameNode 單點失效問題(Single Point of Failure)
- CAP theorem - Consistency(一致性), Availibility(可用性),Partition Tolerance(容錯性)三個勢必要犧牲其中一個!!
- 10:10–11:00 The Future of JavaScript. I mean ECMAScript - Douglas Crockford (Yahoo!)
- IE 6 用戶消褪得很慢 -> IE6 MUST DIE!!
- JavaScript has become the world's virtual machine!!
- 支援 thread ??
- 格外應該重要的點:安全性,如何避免 XSS 跨站存取(1995年就提出,可是到目前為止沒有太多預防的進展),一旦可以跨站存取,駭客就可以觀察使用者的 DOM,可以做 SQL Injection Attack,並傳送資訊到全世界。瀏覽器並無法預防這些安全問題,因為本來就設計成可以瀏覽不同來源的內容,網頁標準也很難去避免這些安全問題。像 Mashup 本身就是一種 self-inflicted XSS attack。
- Safe JavaScript Subset
- HTML5 讓事情更複雜,允許更多攻擊,包含本地端的資料庫。
- 11:10–12:00 Upcoming improvements for HBase - Andrew Purtell (Trend Micro)
- Big Data -> Medium Data 都需要
- Cloud Computing - Scale Free
- Disk Seek time remains nearly constant -> Index(B-Tree), Seek (RMDB) 慢!!
- No distributed transactions, no complex locking, no waits or deadlocks
- 不要用 Spreadsheet 的想法看待 HBase, 或許可以用 Tag 的想法去看待它。
- HBase 跟 BigTable 都是 CP 架構(注重 Consistancy 與 Partition Tolerance,根據 CAP Theorem 因此無法確保 Avaibility,寧可服務中斷也要資料正確!!)
- HDFS-200 (working append) 將在 HBase 0.20.5 加入支援資料持續遞增的功能。
- ACID ? - atomicity, consistency, isolation, durability
- 新功能:
- 跨資料中心備份 - 透過 Log Ship
- 安全性強化 - 支援 authentication, authorization,Yahoo! 寫了很多新的安全性支援,包括 Kerberos 認證、Data isolation at the HDFS layer、Secure RPC。因此必須新增角色來作存取控管(Access Control Role)
- Coprocessor - 靈感來自於 BigTable 的新功能 Coprocessor,加入 RegionObservor (需要再花點時間看清楚用途!!)
- 01:30–02:20 Less is more - gugod
- 維持 API 一致性可以減少程式設計者查閱文件與撰寫文件的時間
- 用字精簡、以簡馭繁、寫少作多 - jQuery, Ruby 都有這種特性
- 02:30–03:20 The introduction of Cloud Operating Platform Technology - 吳政學(trend)
- 騰雲計算的雲端作業平台 - Tao Elaster - GPL2 Release
- 佈署工具:推薦cobbler、puppet
- Storage - 強調 Ceph - 因為已經被納入 Linux Kernel 2.6.34 了
- Open Source - VM Management - ConVirt (XenMan), Enomaly, Entropy, Eucalyptus, Google Ganeti, OpenNebula, Ovirt, Libvirt
- Monitor: Nagios, RRD Tool, Ganglia, Heartbeat, Open vSwitch, SNMP
- Storage: GlusterFS, XtreemFS, GFS, Luster, Fuse, Ceph, HDFS, DRBD
- Deployment/config: DNSMasq, Cobbler, Puppet, KickStart, YUM
- Computing: Hadoop, Hbase, HDFS, Map-Reduce, ZooKeeper, Cascading
NoSQL : HBase
- 最近 waue 在投影片中用到一張新的 MapReduce 圖,今天再次在 Andrew 的演講中看到,出處是 Lars George 的部落格『HBase MapReduce 101 - Part I』
- FOSDEM 2010 NoSQL Talk
- HBase vs. CouchDB in Berlin
- MongoDB, CouchDB, HBase, Cassandra, Hypertable 趨勢觀察
- 當然縱使 MongoDB 與 CouchDB 已經有很高的排行榜,跟 SQLite 比起來,還是差很多。 從 Google Trends 的搜尋趨勢可以看到 SQLite > Google Gears > CouchDB 的趨勢,象徵著 distributed database 的影響力尚未普及。 (2009-09-23)
- 從 2010 年 Google Trends 的搜尋趨勢可以看到 MongoDB 已經接近 Google Gears 了(當然跟 Google 宣布支援 HTML5 Local Database 有關).
Embedded
- multistrap - A debootstrap replacement with multiple repository support, using apt to handle all dependency issues and conflicts.
- Unlike debootstrap, multistrap relies on working versions of dpkg and apt outside the final filesystem. Multistrap supercedes emdebian-rootfs and includes support for preparing root filesystems for specific machines and variants.
Last modified 14 years ago
Last modified on Aug 10, 2010, 4:52:33 PM
Attachments (4)
- hbase_cassandra_hypertable.png (106.4 KB) - added by jazz 15 years ago.
- mongodb_hbase_couchdb.png (113.4 KB) - added by jazz 15 years ago.
- mongodb_couchdb_hbase_cassandra_hypertable.png (119.5 KB) - added by jazz 15 years ago.
- sqlite_mongodb_couchdb.png (175.7 KB) - added by jazz 14 years ago.
Download all attachments as: .zip