2009-07-30

• [陽明] Lustre 復原：也許是上次裝 VirtualBox Rebuild Kernel 留下的遺毒，最近 DRBL Client 又出現 Unknown symbol 的錯誤，因此重新安裝過一遍。

  bio001:~# apt-get install linux-image-2.6.22.19-lustre-amd64 lustre-modules-2.6.22.19-lustre-amd64 lustre-utils
  bio001:~# /opt/drbl/sbin/drblsrv-offline -s 2.6.22.19-lustre-amd64
  bio001:~# /opt/drbl/sbin/drblpush -C /etc/drbl/drblpush.conf
  

  • [結論] 後來發現並不是 Kernel 的問題，而是如果載入 lustre 時，找不到 /etc/modprode.d/lnet 的 lnet 設定，就會出現這些錯誤。怪 :(
• drbl-lustre 待修改
  1. 讀取設定檔
  2. 分成 drbl-lustre-load-module 掛載、卸載模組 script,以及 drbl-luste-mount-mdt, drbl-luste-mount-ost, drbl-luste-mount-oss 三種掛載 script

Cloud Computing

• 關於 Open Cloud Consortium 的 testbed 以及其他 Cloud Computing Testbed
  • ​Cloud Computing Testbeds - 其他 Cloud Computing Testbed
  • ​Open Cloud Consortium 的 testbed 描述 - Provide By Open Cloud Consortium
  • ​Eucalyptus Public Cloud - UCSB (學)
  • ​Open Cirrus Cloud Computing Testbed - HP, Intel, Yahoo! (產) NSF (官) University of Illinois at Urbana-Champaign (UIUC), Karlsruhe Institute of Technology, and the Infocomm Development Authority (IDA) of Singapore. (學)

• ​微軟、Yahoo合作終於定案 - M$ + Yahoo! 搜尋 (28%) 對抗 Google 搜尋 (65%)

Hadoop

• 先前有學員問到 Hadoop 的 HDFS 可否掛載到 Linux 目錄下，先前雖然知道有 KFS 這個檔案系統，不過沒特別去看過文件。今天在文件中看到 ​Mounting KFS via FUSE on Linux，而 KFS 又可以給 Hadoop 取代 HDFS，是否意即使用者可以直接在 KFS 中看到 Hadoop 的輸入輸出檔案呢?! 可能要試試看才知道了!!
  • ​東海資工有學生裝過,但沒成功
• 今天重新查詢之後發現 ​官方有關於如何掛載 HDFS 為 local filesystem 的描述，方法包括
  • ​HDFS-FUSE - 直接用 FUSE 掛載 HDFS
    • ​HDFS and FUSE - a mountable distributed file system
    • 比較有趣的是 Cloudera 的滿意度反應上有一筆 "​rpm with fuse-hadoop or fuse-j that enables mounting hdfs"，而 Christophe 講說目前仍在研議 native 掛載的方法。
  • ​HDFS-WebDAV - 把 HDFS 當成 WebDAV，再用 FUSE 掛載 WebDAV
    • ​the hadoop WebDAV server
    • ​擴展 hadoop hdfs,實現 WebDav 協議,將 hdfs mount 為 linux 本地文件系統
  • ​HDFS over FTP - 把 HDFS 當成 FTP Server，然後再用 curlfs 掛載

• ​Hadoop的叢集拓撲結構

Parallel Computing

• ​An Introduction to Parallel Programming - A weekly series on parallel programming and useful technologies to assist developers.
  • 昇陽的平行運算教育訓練課程