wiki:FlyCircuit/2008-07-25

Version 31 (modified by rock, 16 years ago) (diff)

--

工作事項

  • 現有硬體環境:
  • 現有軟體環境:
    • OpenSUSE 10.3
    • Linux Kernel version: 2.6.22-default
    • NFS kernel module:
      gtd-fly:~ # modinfo nfsd
      filename:       /lib/modules/2.6.22-default/kernel/fs/nfsd/nfsd.ko
      license:        GPL
      author:         Olaf Kirch <okir@monad.swb.de>
      srcversion:     A0A1E558DDD9C3CF91A5F87
      depends:        sunrpc,exportfs,lockd,nfs_acl
      vermagic:       2.6.22-default SMP mod_unload
      
    • Lustre version:
      gtd-fly:~ # modinfo lustre
      filename:       /lib/modules/2.6.22-default/kernel/fs/lustre/lustre.ko
      license:        GPL
      description:    Lustre Lite Client File System
      author:         Cluster File Systems, Inc. <info@clusterfs.com>
      srcversion:     8BEC7BA099C4A1007EFFC0A
      depends:        obdclass,mdc,ptlrpc,libcfs,lvfs,lov,osc,lnet
      vermagic:       2.6.22-default SMP mod_unload
      
WBS ID 工作項目 負責人 完成日 備註 紀錄
備份 OpenSUSE 10.3 的 DRBL Server
* 複製前預先關閉 DRBL Service (NFS, DHCPD 等)
rider,rock 20080730
申請八組對外 IP rider,rock 20080806 140.110.141.109~114,116,117
使用 Clonezilla LiveCD 還原七台 OpenSUSE 10.3 的 Image
* 請注意 memu.lst 跟 fstab 的 disk_id 問題!''
rider,rock 20080730
確認八台均可以執行 VirtualGL / TurboVNC / Amira rock,rider 20080730 Amira license is needed
Lustre 寫檔測試
* 當一台寫入1.3G 的AVI檔,硬碟燈是一起亮還是只有一台亮??
*
iostat 在執行前跟執行後的差別為何??
rider,rock20080811預設:只會一台燈亮
使用lsp設定:lsp setstripe -c -1 filename 則所有提供oss的node硬碟燈都會亮

PS:若是已有相同檔名的檔案複寫時,只會存在之前的oss,除非刪掉檔案重新cp,才會平切割存於各oss
Lustre 讀檔測試
* 八台同時讀取1個1.3G的AVI檔,硬碟燈是一起亮還是只有一台亮??
*
iostat 在執行前跟執行後的差別為何??
*
八同node同時讀取8個不同的AVI檔??
rider,rock20080811預設:只會一台燈亮
使用lsp設定:lsp setstripe -c -1 filename 則所有提供oss的node硬碟燈都會亮
三個不同存放類型檔案rock20080821local:/home/3D_local.am
Lustre NonStripe:/home/flyfs/3D_nonstripe.am
Lustre Stripe:/home/flyfs/3D_stripe.am
  • Lustre 寫檔測試說明 (因有五台oss,檔案很平均的寫在五台oss,此台寫入的平均流量為23MB/s,總體來看此lustre的檔案系統可同時寫入約118MB/s)
    $ dd if=/dev/zero of=/home/flyfs/5g.2.img bs=1G count=5
    5+0 records in
    5+0 records out
    5368709120 bytes (5.4 GB) copied, 45.6223 s, 118 MB/s
    
    = 寫檔前 =
    avg-cpu:  %user   %nice %system %iowait  %steal   %idle
               0.04    0.01    0.14    0.07    0.00   99.75
    
    Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
    sda               1.17         0.01         0.01       2682       2026
    sdb               0.27         0.00         0.10        103      25192
    
    = 寫檔中 =
    avg-cpu:  %user   %nice %system %iowait  %steal   %idle
               0.00    0.00    4.24   11.97    0.00   83.79
    
    Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
    sda               0.00         0.00         0.00          0          0
    sdb              90.00         0.00        23.54          0         23
    
    avg-cpu:  %user   %nice %system %iowait  %steal   %idle
               0.00    0.00    5.22   12.44    0.00   82.34
    
    Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
    sda               0.00         0.00         0.00          0          0
    sdb             105.00         0.00        27.64          0         27
    
    avg-cpu:  %user   %nice %system %iowait  %steal   %idle
               0.00    0.00    5.47   11.19    0.00   83.33
    
    Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
    sda               4.95         0.00         0.10          0          0
    sdb              81.19         0.00        21.36          0         21
    
    = 寫檔後 =
    avg-cpu:  %user   %nice %system %iowait  %steal   %idle
               0.00    0.00    0.25    0.00    0.00   99.75
    
    Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
    sda               0.00         0.00         0.00          0          0
    sdb               0.00         0.00         0.00          0          0
    
  • Lustre 讀檔測試說明
    = 八台node同時播放1個avi檔 =
    == 播放中 ==
    avg-cpu:  %user   %nice %system %iowait  %steal   %idle
               2.99    0.00    0.50    0.00    0.00   96.51
    
    Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
    sda               0.00         0.00         0.00          0          0
    sdb               0.00         0.00         0.00          0          0
    
    avg-cpu:  %user   %nice %system %iowait  %steal   %idle
               5.24    0.00    0.50    0.00    0.00   94.26
    
    Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
    sda               0.00         0.00         0.00          0          0
    sdb               2.00         1.00         0.00          1          0
    
    avg-cpu:  %user   %nice %system %iowait  %steal   %idle
               2.23    0.00    0.50    0.00    0.00   97.27
    
    Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
    sda               0.00         0.00         0.00          0          0
    sdb               0.00         0.00         0.00          0          0
    
    == 快轉時 ==
    avg-cpu:  %user   %nice %system %iowait  %steal   %idle
               1.49    0.00    3.96    0.00    0.00   94.55
    
    Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
    sda               0.00         0.00         0.00          0          0
    sdb               5.94         2.97         0.00          3          0
    
    avg-cpu:  %user   %nice %system %iowait  %steal   %idle
               1.24    0.00    3.73    0.00    0.00   95.02
    
    Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
    sda               0.00         0.00         0.00          0          0
    sdb               5.94         2.97         0.00          3          0
    
    = 八台node同時讀取8個不同的avi檔 =
    == 播放avi時 ==
    avg-cpu:  %user   %nice %system %iowait  %steal   %idle
               0.04    0.01    0.14    0.08    0.00   99.73
    
    Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
    sda               1.18         0.01         0.01       2745       2058
    sdb               0.33         0.01         0.11       2248      28299
    
    avg-cpu:  %user   %nice %system %iowait  %steal   %idle
               0.25    0.00    0.50    0.25    0.00   99.01
    
    Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
    sda               2.97         0.02         0.00          0          0
    sdb               1.98         0.99         0.00          1          0
    
    avg-cpu:  %user   %nice %system %iowait  %steal   %idle
               2.23   21.04    2.72    0.00    0.00   74.01
    
    Device:            tps    MB_read/s    MB_wrtn/s    MB_read    MB_wrtn
    sda               0.00         0.00         0.00          0          0
    sdb               0.00         0.00         0.00          0          0