2010-05-11

• 組務報告 - 軟體技術組 :: 綠能雲端團隊(Green Cloud Team)
• 系統效能調校參數(Performance Tuning Parameters)

Linux

• ​acct - The GNU Accounting utilities for process and login accounting
  • 從 ​Phantom Cluster 的架構圖中看到 psacct package，原來是可以拿來統計不同使用者登入登出跟執行指令的工具啊!! (2009-09-23)
  • ac - 統計使用者連線時間 (單位: 小時) (Ref: ​psacct & checkinstall 使用備忘)
  • sa - 統計執行過的程序

    ~$ sudo apt-get install acct
    ~$ ac -d                 # 依日期統計
    ~$ ac -p                 # 依使用者帳號統計
    ~$ ac -f /var/log/wtmp.1 # 指定來源檔案 (預設 /var/log/wtmp) - 因此只能統計近期的使用情形
    ~$ sudo sa -a            # 顯示所有程序記錄
    ~$ sudo sa -m            # 依使用者統計
    

• 如何調整每個使用者可以開啟的檔案個數
  • [參考] ​Increasing the file descriptor limit
  • 注意：修改 /etc/security/limits.conf 中間必須確定是 TAB ，如果有設定 vim 的 softwaretab 的話，得特別當心!!!
  • /proc/sys/fs/file-max - 核心預設最多可以開啟的檔案個數

    ~$ cat /proc/sys/fs/file-max
    743964
    

  • /etc/security/limits.conf - 每個程序(process)可以開啟檔案的個數(number limits of open files per process) - 像 HDFS 的 DataNode 就需要調整這種參數(2010-02-22)

    /etc/security/limits.conf

    @@ -49 +49 @@
     #ftp             -       chroot          /ftp
     #@student        -       maxlogins       4
     
    +*      soft        nofile        4096
    +*      hard        nofile        743964
    +
     # End of file

  • /etc/pam.d/login - 告訴系統要用 /etc/security/limits.conf 來設定一些上限

    # Sets up user limits according to /etc/security/limits.conf
    # (Replaces the use of /etc/limits in old login)
    session    required   pam_limits.so
    

  • 指令: ulimit - 可以告訴你一些系統限制，並且設定想要的値

    jazz@Wdebian:~$ ulimit -a
    core file size          (blocks, -c) 0
    data seg size           (kbytes, -d) unlimited
    scheduling priority             (-e) 0
    file size               (blocks, -f) unlimited
    pending signals                 (-i) 72704
    max locked memory       (kbytes, -l) 32
    max memory size         (kbytes, -m) unlimited
    open files                      (-n) 1024
    pipe size            (512 bytes, -p) 8
    POSIX message queues     (bytes, -q) 819200
    real-time priority              (-r) 0
    stack size              (kbytes, -s) 8192
    cpu time               (seconds, -t) unlimited
    max user processes              (-u) 72704
    virtual memory          (kbytes, -v) unlimited
    file locks                      (-x) unlimited
    

• 假設 /proc/sys/fs/file-max 跟 /etc/security/limits.conf 都有設定上限為 743964，且 /etc/pam.d/login 也有打開，但是 ulimit -a 指令仍顯示 1024 (預設)，可以修改 /etc/rc.local 或 /etc/profile 強制用 ulimit -n 743964 來提高開檔個數。

  ~$ ulimit -n 743964
  

• [備註] 如果 ulimit 超出可容許範圍，會顯示 Operation not permitted，此時請檢查相關設定値

  ~$ ulimit -n 7439640
  -bash: ulimit: open files: cannot modify limit: Operation not permitted
  

Perl + SQLite3

• [專案] 實作 Perl + SQLite
  • 其他參考連結
  • [參考] ​SQLite examples with Bash, Perl and Python (2007-03-01)
  • 環境: Debian 5.0.4 , amd64 核心

    jazz@drbl:~$ lsb_release -a
    No LSB modules are available.
    Distributor ID: Debian
    Description:    Debian GNU/Linux 5.0.4 (lenny)
    Release:        5.0.4
    Codename:       lenny
    jazz@drbl:~$ uname -a
    Linux drbl 2.6.26-lustre-amd64 #1 SMP Sun Jun 28 18:28:02 CST 2009 x86_64 GNU/Linux
    

  • 相關套件: ​sqlite3,​libsqlite3-0,​libdbd-sqlite3-perl

    jazz@drbl:~$ sudo apt-get install sqlite3 libdbd-sqlite3-perl libsqlite3-0
    jazz@drbl:~$ dpkg -l | grep sqlite
    ii  libdbd-sqlite3-perl              1.14-3                         Perl DBI driver with a self-contained RDBMS
    ii  libsqlite3-0                     3.5.9-6                        SQLite 3 shared library
    ii  sqlite3                          3.5.9-6                        A command line interface for SQLite 3
    

  • 使用範例程式建立 test.db

    jazz@drbl:~$ vi perlsqlite3.pl
    jazz@drbl:~$ chmod a+x perlsqlite3.pl
    jazz@drbl:~$ ./perlsqlite3.pl
    jazz@drbl:~$ file test.db
    test.db: SQLite 3.x database
    jazz@drbl:~$ sqlite3 test.db "select * from n"
    1|john|smith
    

    #!/usr/bin/perl -w
    use DBI;
    use strict;
    my $db = DBI->connect("dbi:SQLite:test.db", "", "",
    {RaiseError => 1, AutoCommit => 1});
    
    $db->do("CREATE TABLE n (id INTEGER PRIMARY KEY, f TEXT, l TEXT)");
    $db->do("INSERT INTO n VALUES (NULL, 'john', 'smith')");
    my $all = $db->selectall_arrayref("SELECT * FROM n");
    
    foreach my $row (@$all) {
    my ($id, $first, $last) = @$row;
    print "$id|$first|$last";
    }
    

Python + SQLite3

Open Hardware

• ​MakerBot - an affordable, open source 3D printer
  • ​影片