= 2011-04-13 =

== Apache Performance Tuning ==

 * 花了兩天時間，總算找出造成 trac 網站大量記憶體需求的特徵：刻意發起造成 CLOSE_WAIT 的攻擊行為。
{{{
  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
  15652 www-data  20   0  783m 763m 4624 R 97.0 75.4  17:31.07 apache2
  20059 www-data  20   0 52836  31m 4732 S  2.7  3.2   0:06.86 apache2

jazz@trac-pool:~$ sudo netstat -nap | grep 15652
tcp6       1      0 140.110.X.X:80      220.181.93.1:55903      CLOSE_WAIT  15652/apache2
}}}
 * 手動砍掉 15652 這個 process 之後，同樣這個 IP，後來又產生了一次 CLOSE_WAIT 現象，不禁懷疑這是一種網站攻擊方式。
{{{
  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
23708 www-data  20   0  414m 396m 4544 R 99.7 39.2   2:44.46 apache2
23025 www-data  20   0 74940  55m 4752 S  0.0  5.5   0:27.58 apache2

tcp6       0      0 140.110.X.X:80      220.181.93.1:64932      TIME_WAIT   -               
tcp6       0      0 140.110.X.X:80      220.181.93.1:47074      TIME_WAIT   -               
tcp6       0      0 140.110.X.X:80      220.181.93.1:50047      TIME_WAIT   -               
tcp6       0      0 140.110.X.X:80      220.181.93.1:43913      TIME_WAIT   -               
}}}
 * <解決方法> 降低 net.ipv4.tcp_keepalive_time 的數值，預設是 7200 秒（兩小時），真的太長了！！
{{{
echo "decrease TCP socket TIME_WAIT time"
sysctl -w net.ipv4.tcp_fin_timeout=10
sysctl -w net.ipv4.tcp_tw_reuse=1
sysctl -w net.ipv4.tcp_tw_recycle=1
echo "decrease TCP socket CLOSE_WAIT time"
sysctl -w net.ipv4.tcp_keepalive_time=30
sysctl -w net.ipv4.tcp_keepalive_probes=2
sysctl -w net.ipv4.tcp_keepalive_intvl=2
}}}
 * <參考> [http://tw.myblog.yahoo.com/yaitoo-richzal/article?mid=212&sc=1 大量 CLOSE_WAIT 的影響]
{{{
大量的 CLOSE_WAIT 連接，直接佔滿 TCP 連線佇列，
導致 Apache 失去回應，且 CPU 使用量與記憶體使用量快速提高！！
}}}
 * <參考> [http://haka.sharera.com/blog/BlogTopic/32309.htm CLOSE_WAIT 生成的原因]