= 2011-04-13 = == Apache Performance Tuning == * 花了兩天時間,總算找出造成 trac 網站大量記憶體需求的特徵:刻意發起造成 CLOSE_WAIT 的攻擊行為。 {{{ PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 15652 www-data 20 0 783m 763m 4624 R 97.0 75.4 17:31.07 apache2 20059 www-data 20 0 52836 31m 4732 S 2.7 3.2 0:06.86 apache2 jazz@trac-pool:~$ sudo netstat -nap | grep 15652 tcp6 1 0 140.110.X.X:80 220.181.93.1:55903 CLOSE_WAIT 15652/apache2 }}} * 手動砍掉 15652 這個 process 之後,同樣這個 IP,後來又產生了一次 CLOSE_WAIT 現象,不禁懷疑這是一種網站攻擊方式。 {{{ PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 23708 www-data 20 0 414m 396m 4544 R 99.7 39.2 2:44.46 apache2 23025 www-data 20 0 74940 55m 4752 S 0.0 5.5 0:27.58 apache2 tcp6 0 0 140.110.X.X:80 220.181.93.1:64932 TIME_WAIT - tcp6 0 0 140.110.X.X:80 220.181.93.1:47074 TIME_WAIT - tcp6 0 0 140.110.X.X:80 220.181.93.1:50047 TIME_WAIT - tcp6 0 0 140.110.X.X:80 220.181.93.1:43913 TIME_WAIT - }}} * <解決方法> 降低 net.ipv4.tcp_keepalive_time 的數值,預設是 7200 秒(兩小時),真的太長了!! {{{ echo "decrease TCP socket TIME_WAIT time" sysctl -w net.ipv4.tcp_fin_timeout=10 sysctl -w net.ipv4.tcp_tw_reuse=1 sysctl -w net.ipv4.tcp_tw_recycle=1 echo "decrease TCP socket CLOSE_WAIT time" sysctl -w net.ipv4.tcp_keepalive_time=30 sysctl -w net.ipv4.tcp_keepalive_probes=2 sysctl -w net.ipv4.tcp_keepalive_intvl=2 }}} * <參考> [http://tw.myblog.yahoo.com/yaitoo-richzal/article?mid=212&sc=1 大量 CLOSE_WAIT 的影響] {{{ 大量的 CLOSE_WAIT 連接,直接佔滿 TCP 連線佇列, 導致 Apache 失去回應,且 CPU 使用量與記憶體使用量快速提高!! }}} * <參考> [http://haka.sharera.com/blog/BlogTopic/32309.htm CLOSE_WAIT 生成的原因]