Changes between Initial Version and Version 1 of jazz/11-04-13

Timestamp:

Apr 14, 2011, 1:08:00 AM (13 years ago)

Author:

jazz

Comment:

--

jazz/11-04-13

@@ +1 @@
+= 2011-04-13 =
+
+== Apache Performance Tuning ==
+
+ * 花了兩天時間，總算找出造成 trac 網站大量記憶體需求的特徵：刻意發起造成 CLOSE_WAIT 的攻擊行為。
+{{{
+  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
+  15652 www-data  20   0  783m 763m 4624 R 97.0 75.4  17:31.07 apache2
+  20059 www-data  20   0 52836  31m 4732 S  2.7  3.2   0:06.86 apache2
+
+jazz@trac-pool:~$ sudo netstat -nap | grep 15652
+tcp6       1      0 140.110.X.X:80      220.181.93.1:55903      CLOSE_WAIT  15652/apache2
+}}}
+ * 手動砍掉 15652 這個 process 之後，同樣這個 IP，後來又產生了一次 CLOSE_WAIT 現象，不禁懷疑這是一種網站攻擊方式。
+{{{
+  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
+23708 www-data  20   0  414m 396m 4544 R 99.7 39.2   2:44.46 apache2
+23025 www-data  20   0 74940  55m 4752 S  0.0  5.5   0:27.58 apache2
+
+tcp6       0      0 140.110.X.X:80      220.181.93.1:64932      TIME_WAIT   -               
+tcp6       0      0 140.110.X.X:80      220.181.93.1:47074      TIME_WAIT   -               
+tcp6       0      0 140.110.X.X:80      220.181.93.1:50047      TIME_WAIT   -               
+tcp6       0      0 140.110.X.X:80      220.181.93.1:43913      TIME_WAIT   -               
+}}}
+ * <解決方法> 降低 net.ipv4.tcp_keepalive_time 的數值，預設是 7200 秒（兩小時），真的太長了！！
+{{{
+echo "decrease TCP socket TIME_WAIT time"
+sysctl -w net.ipv4.tcp_fin_timeout=10
+sysctl -w net.ipv4.tcp_tw_reuse=1
+sysctl -w net.ipv4.tcp_tw_recycle=1
+echo "decrease TCP socket CLOSE_WAIT time"
+sysctl -w net.ipv4.tcp_keepalive_time=30
+sysctl -w net.ipv4.tcp_keepalive_probes=2
+sysctl -w net.ipv4.tcp_keepalive_intvl=2
+}}}
+ * <參考> [http://tw.myblog.yahoo.com/yaitoo-richzal/article?mid=212&sc=1 大量 CLOSE_WAIT 的影響]
+{{{
+大量的 CLOSE_WAIT 連接，直接佔滿 TCP 連線佇列，
+導致 Apache 失去回應，且 CPU 使用量與記憶體使用量快速提高！！
+}}}
+ * <參考> [http://haka.sharera.com/blog/BlogTopic/32309.htm CLOSE_WAIT 生成的原因]