场景qa图片服务器每隔一段时间就不能进行访问,访问一直打转不出图片,查看tomcat日志,也不会有最新的日志产生,且并未有内存溢出异常产生。分析出现假死状态可能是出现了内存溢出或程序资源未释放。首先查
场景
qa图片服务器每隔一段时间就不能进行访问,访问一直打转不出图片,查看tomcat日志,也不会有最新的日志产生,且并未有内存溢出异常产生。
分析
出现假死状态可能是出现了内存溢出或程序资源未释放。首先查看tomcat日志查找有无outofmemoryexception异常,看完所有日志文件并未找到,查看程序,确实有很多资源没有释放(老项目...省略1w字)。修改代码发布测试,现象任然存在。作急。
没办法只能使用java自带的工具来分析内部情况。jstack pid,这里的pid是ps -ef| grep java查询出来的tomcat的pid。发现有很多下面的鬼:
"ajp-bio-8009-exec-863" #11780 daemon prio=5 os_prio=0 tid=0x00002acac802b800 nid=0x5245 runnable [0x00002acac773c000] java.lang.Thread.State: RUNNABLE at java.net.SocketInputStream.socketRead0(Native Method) at java.net.SocketInputStream.socketRead(SocketInputStream.java:116) at java.net.SocketInputStream.read(SocketInputStream.java:170) at java.net.SocketInputStream.read(SocketInputStream.java:141) at org.apache.coyote.ajp.AjpProcessor.read(AjpProcessor.java:309) at org.apache.coyote.ajp.AjpProcessor.readMessage(AjpProcessor.java:364) at org.apache.coyote.ajp.AjpProcessor.process(AjpProcessor.java:128) at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:589) at org.apache.tomcat.util.net.JIoEndpoint$SocketProcessor.run(JIoEndpoint.java:310) - locked <0x00000000c5c60890> (a org.apache.tomcat.util.net.SocketWrapper) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745)
查看tomcat server.xml配置文件,发现ajp采用了默认配置:
<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />
而tomcat7默认配置先的线程数是200,通过jstack打印的栈信息中已经超过200。
为什么会产生这么多ajp请求呢?
ajp是负责和其他的HTTP服务器建立连接。在把Tomcat与其他HTTP服务器集成时,就需要用到这个连接器。如集群和反向代理。因为我们的系统中使用了反向代理(这一块是老外整的我没环境),于是自己使用apache2+mod_jd搭建了一个反向代理指向该qa环境并设置ajp 的maxThreads="5", 测试确实复现了这个问题。
解决办法
是加上connectionTimeout=“20000”,也可以添加maxThreads属性,设置大一点,https://tomcat.apache.org/tomcat-7.0-doc/config/ajp.html 这个是ajp参数配置信息。