whoami_2008
作者whoami_2008·2020-12-04 19:19
副总经理/副总裁·乌鲁木齐银行

互联网某系统was访问故障

字数 792阅读 6059评论 3赞 2

互联网某系统从原 AIX 环境操作系统版本为 7.1 ,迁移到 X86 虚拟化环境,操作系统版本为 Redhat 6.5 的新环境中,系统采用 IBM Websphere 与 IBM HttpServer 的集成,其中 aix 服务器与 redhat 服务器的 was 、 httpsever 和 jdk 版本一致,部署方式为两台 WEB 服务器, WEB 服务器起到转发到 APP 应用的目的,部署两台 APP 服务器, WEB 服务器和 APP 服务器是一对一的关系,也就是说 WEB1 直连 APP1 , WEB2 直连 APP2 ,通过将 APP 服务器 WAS 中 webserver1 配置文件 plugin-cfg.xml 拷贝到 WEB 服务器 HttpServer 中实现报文的分发。
迁移时在虚拟化环境中对 websphere 的线程池、连接池、 jvm 都进行调整,调整参数与原 AIX 系统一致,另外还分别对系统参数、网络参数和 httpserver 参数进行优化。
WEB 系统和 APP 系统参数优化结果如图所示:

WEB 服务器的 plugin-cfg.xml 由 was 生产拷贝到 HttpServer 中,关键配置如下图所示:

WEB 服务器的 HttpServer 中的 httpd.conf 关键配置,如下图所示:

业务量大时出现 WEB 服务器无法找到 APP 服务集群的问题,在 WEB 服务器的 http_plugin.log 日志中查询到的具体报错内容如下:

页面的报错如下:

在环境中发现 HttpServer 开启的 8080 端口存在大量 TIME_WAIT 的情况,数量一般都在一千以上,具体情况如下图所示:

目前经过各方面配置修改、优化、调整等操作,上述问题依旧没有解决 请各位大神帮忙分析下具体问题原因及解决方案,万分感谢。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

2

添加新评论3 条评论

moonshinemoonshine系统运维工程师IT
2020-12-14 16:35
当业务量大的时候出现报错,可能是你后端业务处理不过来了,把plugin的日志级别改为trace,看下web请求从转发给后端到报错一共耗时多久,如果时间长的话应该是后端问题,看下后端was的服务器资源以及jVM使用情况,是不是有内存泄漏情况,后端was进行优化,不行就增加节点数。适当减少web的连接数,,看下后端的处理web的请求数量是多少。
sjp147sjp147系统运维工程师西安
2020-12-07 15:20
http_plugin.log 日志报错提示 wsh-appnode01 down掉了,实际好着吗? wsh-appnode01 应用日志有没有明显报错?

ddddccccc@sjp147 was应用服务是好的,目前是从httpserver访问was应用不行

2020-12-09 16:24

sjp147@sjp147 aix和linux jvm设置不一样,可以分析native_stderr文件,设置合适的值

2020-12-07 15:24
华南_胖虎华南_胖虎系统运维工程师北京中国软件股份有限公司
2020-12-06 00:26
发一下一下HTTP SERVER error.log

沈天真@ddddccccc 检查一下提示信息中的配置文件 Using config file /opt/IBM/HTTPServer/conf/httpd.conf 和配置参数 Core file limit is 0 ? [notice] Using config file /opt/IBM/HTTPServer/conf/httpd.conf [Thu Nov 26 16:46:38 2020] [notice] IBM_HTTP_Server/8.5.5.0 (Unix) configured -- resuming normal operations [Thu Nov 26 16:46:38 2020] [notice] Core file limit is 0; core dumps will be not be written for server crashes [Thu Nov 26 16:46:39 2020] [notice] mpmstats: rdy 48 bsy 2 rd 0 wr 2 ka 0 log 0 dns 0 cls 0 [Thu Nov 26 16:46:39 2020] [notice] mpmstats: bsy: 2 in mod_was_ap22_http.c [Thu Nov 26 16:46:56 2020] [notice] caught SIGTERM, shutting down

2020-12-07 14:50

ddddccccc@华南_胖虎 [Thu Nov 26 16:07:43 2020] [notice] WebSphere Plugins loaded. [Thu Nov 26 16:07:43 2020] [notice] Bld version: 8.5.0 [Thu Nov 26 16:07:43 2020] [notice] Bld date: May 7 2013, 16:05:38 [Thu Nov 26 16:07:43 2020] [notice] Webserver: IBM_HTTP_Server [Thu Nov 26 16:07:43 2020] [notice] Using config file /opt/IBM/HTTPServer/conf/httpd.conf [Thu Nov 26 16:07:43 2020] [notice] IBM_HTTP_Server/8.5.5.0 (Unix) configured -- resuming normal operations [Thu Nov 26 16:07:43 2020] [notice] Core file limit is 0; core dumps will be not be written for server crashes [Thu Nov 26 16:46:33 2020] [notice] caught SIGTERM, shutting down [Thu Nov 26 16:46:38 2020] [notice] WebSphere Plugins loaded. [Thu Nov 26 16:46:38 2020] [notice] Bld version: 8.5.0 [Thu Nov 26 16:46:38 2020] [notice] Bld date: May 7 2013, 16:05:38 [Thu Nov 26 16:46:38 2020] [notice] Webserver: IBM_HTTP_Server [Thu Nov 26 16:46:38 2020] [notice] Using config file /opt/IBM/HTTPServer/conf/httpd.conf [Thu Nov 26 16:46:38 2020] [notice] IBM_HTTP_Server/8.5.5.0 (Unix) configured -- resuming normal operations [Thu Nov 26 16:46:38 2020] [notice] Core file limit is 0; core dumps will be not be written for server crashes [Thu Nov 26 16:46:39 2020] [notice] mpmstats: rdy 48 bsy 2 rd 0 wr 2 ka 0 log 0 dns 0 cls 0 [Thu Nov 26 16:46:39 2020] [notice] mpmstats: bsy: 2 in mod_was_ap22_http.c [Thu Nov 26 16:46:56 2020] [notice] caught SIGTERM, shutting down [Thu Nov 26 16:47:58 2020] [notice] WebSphere Plugins loaded. [Thu Nov 26 16:47:58 2020] [notice] Bld version: 8.5.0 [Thu Nov 26 16:47:58 2020] [notice] Bld date: May 7 2013, 16:05:38 [Thu Nov 26 16:47:58 2020] [notice] Webserver: IBM_HTTP_Server [Thu Nov 26 16:47:58 2020] [notice] Using config file /opt/IBM/HTTPServer/conf/httpd.conf [Thu Nov 26 16:47:58 2020] [notice] IBM_HTTP_Server/8.5.5.0 (Unix) configured -- resuming normal operations [Thu Nov 26 16:47:58 2020] [notice] Core file limit is 0; core dumps will be not be written for server crashes [Thu Nov 26 16:47:59 2020]

2020-12-07 11:49
Ctrl+Enter 发表

作者其他文章

  • Administration - Recycle bin
    评论 0 · 赞 0
  • Awk算数运算
    评论 0 · 赞 1
  • 相关文章

    相关问题

    相关资料

    X社区推广