作者qpowjohn (pose)
看板MIS
标题[Case] Web Server不定时卡住(冻结)
时间Sat Feb 15 21:33:19 2020
[硬体资讯]
Host: Windows Server 2012 R2
Guest OS: Windows Server 2012 R2 10core/24GB
[软or韧体版本资讯]
IIS 8.5
开启DFS
防毒软体使用ESET
已做过machine.config调整可连线数及减少TIME_WAIT等相关设定
已做过Regedit调整参数，参考网址如下
https://www.filehold.com/help/technical/Windows-Server-Tuning-to-Prevent-TCPIP
-Port-Exhaustion
缩网址：
https://reurl.cc/Qp03b9
[状况描述]
前端采用HAProxy做负载平衡
後端串2个VM处理服务
每台VM上有一百多个AppPool在运作
CPU使用量大概在30%~50%左右(开工作管理员切到效能分页查看)
RAM使用量经常性在80%以上(开工作管理员切到效能分页查看)
从HAProxy Log上可以看到以下状况
https://imgur.com/QraRriT
会出现504回应是因为HAProxy设定30秒无回应就往Client抛回504
[已尝试过的方法]
从Event Log看不到当下有哪些错误
硬体无异常(皆为HP主机或San Storage)
以上，感谢各位观看
已经找不到方法了才上来讨教
感谢各位先进的协助，谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.231.148.79 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/MIS/M.1581773603.A.184.html
※ 编辑: qpowjohn (36.231.148.79 台湾), 02/15/2020 21:35:11
1F：推 asdfghjklasd: 你只看log ,实际做了什麽 TS ?02/15 22:16
2F：→ asdfghjklasd: telnet 有 504 的 80 port?02/15 22:17
3F：→ dennisxkimo: 看来是压力测试API运作haproxy环境遇到问题上来问02/15 22:48
4F：→ qpowjohn: 先是看到Port用尽，所以做了注册表和config调整02/15 22:49
5F：→ qpowjohn: 改了之後确实没有了，但是却会不定时从HAProxy看到问题02/15 22:50
6F：→ qpowjohn: 然後RDP进不去，从hypervisior也进不去(已关加强模式)02/15 22:51
7F：→ qpowjohn: 只能从hypervisior强制关闭重开VM..02/15 22:51
8F：→ qpowjohn: 正常的回应速度大概都是100ms以内，超过30000ms很不正常02/15 22:53
9F：→ qpowjohn: 而且已经排除AppPool回收的阶段02/15 22:54
10F：→ qpowjohn: 站台本身每分钟都在打，所以也排除超时未使用被回收02/15 22:54
11F：→ qpowjohn: 以上回答算是测试吗...?02/15 22:55
12F：→ dennisxkimo: 没记错的话 那log是这样看，事件504返回长度19402/15 22:56
13F：→ qpowjohn: telnet这段没做过，因为都是不定时卡住，抓不准时间02/15 22:56
14F：→ dennisxkimo: apppool 进阶设定预设值 好像不适合高量频繁02/15 22:59
15F：→ qpowjohn: HAProxy应该是没有问题的，提出图片只是证明说MS卡住02/15 23:00
16F：→ qpowjohn: 哦，求解，我们的服务确实是每天会被打百万次...02/15 23:00
17F：→ qpowjohn: 如果是加VM上去做LB的方式也是可行，只是我感觉不是这02/15 23:02
18F：→ qpowjohn: 层面的问题...觉得好像是系统哪边没设定好02/15 23:03
19F：推 xxoo1122: 你POST什麽资料？02/16 00:52
20F：→ xxoo1122: 有DB吗？02/16 00:52
21F：推 ddoll288: 你给的资料玩全无法除错,只知道504,504谁造成的不知02/16 02:14
目前能推断是VM的问题，因为另一个VM正常接受request，代表HAProxy没问题，我们的比重
是设定1：1，给的图仅将504取出，所以HAProxy这端是无异常的
22F：→ ddoll288: 如果你不敢透漏太多就自己请写程式的RD或厂商来处理02/16 02:15
23F：→ ddoll288: 机器预设可以开5000port是没有问题的,问题是程式坏了02/16 02:17
24F：→ ddoll288: 导致5000port被request塞爆,如果有保密问题就花钱吧02/16 02:18
5000port按照网页的说法不是已经扩大到65534了吗？
25F：推 darktasi: server配置资讯不够怎麽判断02/16 03:32
26F：→ asdfghjklasd: 不忍嘘02/16 04:28
27F：→ dennisxkimo: 这问题有时侯不是只有一面要看 但是不会用这麽少的线02/16 08:27
28F：→ dennisxkimo: 索来找02/16 08:27
29F：→ qpowjohn: 不好意思，让各位有点隔空抓药的感觉，因为抓不准系统02/16 09:25
30F：→ qpowjohn: 卡住的时间，然後正常的时候进去看netstat也没啥问题(02/16 09:25
31F：→ qpowjohn: 大概300-400左右的连线)，其实给的图都是一样的资讯，02/16 09:25
32F：→ qpowjohn: 只能证明说那个时间点request打进去完全无法回应。02/16 09:25
33F：→ qpowjohn: server配置，是指型号吗？HP DL460c G802/16 09:27
※ 编辑: qpowjohn (49.216.40.155 台湾), 02/16/2020 09:38:10
34F：→ konkonchou: 我会查web handler是不是用到不该用的,而造成排队 02/16 23:23
35F：→ ddoll288: 既然是VM的问题,那应该是请写AP的RD或厂商来处理 02/17 04:17
36F：→ ddoll288: 你不给AP是什麽,就要大家隔空抓药,也是了不起 02/17 04:18
37F：→ ddoll288: req超过30s通常是资源锁定或程式坏了等timeout 02/17 04:23
感谢您的帮助，目前的状况在UAT环境验不出来，上正式机才出现，UAT和PROD的差异仅仅是
AppPool数量级的差异（2 vs 100），所以我才在想是哪边没有设定好，又或者是要分散资
源，多建立一套VM来承载过多的网站。
另外请教各位，我们MIS的工作仅仅是将OS以前的工作搞定吗？之後出问题都是站台的问题
不干我的事？
上面协助回答的各位先进都倾向直接找RD解决，可是如果连RD都测不出来，难道直接花点数
找微软？
※ 编辑: qpowjohn (101.11.0.7 台湾), 02/17/2020 08:33:31
38F：→ ddoll288: 如果你当过RD或是DevOp,没有CD/CI,这种事情根本是日常 02/17 10:27
39F：→ ddoll288: 很多RD开发环境都很乱,然後issue丢来都说我跑没问题 02/17 10:28
40F：→ ddoll288: 然後MIS只能吃闷亏,抓出问题还好,没抓到就是每天狗干 02/17 10:29
41F：→ ddoll288: 最可怜的是user,因为系统有问题每天哎哎哎,加班做不完 02/17 10:31
42F：→ ddoll288: 所以要先保留现场,确认网路硬体作业系统都正常 02/17 10:33
43F：→ ddoll288: 最好两台VM在同一台主机内,把问题缩限在VM内,然後再叫 02/17 10:34
44F：→ ddoll288: RD或厂商来解决问题02/17 10:34
45F：→ ddoll288: 这问题我猜是程式的并行写得不好,造成DB lock,然後大家 02/17 10:37
46F：→ ddoll288: 就在等那个lock解锁,所以就拼命timeout,这也是日常02/17 10:38
47F：→ ddoll288: 你可以试试看先不要用haproxy,把req都塞到一台去跑 02/17 10:39
48F：→ ddoll288: 隔一段时间没问题再换另一台,我猜应该是都没有问题02/17 10:40
49F：→ ddoll288: 确认问题出在并行,再把问题交给RD或厂商处理02/17 10:41
50F：→ ddoll288: 有些driver如果连线没有正常关闭,DB lock是永不释放的 02/17 10:45
51F：→ ddoll288: RD只在哪边跑个几次,没有压测,根本测不出问题的 02/17 10:46
52F：→ dennisxkimo: 有些RD只懂RD,有时我是问他的程式工作内容，对方愿意 02/17 12:56
53F：→ dennisxkimo: 就一起解问题 02/17 12:56
54F：→ dennisxkimo: 你说不定时卡住，你可以想办法追踪各种数据多收集一 02/17 13:01
55F：→ dennisxkimo: 点线索，有时候挂掉前的资料也是破案关键 02/17 13:01
太感谢以上先进了，提供另一个思维，我会按照以上方式进行单机测试，确认问题是出在哪
一端
※ 编辑: qpowjohn (101.11.0.7 台湾), 02/17/2020 18:49:07
56F：→ domototice: proxy 30秒无回应 通常会是什麽造成? 太多要求? 02/19 14:24
57F：→ domototice: 有proxy伺服器吗? 02/19 14:24
58F：→ domototice: 会是proxy负载过重吗? 对不起 我的功力不足。。。。 02/19 14:30
59F：→ domototice: proxytSR port用尽 如何处理呢? VM可接受的连接数? 02/19 14:36
60F：→ domototice: port用尽 可以修改port使用数再度使用新增的port吗? 02/19 14:45
61F：→ domototice: 求解答谢谢...! 02/19 14:45
62F：→ domototice: proxy伺服器 可以再多一台吗? 两台下去配置??? 02/19 14:46
63F：→ domototice: 你给的资讯是 server2003的port处理方式说。。。。 02/19 14:52
64F：→ domototice: 而且 server2012 怎麽可以说是硬体呢? 是运行环境说 02/19 14:53
65F：推 domototice: 可以请教你的HAproxy 怎麽跟WINSR DFS怎麽做结合吗? 02/19 14:57
66F：推 domototice: IIS8.5的最大连接数呢? 方便请教吗? qpowjohn大大 02/19 15:01
67F：推 domototice: 可以再请教HAproxy可以在winserver2012上运行吗? 02/19 15:05
69F：→ domototice: HAProxy可在WIN上运行 那它的最大连接数呢? 02/19 15:11
71F：推 domototice: 所以问题不是在於HAProxy 就是在於两个VM配置问题罗? 02/19 15:24
72F：→ domototice: 另一个VM能正常接受HAProxy的连入吗? 02/19 15:26
73F：→ domototice: HAProxy有释放资源吗? 还是阻挡连入数 你只设30秒外丢 02/19 15:28
74F：→ domototice: 回应回去 02/19 15:28
75F：→ domototice: 求最後的解答哦~感谢大大....! 02/19 15:45
76F：→ qpowjohn: haproxy用linux架，504是server经过30秒无回应就抛给cl 02/19 17:14
77F：→ qpowjohn: ient，发生状况的当下是一台server正常另一台无回应， 02/19 17:14
78F：→ qpowjohn: 其实就是个很普通的做法 02/19 17:14
79F：推 domototice: qpowjohn大大 那你两台sever的proxy 都设HAProxy位址? 02/19 21:23
80F：→ domototice: 其实不简单说，尤其对我这个新手来说...!谢谢你的分享 02/19 21:23
81F：→ qpowjohn: 两台vm的gateway都是指到haproxy 02/20 18:49
82F：→ domototice: 那...可以请教问题出在哪吗= =+ 对不起...! 02/21 04:34
84F：→ domototice: 是这样子没错嘛?? 02/21 04:48
85F：推 domototice: 对不起，gateway跟proxy的设定用途我有点忘记了= =+ 02/21 05:02
86F：→ domototice: gateway不是路由器的端点吗?也是出口?跟proxy要分开 02/21 05:43
87F：→ domototice: 设定吗? 02/21 05:43