服务器监控该盯哪几个数

2026-11-17 04:03:29 k73游戏之家 作者:testai

监控搭起来之后,真正难受的阶段往往不是没数据,而是数据太多。一台机器几十条曲线,硬盘、内存、负载、连接数、队列长度全在跳,值班的人盯半天也说不清哪条是信号哪条是噪音。等告警群里的消息一天刷几十条,大家就开始习惯性划过,重要的那条也跟着被划掉了。这篇聊的是取舍:哪些指标必须采、阈值按什么算、采集端该单独放一台机器还是塞在业务机里、告警分几档才有人真的去看,以及事后复盘时该翻哪几条曲线。

告警响了没人看 先查告警本身

告警失效通常有三种典型形态。一种是太密,同一条规则一晚上触发几十次,最终被静音;一种是太宽,等到触发时业务已经挂了半小时;一种是太散,每条规则只覆盖一个局部,某个整体性问题没有任何一条规则能抓住。

先把告警数量降下来。统计一周内所有触发记录,按规则名分组,把触发次数排个序。排在前面的几条多半是阈值定得不合理,或者规则本身没有恢复条件,一直在“有问题/恢复”之间来回抖。

再处理噪音的根源。磁盘使用率超过百分之八十就告警,这种规则在大容量机器上几乎天天响,因为它不关心增长速度。换成三天内使用量增长超过五个百分点告警,或者按剩余可用天数算,噪音会立刻少一大半。

告警得有人认领。每条规则后面写清触发之后该谁处理、大致怎么处理,写不出来说明这条规则存在的理由不充分。真要保留,也要标成低优先级进日报,而不是推到手机上。

通道也要分。手机推送只放那些“业务已经受影响”的级别,其他走邮件或者日报。分级这件事一旦定下来就不要随意加白名单,加一次白名单就等于给一类问题开了后门。再往后看有没有覆盖漏洞。把近半年的事故记录翻出来,逐条对应到当时的告警记录。哪些事故是先被用户发现、告警没响的,这些就是该补的规则,比凭空想指标有用得多。

采集端该放在哪台机器上

监控系统本身会吃资源。采集代理在业务机上是轻量的,但汇总、存储、绘图那一端不轻。几百台机器、每台几十个指标、保留三个月的原始数据,存储和查询压力会集中到一台机器上,这台机器要是跟业务抢 CPU 和磁盘,两边都跑不好。

比较稳的做法是采集端单独一台。少核多内存的机型比较合适,因为查询时要把大量时间序列读进内存做聚合,内存不够就会频繁触发磁盘读,页面打开要等好几秒。磁盘按每天写入量估算,保留周期乘以日增量,留一倍余量。

业务机上的代理要限制住。采集频率别都设成一秒一次,操作系统层面的指标五秒一次够用,业务自定义指标可以更稀。批量上报而不是逐个发送,能显著降低连接数。代理自身的日志也要设置轮转,配置文件写错导致刷日志刷满磁盘的情况不算少见。

另一种常见错误是所有机器都往同一个采集端打数据。上千台机器同时上报,采集端的连接队列会先爆,表现为数据断点、曲线出现锯齿状空洞。按机房或业务线拆成多个采集端,再汇总到查询层,压力会平摊很多。

延迟也要算。采集端到业务机的网络如果是跨地域的,指标时间戳会有秒级偏差,排查时两条曲线对不上。本地缓冲加批量上报能缓解,前提是缓冲文件有上限,别在断网时把磁盘写满。

选机型时不必追求高主频。这类负载以内存和顺序写为主,多核中频更划算,硬盘选 SSD 比机械盘更能压住查询延迟。像 这条渠道里 128G 内存那一档 用来跑监控和日志汇总,容量和并发都留有余量;预算紧一些的话,64G 内存那一档也足够撑住十几台机器的采集。

服务器监控该盯哪几个数

指标不是越多越好

采集指标的成本不是零。每条指标都占存储、占查询时间、占人看的时间。一开始就把 CPU、内存、磁盘、网络、进程数、连接数、文件句柄全采上,看着很全面,实际用到的大概只有其中三分之一。

按用途分三层比较清楚。第一层是可用性,机器活着、端口通、接口能返回正常状态码,这类指标数量少但优先级最高。第二层是资源水位,CPU、内存、磁盘、带宽的占用和趋势,用来提前发现容量问题。第三层是业务指标,订单量、成功率、队列长度、接口耗时,这一层才能真正反映用户感受。

三层里最容易缺的是第三层。很多团队资源指标做得很齐,业务指标一条没有,结果是机器一切正常、用户已经在投诉。业务指标的采集点通常要改代码或者读日志,成本高一些,但它离故障最近。

指标之间要能互相解释。磁盘 IO 等待高,同时看每秒读写次数和平均队列长度,才能判断是随机小文件太多还是顺序写打满带宽。只看一个数字,结论往往不准。

标签设计比指标名重要。同一类指标按机器、机房、业务线打标签,查询时才能按维度聚合。标签值不要用会变的东西,比如进程号、临时会话标识,那样会让时间序列基数暴涨,存储直接翻倍。

定期做一次清理。半年没被任何告警规则和看板引用的指标,先停采,观察一个月没人问再彻底删掉。这个动作看着琐碎,但对控制成本很有效。

可视化别堆在一张图上。一台机器四条曲线放在一起还能看,二十条就没人看了。按角色分看板:值班看一页关键指标,容量规划看趋势和增长预测,开发看接口耗时和错误分布,各看各的。

服务器监控该盯哪几个数

阈值怎么定才不吵

固定阈值是最省事的做法,也是最容易过期的做法,改之前先想清楚这条线是给谁看的。机器配置一升级,原来的百分之七十 CPU 告警就再也不响了,因为新机器跑同样业务只用到百分之三十。阈值应该跟着基线走,而不是写死一个数字。

基线怎么来?采两周数据,排除已知的异常时段,算出同一时段的均值和高分位。告警线设在基线之上留出合理空间,比如高峰时段的高分位再加两成。这样既不会天天响,也能在真正异常时抓住。

有些指标适合看变化率而不是绝对值。内存占用从百分之四十涨到百分之六十,可能只是缓存预热;从百分之六十在十分钟内涨到九十,那是泄漏或者请求堆积。用一段时间窗口内的斜率做判断,比绝对值敏感得多。

恢复条件要单独设。触发线设在高位,恢复线设在低位,中间留出回滞区间,避免在临界值附近反复触发。这一条如果没配,告警风暴基本就来自这里。窗口长度也要跟业务节奏走。日结的业务在凌晨会有一次尖峰,用统一阈值必然误报。按小时段或者按业务日历做差异化,比不断加白名单更干净。阈值评审定期做,最好固定成每月的一次例会动作。每月把触发最多的十条规则拉出来,逐条判断是规则不准还是真有问题。真有问题就修系统,规则不准就调阈值,两种情况混着不处理,告警迟早会被整体静音。

独服在监控这件事上的差别

虚拟机和独立服务器能采到的东西不一样。虚拟机看到的是宿主切出来的一份,CPU 的 steal 时间、磁盘的真实队列深度、网卡的物理错误计数,这些在虚拟机里要么看不到,要么数字失真。独立服务器上这些都能直接读,排查底层问题时差别很明显。

像 CPU 就绪等待这类指标,在虚拟机上偏高往往说明宿主机在超卖,你能做的只有换机器。独立服务器上同样的数字偏高,则要查自己的进程调度、是否有大量短命进程、是否被其他服务抢了核。同样的曲线,含义完全不同。

磁盘方面差别更大。虚拟机上的磁盘延迟包含宿主机存储栈的时间,你无法判断是自家 IO 打满还是邻居太吵。独立服务器上 SMART 信息、单盘延迟、重试计数都能拿到,硬盘要坏之前通常会有征兆。网络也是。虚拟机一般只能看到虚拟网卡的字节数,物理链路的丢包、错包、双工状态看不到。独立服务器上可以读到网卡的错误计数,线路劣化时这些数字会先动。代价是责任也转移了。独立服务器的硬件故障需要自己发现,内存报错、硬盘坏道、风扇转速、电源状态,都要纳入监控。少了这一层,硬件问题会以“系统莫名重启”的形式出现,排查成本高得多。所以独立服务器的监控清单要更长一些。除了常规资源指标,加上硬件健康、温度、风扇、磁盘 SMART、网卡错误计数这几类。这些指标平时不动,一旦动了就是明确的行动信号。选机器时把带外管理也算进去。能远程看硬件状态、能远程重启,故障处理时间会缩短很多。这些能力跟配置高低无关,但关键时候比多几个核有用。洛杉矶那批机器 里配置中等的型号用来做采集和告警中心,配合机房侧的带外入口,日常运维会省不少事。

服务器监控该盯哪几个数

事后复盘翻哪几条曲线

复盘清单里该再加一项:把每次处置的动作和时间点记下来。谁在第几分钟做了什么,改了什么参数、重启了哪个进程,这些细节事后往往只剩一句模糊的“当时重启了一下”。记录下来之后,同类故障再来时处置路径会短很多。

复盘时最常被翻的是资源曲线,但真正能定责的往往是时间线。把告警触发时间、发布记录、数据库慢查询、接口错误率四条线叠在同一张时间轴上,事件顺序一目了然。

第一条要看的是起点。故障开始的那一刻,哪个指标先动。如果内存先涨、CPU 后涨,方向就是内存泄漏引发的连锁反应;如果网络先抖、错误率后升,方向就在链路上。顺序比幅度更有信息量。

第二条是恢复过程。做了处置之后指标多久回到基线,中间有没有二次恶化。恢复时间长但曲线平稳,说明处置有效只是慢;曲线反复,说明处置没有解决根因。

第三条是影响面。同一时段内其他机器有没有类似波动。单台异常是局部问题,多台同时异常基本可以确定在共用组件上,比如同一个存储、同一条线路、同一个上游服务。

第四条是对比。把同一时段的昨天、上周数据拉出来做对照。很多波动其实是常态,只是没人记得;对照之后能快速排除掉一大半干扰。

复盘结论要落到可执行的动作上。改阈值、加指标、换组件、调整发布窗口,每一条都写清负责人和完成时间。只写“加强监控”这种结论,下一次还会重演。

看板也要跟着演进。每次复盘发现的盲区,就在看板上补一格,三个月之后这张看板会变成团队真正会用的东西,而不是上线那天截的一张图。

玩家评论

相关阅读

手游掌机排行