缓存击穿和雪崩怎么应对

2026-11-16 15:43:10 k73游戏之家 作者:testai

接口平时二十毫秒,某天开始偶尔跳到八百毫秒,过一会儿又自己好了;数据库的 QPS 突然翻几倍,缓存命中率从九成掉到三成,重启一次机器能缓过来,第二天又复发。这类症状八成不是数据库扛不住,而是缓存那一层在某个瞬间集体失守。下面按现象确认、热点键兜底、几种失效形态的区别、过期时间怎么设计、预热与降级、上线后看哪些指标来讲,尽量给能直接落地的做法。

缓存被打穿时是什么样

先看三个数:缓存命中率、数据库每秒查询数、应用连接池占用。命中率断崖式下跌而数据库 QPS 同步抬升,基本可以确定是缓存没接住请求,流量直接压到了存储层。三个数要一起看,只看命中率容易误判成缓存容量不够。

这种下跌往往只持续几十秒到几分钟。热点键刚好过期,同一时刻几百个请求一起发现缓存空了,全部回去查库,查完再写回缓存,中间这段时间数据库被反复打。等缓存回填完成,指标又恢复正常,所以经常被当成偶发抖动忽略过去。下跌的持续时间跟回源耗时直接相关,回源越慢,数据库被打的时间越长。

确认是不是这个原因,看缓存服务的慢日志和数据库的瞬时并发。缓存侧如果有大量几乎相同的查询在极短时间内出现,就是这个模式。数据库侧能看到同一批 SQL 重复执行,参数几乎一致,重复率越高问题越明确。

应急动作有先后。先把入口限流打开,把非核心接口降级,让数据库从被打的状态里缓出来;加机器和加缓存节点属于后面的事,流量已经在打,扩容的几分钟里数据库可能已经挂了。限流阈值先给保守值,观察几分钟再逐步放开,一次性放太松等于没限。

事后一定要留下记录。什么时候开始、持续多久、哪些键集中失效、数据库峰值多少,这几个数写进值班记录,下次同类问题能省掉一半排查时间。

热点字段失效那一下怎么兜

常见的兜法是单飞重建:同一个键在同一时刻只允许一个请求去回源,其他请求短暂等待或者直接返回旧值。实现上就是一把按 key 维度的锁,锁的粒度要细,别用一把全局锁,否则一个热点键能把整条缓存链路堵住。

查不存在的数据也要兜。请求一个数据库里根本没有的 ID,缓存永远写不进有效值,每次都要落库。做法是把空结果也缓存一小段时间,几秒到几十秒就够,配一个独立的短过期策略,别跟正常数据混在一起。

逻辑过期的思路更稳。键本身不设真实过期,值里带一个刷新时间戳,读到过期标记时异步触发刷新,读请求照常返回旧值。用户感知不到延迟,数据库也不会在某一刻被集中打,代价是要接受一小段时间的旧数据。

本地二级缓存可以再兜一层。进程内留一个很小的映射表,存最热的几十个键,过期时间设成几秒。缓存服务抖动的那几秒,请求先在本地命中,不至于直接穿透到数据库。内存占用要控制住,别把大对象往本地塞。

预热脚本要提前跑。发布、重启、批量刷新之后,缓存是空的,这时候真实流量进来就是最危险的时刻。用一个脚本按访问日志排序,把前几百个键先写进缓存,跑完再放流量。这套流程放一台 399 元档的独服上就够跑,10 核 32G、1Gbps 带宽、每月 10TB 流量按 这个渠道 配下来,撑住日常预热和回源压力没问题。

给数据库留一道闸。回源请求走一个带容量上限的队列,超出就等待或者返回兜底结果,别让无限并发直接压到存储层。这道闸的作用是保住数据库不挂,短期牺牲一部分请求的成功率。

兜底结果也要准备。首页、列表页、商品详情这类页面可以留一份静态快照,缓存彻底不可用时直接返回,用户看到的是稍旧的内容,比看到错误页好得多。这类快照要跟着定时任务更新,避免长期不刷新。静态资源和快照最好单独走一条大带宽的机器,10Gbps 端口那种按 这条链接 看规格,突发流量进来不会先卡在网卡上。

缓存击穿和雪崩怎么应对

雪崩和穿透的区别在哪

穿透是查不存在的数据,缓存里永远没有,每次都要落库;雪崩是大量键在同一时刻失效,缓存有数据但集体过期。两种现象在监控上都表现为命中率下跌,处理方式却完全不同,搞混了就会在错误的方向上加资源。另有一点容易忽略:这两种情况经常同时出现,缓存刚重启全是空,既穿透又雪崩,监控上只看到一条断崖。两者的重合场景最难处理,缓存刚重启时既空又冷,这时候流量的第一波冲击往往最猛。

穿透的解法偏前置拦截:布隆过滤器挡住不存在的键,接口层做参数合法性校验,空结果做短缓存。雪崩的解法偏时间维度:把过期时间打散,加互斥重建,做多级缓存。一个治源头,一个治节奏。布隆过滤器要跟着数据更新重建,重建期间要么全放行要么全拦,选哪个取决于业务能不能容忍误判,别默认全拦。两侧配合起来才算完整,只做一端另一半压力会立刻转移。

判断方法很直接。看缓存里失败的是不是同一批键。同一批键集中失效是雪崩,键很分散且都是查不到的数据是穿透。再看数据库收到的查询,重复度高是雪崩,参数各不相同且都查不到是穿透。看数据库的错误类型也能辅助判断,连接池打满报排队多半是雪崩,慢查询堆积多半是穿透在反复扫不存在的条件。把两类指标并排看两分钟就能分清,不需要额外埋点。

过期时间怎么打散

基础做法是加随机抖动。原本设一小时,实际写成一小时上下浮动百分之十,几百个键的过期点自然散开,不会挤在同一秒。抖动比例别太小,百分之五以内效果有限。

按业务分层设时长。配置类数据可以长一点,列表页短一点,详情页介于两者之间。分层的好处是即使某一层集中刷新,其他层还能顶着,不会全站同时回源。分层的边界按数据变化频率划,一天变几次的和一小时变几次的不要放在同一层。

批量导入的数据特别容易同点过期。同一批写入的键时间戳几乎相同,加上固定过期时长就是同点失效。导入脚本里给每个键加一个随机后缀写进过期值,成本很低,效果明显。

别在整点做批量刷新。凌晨零点统一刷新全站缓存是最典型的自伤操作,那个时刻所有键同时失效。改成滚动刷新,按分片分批,每批间隔几分钟,压力就摊平了。

大键要拆。一个键存几兆的列表,序列化和反序列化本身就慢,失效时重建更慢。按维度拆成多个小键,分别加载,单点重建的耗时能降一个量级。拆分维度按查询条件来定,按列表页拆比按主键随意切更实用。

冷热要分开。访问集中在少数键上,把这些键的过期时间设得更长,甚至做成不失效加异步刷新;长尾键设短一些,让它们自由轮换。内存有限的时候,这个分配比单纯扩容更有效。

缓存击穿和雪崩怎么应对

预热和降级要配哪些

预热要分两个时机:发布重启之后,和定时任务跑完之后。前者缓存全空,后者可能批量失效。两处都挂上预热脚本,按访问量排序取前若干键写入,跑完再切流量,这是最省事的保险。预热脚本要能重复执行,跑第二遍不产生副作用,否则出问题时不敢重跑。脚本执行完打一条日志,记录写入键数与耗时。预热脚本要和发布流程绑在一起,人工记得跑和忘了跑,差别就是一次故障。

降级开关要提前做好,不要等出事再改代码。开关控制的应该是行为而不是功能:缓存不可用时读本地快照、写请求进队列稍后处理、非核心模块直接返回空列表。每个开关都要能单独关掉,粒度太粗的开关在故障时不敢用。开关的状态要能从外部改,别写死在配置文件里,故障时改配置再重启等于没有开关。改完立刻生效,并且留一条操作记录。开关演练每个月跑一次,真到故障时没人敢按第一次按的开关。

容量规划按数据量的倍数估。缓存里放的是热数据,一般按全量的一点五到两倍留内存,留出的空间给序列化开销和碎片。只按当前数据量刚好买,运行几个月就会频繁淘汰,命中率自然上不去。内存分配还要看淘汰策略,全量淘汰会把热数据一起清掉,命中率恢复得很慢;按热度淘汰更稳,配置要提前定好。留出来的那部分内存不要拿去跑别的服务,混用最容易在高峰期被挤掉。

缓存击穿和雪崩怎么应对

上线后盯哪几个指标

命中率按接口分开看。全站一个平均值会把问题抹平,支付和首页的命中率差很多,混在一起看不出谁在恶化。按接口拆开,再配一条按分钟的趋势线。拆分粒度按一级路径就好,细到每个参数反而看不过来。

回源 QPS 的峰值比平均值重要。缓存正常时回源很少,出问题时瞬间冲高,平均值被稀释。看每分钟的峰值,能抓到那种几十秒的抖动。峰值统计窗口别超过一分钟,窗口太长会把尖峰抹平。

重建等待时间要单独打点。单飞重建的等待如果超过几十毫秒,说明回源本身慢,锁的作用变成了排队。这个数能直接告诉你回源该不该优化。

空值缓存的比例值得监控。比例突然升高,可能是有人在扫不存在的 ID,也可能是参数校验出了漏洞。两类原因的处理方式不一样,先看请求来源分布。

数据库连接占用是收尾那道防线。缓存失守时连接数会先涨,涨到池子上限就开始排队报错。给连接数设一条告警线,比等接口超时更早发现问题。连接数压制要和队列配合,光限连接数不听队列长度,请求会在应用层堆积,客户侧感知到的仍然是超时。

告警阈值按历史数据定,别照抄。工作日和周末的基线不同,促销日的基线也不同,固定阈值必然误报。取最近两周同时段的分位值做基线,往上留两成余量比较稳。阈值定完要定期回看,业务量涨了基线就变,三个月不动一次的阈值基本等于没有。

玩家评论

相关阅读

手游掌机排行