2026-11-22 12:01:54 k73游戏之家 作者:testai
前阵子有台机器的容器跑着跑着,docker logs 一敲就卡住,业务线程也跟着不动了,重启之后前面的输出一条没剩。多数人第一反应是日志太多把盘写满,顺着查下去才发现真正的问题在容器日志的驱动和轮转参数上,上线起就没认真配过。这类事不用等出事才处理,挑驱动、算预算、定轮转,三件做完基本就稳。下面按实际排查顺序讲,讲的都是能直接改的配置,不绕弯子。
写 compose 的时候,logging 这一段最容易被跳过,抄一段别人的配置就算完。docker 不写的话走默认,驱动是 json-file,容器标准输出一行一行落成宿主机的 json 文件,放在 /var/lib/docker/containers 下面按容器 ID 分目录。小流量时代这么做没任何问题,等某个服务开始刷调试日志,这个目录就是最先报警的地方,落盘速度甚至能盖过业务写入。
local 是后来加入的驱动,文件格式比 json 紧凑,轮转也交给 docker 自己管,配上 max-size 和 max-file 就能用,单机跑业务基本推荐它。它让出来的能力是外部工具直接解析文件那一块,接入 ELK 之类的采集器会读不懂格式,只能从 stdout 重新采一遍,等于日志被复制了两份。
journald 把日志交给 systemd 管,journalctl 一条命令能检索全部容器,代价是宿主机的 journal 本身也要设上限,SystemMaxUse 不写,日志照样长到盘满。用这个驱动要顺手看一眼 /var/log/journal 的实际占用,只盯着 docker 目录容易漏。
syslog、gelf、fluentd 这几个是往外送的驱动,容器不落本地盘,直接推到远端收集端。要配地址、端口、tag,网络一断 docker 会重试,缓冲先放内存里,量大了容器的常驻内存会被顶上去,表现是内存缓慢上涨,到某个点被 OOM 杀掉,重启后一切正常,很迷惑人。
none 省事到极致,什么都不记,压测、一次性脚本、跑完就删的训练任务用它没问题。生产上用要有心理准备:出事之后现场一片空白,只能靠外部监控的指标反推,复盘会非常难受。
max-size 的单位必须带字母,10m 是 10MB,写成 10 会被当成字节,等于没设上限。max-file 决定保留几个文件,总量就是两者相乘。有人把 max-size 设成 100m 却把 max-file 写成 1,日志一超就被覆盖,等于只留最末一百兆,排查跨天的问题时一点历史都没有。保留期也要跟着算进去,按天留还是按周留,直接决定盘上得空出多少地方,这事在规划阶段定下来比事后删文件轻松。
轮转不是实时监控,是写的时候顺带检查一次,单个容器一次突发输出超过上限,那个文件先超出去再被切走,实际峰值能到设定值的两三倍。短时间大量打日志的服务,比如几秒钟打出一堆异常堆栈的进程,按上限估预算往往低估,磁盘告警的时间点会比预期早。
算总量要按峰值乘容器数,不能按平均值算。一台跑三十个容器的机器,每个 10MB 三个文件,理论占用不到 1GB,看着很安全;可故障时某个容器循环打连接失败,一天能把三十个文件轮上几百遍,写放大比静态占用严重得多。判断办法很土但有效:拿 iostat 的写量跟容器日志总量对一下,数字对不上就说明有容器在刷,接着按容器 ID 找那个写量最大的目录就行。把每天的写入量和日志保留期一起算,盘要留的余量自然就出来了,不必等告警响了才临时删文件。
docker logs -f 是 daemon 侧读出来的,不是直接 cat 文件。json-file 下 daemon 要握着句柄按行解析,文件大时这条命令自身吃内存,机器内存紧的时候连带着把 daemon 拖慢,表现是命令卡住、其他容器的管理操作跟着变钝。
驱动默认是 blocking 模式,缓冲区满了会反压给容器进程,stdout 写不进去就阻塞,业务线程跟着停。表现出来的怪相是容器没退、CPU 不高、请求却全部超时,换成 restart 也只是一段时间后复发。
改成 non-blocking 再配 max-buffer-size,满了就丢旧日志,容器不会被卡住,代价是高峰期的日志有缺口。诊断期间可以临时这么用,等把日志量降下来再切回 blocking,长期开着丢日志容易在关键故障时踩坑。
k8s 下面容器输出走 CRI 的日志后端,docker 的 logging 段不起作用,要改 kubelet 的 containerLogMaxSize 和 containerLogMaxFiles,改完还得滚动重启 kubelet 才生效。集群里排查这类问题,先确认自己改的是哪一层,改错层等于白改。
应用自己的日志框架往往也在往容器内文件写,那是另一份账,跟驱动完全无关。两边都开着,磁盘占用翻倍,排查时只看一边就会算错容量,到头来在两份日志之间来回猜。
需要结构化字段的场景可以用 sidecar:驱动设 local 或 none,采集器读宿主目录再转发,容器输出不经过 daemon 的解析路径,卡顿的源头基本就断开了。
判断驱动是不是瓶颈,看容器进程卡在 write 上的时间,或者去 /proc/<pid>/stack 里找 pipe write,看 daemon 的线程是否都堆在日志解析上。这类证据比猜快得多。
容易忽略的一点是程序自己的 stdout 缓冲。行缓冲被设成块缓冲之后,日志整段整段冒出来,中途断了就丢半行,看起来像驱动丢日志,其实是缓冲和驱动配合的问题,在解释器语言里尤其常见。装几十个容器的机器,云途 DS.ES.A 那种三十二 G 内存、2Gbps 端口、盘位够放的档位,日志高峰也压得住,现成的规格和带宽都列在这,按业务量挑就行。
留本机的好处是快,出事之后 grep 一下就有,不依赖远端是否健康。坏处是机器挂了、盘坏了,日志跟着一起没,而这恰好是最需要现场的时候,一个能复现的现场比十条告警都值钱。
送出去的核心理由就是这个。跨境业务尤其明显,机器在境外,人在这边,靠 SSH 现场捞日志不现实,远端一份副本能省掉很多来回。选一台同区域的机器做收集端,延迟比跨洋传低得多。
常见折中是本地短保、远端长保:本地留三天够定位当下的问题,远端按合规要求留三十天。两边的轮转参数分开设,别让远端把本地的预算算进去,一台存储机扛几十台机器的日志,容量要按峰值算而不是按台数平均。
跨境传输要看带宽。日志文本压缩比很高,gzip 之后通常剩两三成,但高峰期一起传会跟业务抢出口,把发送端限速到出口的两三成比较稳,别为了日志把业务的首屏时间拖坏。
采样是省钱的有效手段。访问日志按百分比抽,错误日志必须全量,追踪 ID 相关的那部分也不能丢,否则一条请求在两边对不上,排查就断了线索。
落地顺序其实很朴素:先把所有容器的 max-size 和 max-file 补齐,再把 docker logs 卡的问题查掉,等本地这层稳了再谈远端。跳步去做集中平台,往往是把问题从一台机器搬到另一台机器。云途那边入门档的机器,比如 399 元一年的 DS.ES.F,十核三十二 G 内存跑几十个小容器够用,日志预算按每个容器三十兆封顶算,盘不会太紧张;流量型业务放到 800GB 以上盘位的机型更从容,具体规格可以到 这边看现成的配置单,按实际日志量挑盘位就行。