2026-11-22 23:34:16 k73游戏之家 作者:testai
半夜收到一条告警,说同步程序起不来了,日志里只有一行 too many open files,重启一下能撑半天,过两天又犯。这种毛病多数人第一反应是去加内存加配置,其实跟内存关系不大,它更像一条被踩过很多次却没人整理的路:机器跑着跑着,连接数、临时文件、监控目录一起涨,某个数字悄悄顶到天花板,然后整台机器开始挑最弱的那个进程下手。
报错文字不一样,指向的东西也不一样。too many open files 通常来自进程级的 ulimit 里 open files 那一项;内核日志里出现 file-max limit reached 是系统级句柄表满了;inotify 相关的报错会明说 max_user_watches,或者干脆甩一句 No space left on device,这一条最容易被误认成磁盘写满。三类都叫「打开太多」,可要动的开关完全不同。
进程级这条要看两个数,soft 和 hard。soft 是当前生效的,hard 是能提上去的天花板。ulimit -n 看到的只是当前 shell 的值,cat /proc/<pid>/limits 才是那个进程真实拿到的额度。用 systemd 托管的服务,改 limits.conf 往往没用,得在 unit 里写 LimitNOFILE,或者用 systemctl edit 覆盖。
容器里的情况容易被忽略:它不继承宿主的全部限制,但也不是完全独立,docker 的 ulimits 设置和宿主内核的 fs.file-max 两头都算数。同一份镜像在测试机上跑得好好的,上了线上起不来,多半就是这两处不一样。
inotify 是另一套账。它管的是能盯多少个目录和文件变化,一个站点做文件同步,几万个节点的目录树随随便便就把默认值撑爆。三个参数各自负责一段:max_user_watches 是这个用户能注册的总数,max_user_instances 是能开多少个 inotify 实例,max_queued_events 是事件队列长度。队列短了会丢事件,丢了不报错,只表现为同步漏文件,这种故障最难查。
这三个值都在 /proc/sys/fs/inotify/ 下面,临时生效用 sysctl -w,持久化写一份 /etc/sysctl.d/ 的 conf。改完不用重启,新开的实例立刻按新值走,已经在跑的老实例还是老额度,这一点经常被当成「改了没生效」。
句柄这一项别看平均数,看尖峰。ss -s 里的 total 是当前打开的 socket 数,lsof | wc -l 则是所有进程打开的句柄总数,包含普通文件、管道和内存映射。业务低峰时这两个数好看得很,一到批量任务或备份窗口,翻两三倍很常见。
单条连接吃几个句柄心里要有数。反向代理一进一出就是两个,加上 upstream 的 keepalive 连接池又占一个;PHP-FPM 每个 worker 在跑请求时也持有自己的连接;Java 服务动辄开几百个线程,线程各自握着 socket 的话,句柄消耗跟着线程数走。压测时单看一个进程更准:lsof -p <pid> | wc -l,比看整机总数清楚得多。同一个进程在不同时段采样几次取最大值,比只看一次更接近真实峰值。
inotify 的算法不一样,它盯的是节点数不是连接数。一个 WordPress 站点加上插件目录、缩略图缓存目录,两三万个节点很常见;如果同步工具把整个 www 根目录都纳入监控,就得按节点总量乘一点五到两倍算。十亿级的 watch 值不建议直接给,每注册一个 watch 内核都要占一块内存,watch 数量和内存占用是实打实的线性关系,一千万个 watch 吃掉几个 G 不奇怪。按节点数算出来的值宁可多留一成余量,也别等同步漏了文件再去倒推。
把数字算出来之后,落到机器上就是两件事:内存够不够撑住这些连接,端口和中断跟不跟得上。一台做站点同步和异地备份的机器,句柄容量和 watch 容量都跟内存强相关,每个连接的内核缓冲、每个 watch 的登记项、每个文件的页缓存,全都要从同一块内存里出。
十万级连接在千兆口上不常见,但「连接多、流量小」的业务很常见,长轮询、SSE、消息推送都属于这一类。它的内存消耗不在数据本身,而在每连接的固定开销:收发缓冲、状态结构、TLS 会话。按每连接四十到八十K估,十万连接就是四到八个 G,小内存机器必须靠主动关闭空闲连接和连接池把量压下去。
香港侧做同步主节点,一台一百多 G 内存的独服是从容的选择:同步进程、临时文件、几十万文件的页缓存都有地方放,内核句柄表也能按千万级去设,不必在 ulimit 和 file-max 之间来回挪数字。云途这台 DS.ES.D 就属于这个定位,具体配置和价格在云途的渠道页上能查到。真正的瓶颈常常不是 CPU,而是内存给得不够导致内核不停回收页缓存,同步速度忽快忽慢。
洛杉矶那边如果做异地副本和备份落地,配置思路正好反过来:不需要很大的内存,需要大一点的盘和稳的出口。五百 G 到 1TB 的存储型机型,配上四十 TB 级别的月流量,跑增量同步和夜间备份正合适,想比这一档可以看sixtynet 的渠道页。
VPS 和独服在这件事上的差别不只是配置,也在于能不能改。共享型 VPS 的 fs.file-max 和 inotify 上限常常被平台统一设死,改 sysctl 会被宿主策略覆盖;独服上这些参数归自己管,想设多少设多少,代价是设错了自己承担后果,把 file-max 调到千万级而内存不够,内核会先卡在句柄分配上。
端口和软中断这一层也别落下。多队列网卡要把队列绑到物理核上,否则再多句柄也只是堆在一个核的队列里排队;2Gbps 端口在连接数密集的场景下,收包路径的开销明显高于大流量场景。
磁盘那一层跟着看。同步和备份是「大量小文件加随机读」的路子,SATA SSD 比 SAS 机械阵列更合适;盘一慢,进程持着句柄的时间就变长,句柄数量被拖上去,看起来像额度不够,实际是盘在拖后腿。
参数改对只是第一步,长期不复发靠的是盯着两个数:句柄使用率和 inotify watch 使用率。这两个指标在常规监控里经常缺席,等到报错才想起来去看。
采集方式其实很朴素,node_exporter 的进程和文件系统指标里没有直接的 watch 总数,得自己写个小脚本读 max_user_watches,再拿进程目录下 fd 的条目数去做比值,五分钟一轮,够用了,采样结果落库保留一周,曲线一起看才看得清趋势。
每周留一份 lsof 快照也有价值。真出问题的时候,能对比「上周这个进程开了多少句柄、都是什么类型」,比在现场一个个猜快得多。
容器镜像的默认 LimitNOFILE 普遍偏保守,自建镜像时在 compose 或 k8s 的 securityContext 里显式声明,别等上线才发现起不来。
演练一次比改十次参数有用:把连接数压到预估峰值的一点二倍,看句柄使用率曲线怎么走,看 inotify 队列有没有溢出计数,有溢出就说明 watch 和队列两头都要加。
参数值写进配置管理,别只留在某台机器的 /etc 里。换机器、重建实例的时候能自动带过去,才算真正落地。句柄额度和目录监控这两件事属于上线前定好、之后就不必再折腾的底座,配错一次代价往往比配多一点大得多。