2026-11-22 12:33:50 k73游戏之家 作者:testai
一块盘跑同样的业务,换了个调度器名字,有人报 QPS 涨了两成,有人改完毫无变化,回头还怀疑是不是没生效。这类争论多半没说到点子上:调度器只在特定条件下才有意义,盘的类型、队列深度、虚拟化层,随便哪一项不对,改配置就等于改了个寂寞。下面按\"先看盘、再看负载、末看要不要隔离\"的顺序说,机器买回来之前想清楚这些,后面少折腾很多回。
在 /sys/block 下面找到对应设备的 queue/scheduler,会看到一串名字,当前生效的那个带方括号。很多人第一件事就是 echo 一个自己听过的名字进去,重启之后失效,或者第二天发现指标毫无变化。调度器要起作用,前提是这块盘走块层的多队列路径,云盘、网络块存储、某些虚拟盘压根没有可调的地方。
单队列时代有 cfq、deadline、noop 三个老名字,现在的内核基本只留 mq-deadline、kyber、bfq、none 四个。NVMe 盘默认就是 none,它自身队列深度足够、单次延迟很低,块层再排一遍队意义不大;SATA 固态用 mq-deadline 不算错;虚拟机里的 virtio 盘一般只能看到 none 和 mq-deadline 两个选项。
判断有没有得调的办法很直接:看 rotational 是 0 还是 1,机械盘才是真正需要排队和合并的地方;再看 nr_requests 能不能改。盘本身已经慢到单次请求就超时,换调度器只是换个排队方式,不会让它变快,该换盘还是得换盘。另有一层容易被忽略:有些云厂商给的盘是远端存储挂过来的,本地 /sys 看着像块设备,命令下发给谁都不知道,这种机器看延迟分布比看调度器名字有用得多。
none 把请求直接下发,几乎没有额外排序,延迟最低。代价是并发写很多的时候,读请求可能被写压住,因为没有谁为它插队,前台的小请求要等一大串写完成。
mq-deadline 给每个队列排一个期限,读优先,配上超时兜底,防止某个请求卡死把整条队列堵住。它干的活不多,开销也就小,纯固态机器上日常很难感觉出差别,属于性价比不错的保守选择。
差别明显的地方在混合负载:数据库刷盘和备份写入同时跑,读延迟的长尾会变差,P99 能差出一截。这种场景不是靠堆 IOPS 解决的,读请求插队的优先级才是关键,调度器在这里的作用也就体现出来了。
反过来,纯顺序写、纯随机读的场景,none 往往更快,少了排序和合并那一层,CPU 也省一点。备份机、日志落盘机、视频转码的中间盘用它更划算,不用为不存在的并发纠结。
测的时候别用默认队列深度,fio 要把 iodepth 拉到盘的实际并发能力,4K 随机读、4K 随机写各跑一轮,看 IOPS 和 P99 两个数字,再看 CPU 的软中断占用。只跑一遍顺序读,结论一定是\"没差别\",等于白测。
TRIM 和调度器不冲突,discard 走单独的命令路径,但周期性 fstrim 会带来短时延迟抖动,调度器换成 mq-deadline 的读优先能减轻一点。
bfq 是给交互场景设计的,按进程分配带宽,防止某一个进程把队列吃光。桌面和多人共享的机器上它确实好用,能保住前台不卡,压缩、拷贝、编译同时进行也不至于让界面卡成幻灯片。它的前提是每个进程都有实打实的队列份额,进程越散效果越明显,进程越集中越像在自说自话。
数据库不是这个模型,它是少数几个进程、高并发短请求、每个都要低延迟。bfq 的单队列调度开销在这个量级上反而成了负担,队列里每个请求都要过一次调度逻辑,QPS 上不去、延迟还更抖的案例不少,尤其在高核数机器上更明显。它的公平是按进程算的,数据库一个连接池几十条线程挤在一个进程里,公平也就无从谈起。
真要隔离,用 cgroup 的 io.max 和 io.weight 更直接,按容器或按进程限带宽、限 IOPS,比换调度器精确得多,而且能只针对那个吵闹的进程动手,不影响别人。v2 的 io.max 已经足够成熟,值得优先试,配之前先用 fio 把当前基线跑出来,改完再比一次,数字说话比凭手感靠谱。
多租户共用一台机、又没法上 cgroup 的老环境,才轮到 bfq 出场,靠它把吵的那个租户压一压,属于没有更细手段时的折中。这种机器通常也是老盘,队列本来就浅,效果不用期待太高,能把尖峰削平一点就算达标。
虚拟机里看到的调度器常常只有 none 和 mq-deadline,virtio 盘把请求交给宿主机,真正的调度发生在宿主那一层,guest 里改成什么作用都有限。看到选项少不要以为坏了,这是设计如此。
有些场景 guest 里设 none 反而更好,少一层无用的排序,请求直接交给宿主。前提是宿主侧队列配置合理,IO 线程数量和核数匹配,不然瓶颈只会换到宿主上,指标还是不好看。
云盘、网络块存储上的调度器基本是摆设,瓶颈在网络往返和远端存储的队列,本地块层怎么排都改不动体验。这类机器要把注意力放到连接数、超时重试和队列深度上,盯着本地 await 看会得出完全错误的结论。
容器共享宿主的块设备,容器里一般看不到自己的 scheduler,/sys 那块常常是只读的,改宿主才有意义。在容器里折腾这套东西,多数时候只是给自己制造困惑。
宿主侧的调优顺序是先确认队列数、IO 线程数,再看中断是否分散到多个核。这跟网卡绑核是两套逻辑,坑却很像:中断全落在一个核上,队列再深也没人取。
监控上 r_await 和 %util 要一起看。%util 到顶不代表队列满,可能只是盘在处理一个很慢的请求;队列长度和 await 同时往上走,才说明真的堵了,该考虑换盘或拆负载。
存储型机器上容易漏掉的一个细节,写缓存模式是 writeback 还是 none,对延迟的影响远大于调度器。先把这个确认了再谈别的,顺序反了只会白忙。
香港这边按核数分档的独立服务器,20 核 40 线程配 1TB SSD 那一档跑数据库和备份都比较从容,放到 这里能看到具体的配置和带宽;如果只是拿来做冷数据和备份落盘,大容量存储机型更划算,盘位多、单盘成本低,调度器用 mq-deadline 就够。