2026-11-22 19:57:08 k73游戏之家 作者:testai
数据迁移、历史归档、报表初始化,这几件事都绕不开一次性往库里灌几十万行。灌的时候最常听到的抱怨是同一种:导入慢就算了,怎么线上查询也跟着卡。多数人的第一反应是磁盘不行,换 NVMe、加 IOPS,效果往往有限。真正拖慢的常常是事务太大、索引太多、锁等太久,磁盘往往只是被牵连的末端环节。把这几层分开看,导入能从一整个下午压到几十分钟,线上也不用陪着一起抖。
动手前先看三个数:磁盘的 await 与队列长度、InnoDB 的 history list length、锁等待次数。三个数分别指向磁盘、事务和锁,谁先顶不住,谁就是主因,剩下的都是被牵连的。
一个事务包住几十万行,redo 和 undo 会一路膨胀,undo 迟迟清理不掉,history list 越堆越长,之后每一个查询都要多扫一遍版本链,慢是慢慢显现的。
大事务还会让崩溃恢复变慢,重启时得把这堆日志从头重放;复制场景里,从库要等一个大事务整体应用完才继续,延迟直接按事务计。行数越多,这个延迟越不像话,动辄半小时的落后足够把读请求全压回主库。
二级索引是另一笔账。每插一行,所有二级索引都要维护一次,写到不同位置,磁盘看上去就像一直在乱翻,队列长度跟着涨。
索引越多,这笔账越贵。五个二级索引的表,导入速度常常只有单索引表的三分之一,这个差距比换一块更快的盘带来的提升大得多。
锁的问题最隐蔽。批量导入如果和线上更新撞到同一批行,两边互等,表现出来就是导入卡住、线上超时,而两边都不会报错。
磁盘当然也有份。随机写把 IO 队列拉长,await 上去,页缓存被挤掉,但这通常是结果而不是原因。先把事务和索引处理好,磁盘压力会自己降下来。
一批一万到五万行是常见起点,具体看单行大小和索引数量。批与批之间留一点间隔,让后台清理和复制追上来,别把导入压成一条连续不断的洪流,整条链路跟着满负荷。间隔多长不用猜,看当前磁盘等待和从库延迟,压力下来就继续,压力上来就多歇几秒;夜里无人值守的时候,宁可间隔长一些,也不要等到早晨发现库被撑住。
如果目标是空表初始化,先建表灌数据、末尾统一建索引,比边灌边维护索引快得多。代价是建索引那段时间表不可写,安排在维护窗口做,别赶在业务高峰;表大的话分几次建,每次只碰一个索引,失败重来也不至于全盘推倒;建之前在备机或者从库上先跑一遍,能提前知道要花多久、空间够不够。
能走批量加载接口就别逐条插入。解析和往返的开销在几十万行的量级上非常可观,文件直灌的路径常常能省掉一半以上的时间。字符集和字段顺序提前对齐,能避免中途报错重来,几十万行导到一半停下,回滚再重跑的时间比导入本身还长。
每批记录耗时与磁盘等待,找出拐点。耗时开始阶梯式上升的位置,就是这一批的合理上限,硬抄别人的数字经常不适用,同样的两万行,窄表和宽表差着好几倍。把拐点记在本子上,下次同类数据直接照着走,省掉一圈试错,几次导入之后你比任何教程都清楚自己这套系统的脾气。
主键顺序影响巨大。自增或时间有序的主键,写入基本落在相邻的页上;随机字符串主键会让页不断分裂,写放大成倍增加,同样的数据量写出的日志能差出好几倍,主键设计在导入前就该定好,事后改要重建全表。
不常用的索引可以在导入前删掉,导入后重建。重建是顺序扫描加排序,通常比逐行维护快,前提是留足时间和磁盘空间,建索引期间还得考虑并发写入带来的额外负担,重建往往比逐行维护少花一半时间,但峰值 IO 更集中,别和备份撞在同一晚。
唯一索引的校验成本容易被低估。每插一行都要查一次索引确认不重复,行数一多,这部分开销会超过实际写入本身,索引设计该精简的时候别心疼。
触发器、外键级联、审计表这类机制是隐形放大器。一个插入动作牵出三次写,导入速度自然掉到三分之一,跑之前先确认这些机制在批量路径上是否被绕过,能临时关掉的就在窗口里关掉。
事务隔离级别和锁范围也要看一眼。批量更新如果锁住大范围,线上读会被拖住;换成按主键小范围提交,争用立刻下降,代价是事务数变多,需要权衡。
从库延迟要单独衡量。大事务在从库上串行应用,主库跑十分钟,从库可能落后半小时,读请求全压回主库,业务感受就是整体变慢,这种时候先把导入限速比事后补数据省事。
内存优先给 buffer pool,索引页缓在内存里,随机读的代价才降得下来。一百二十八 G 内存的机型,buffer pool 开到七八十 G,中等规模的库整个装得进去,导入期间的读请求不至于全砸到盘上;内存紧的机器先把这块调够,比先换盘见效快,比例调过六成往往就能看出差别。
磁盘看顺序写和随机写的差距。NVMe 在随机写上比 SAS 强一个数量级,导入这种混合负载受益明显;日志盘和数据盘分开,刷盘不会互相排队,这一条比单纯换更快的盘更有效;盘的余量留出三成以上,写满之后写性能会断崖式下跌,导入卡死的例子多半出在这里。监控里顺手把磁盘延迟的告警阈值调低一点,比事后翻日志找原因省力。
从远端拉数据再导入,瓶颈常在网络。带宽不足或往返时间长,先把文件落到本地再灌,比直接在远端库上跑导入快得多;压缩之后再传,跨洋链路上还能再省一段,解压的开销远小于传输的等待。落地机不需要多强,盘够快、带宽够稳就行,真正的计算留给数据库那台。两边都按峰值选,预算会翻倍,而压测和导入这种间歇负载,平时闲着是常态。云途 128G 内存的独服适合做大库导入、缓冲池吃内存的场景,洛杉矶中配机型适合做落地与中转,两边分工,导入窗口能压下来一大截。