2026-11-21 03:46:17 k73游戏之家 作者:testai
私有仓库搭起来那天,组里都说以后不用管镜像了。半年后运维盯着监控上那条存储曲线发愁:每天新增几十个标签,老版本没人删也不敢删,备份跟着一起涨。买盘的时候按当时的用量乘了个二,结果三个月就告急。这事跟盘买多大关系不大,跟标签怎么留、镜像层怎么复用、仓库放在哪台机器上关系更大,把这几件事弄明白再谈扩容才不至于白花钱。
仓库刚上线的第一个月,磁盘几乎不动;接入三四个项目之后,曲线开始往上走;半年之后每周都要腾地方。多数人把这归到镜像变多,真去查目录才发现大头是层和标签,跟镜像个数关系有限,一个镜像能吃掉几百兆到几 G,一个热门基础镜像带十几层,几年下来就是几十 G 的差距。
同一份基础层被多个镜像引用,仓库只存一份,这是省空间的地方。可每次构建都会往上面叠新的业务层,层越叠越细,单镜像体积一路涨,光靠换基础镜像治不了根,构建方式不改,层数还是会滚回来,多半要在构建脚本里把清理动作固定下来。
标签的问题更隐蔽。流水线每次构建打一个带时间戳的标签,一年下来一个镜像攒出几百个,删的时候谁也不敢动,因为不确定哪个对应线上正在跑的版本,只能一直留着,占着空间还占着索引,索引一大,回收扫描也跟着变慢。
临时镜像和调试产物也常被推上来。有人本地调不通,先推一个上去试试,试完就忘,这类标签没有归属、没有文档、没人认领,几个月后谁也说不清能不能删,只能继续躺着。
被真正拉取过的镜像只占一部分。翻一遍访问日志就知道,八成空间压在三个月以上没人拉过的标签上,这部分既占盘又拖慢索引扫描和回收扫描,清起来还得格外小心,删之前先确认引用关系,别把还在被部署的层带走。
保留规则要定在工具之前。按镜像名保留最近多少个标签、按时间保留多少天、线上版本单独打一个固定标签永不清理,这三条写下来,清理才有依据,换个人接手也不会走样。规则越具体执行越省事,比如每个镜像留最近十个标签加一个 latest,其余按月归档到冷存储,归档的那层留一份校验记录。规则写完之后先跑一段时间再修,一开始定太严容易误删,定太松又清不动,跑两周再调比较稳妥,别一次把所有规则全上。
清理分两步走:删标签只是把引用摘掉,真正的空间要跑一次垃圾回收才释放。两步之间隔几天,让人有机会发现删错并恢复,比一口气清完安全得多。回收期间仓库会变慢,安排到业务低峰跑;开跑前先确认没有正在进行的推送,否则刚推上去的层可能被当成无用数据。这个几天的窗口别随意缩短,真删错了它就是恢复的依据,恢复一次要重新构建半天,所以窗口别压太短。
清理频率跟构建频率挂钩。一天构建上百次的项目,每周清一次标签、每月跑一次回收比较合适;低频项目一季度一次就够。别为了清而清,每次回收都会让仓库短暂变慢,频率太高反而影响发布节奏,按项目分开跑比全量一起跑更好控制影响面。清理前后的空间变化记一笔,连续几周没降就说明规则没生效,得回去看标签是不是真删了。
分工看两件事:谁离构建机近,谁承担高频读写;谁盘大,谁承担长期存放。这两件事经常落在不同的机器上,硬塞进一台里,两头都不舒服。
构建机和仓库在同一机房,推拉走内网,速度基本不受公网影响。这时候把仓库放在盘大的机器上就行,不用纠结端口带宽有多大。
跨机房构建就得看链路。一个镜像层动辄几百兆,链路一抖,一次推送能拖十几分钟,流水线排在后面全等着,团队感受最直接。
把仓库放香港、构建机也在香港,一次推送十几秒完成。这是最省事的组合,也是最不容易出问题的组合,链路短,重试少。
旧版本可以放另一个机房,用一条定时任务同步过去,主仓库只留活跃标签,盘的压力立刻小一半。归档节点不用高配置,盘够大、网络稳定就够。
存储型机型看两个数:盘的容量和盘的接口。SAS 大盘适合放冷数据,单盘容量上去之后,机箱里不用堆太多块盘,故障面跟着变小,换盘也不用停机很久。
云途那台 6TB SAS 盘 128G 内存 2Gbps 端口的香港独服就属于这个定位:盘够大,内存撑得住索引缓存,2Gbps 让多台构建机同时推送不打架,拿它当主仓库或者归档节点都合适,750 元一个月的价位放在这种配置里不算离谱。
预算紧一些的时候,洛杉矶那台 500G 存储型的机型可以作为第一批镜像的落脚点,或者专门放测试环境的镜像。跟生产仓库分开,出问题互不影响,回滚也简单。
拉取慢先看链路。同一个镜像本地拉十秒,跨洋拉十分钟,问题不在仓库,在传输,加盘加内存都没用,换机房或者加中转才有效。中转或者换机房之前先测两地之间的实际吞吐,别凭感觉判断。
推送失败先看错误码。空间不足、层校验失败、认证过期,这三类问题的处理方向完全不同,别一上来就重建仓库,环境重建一次要重新登录所有构建机,代价比想象中大。
空间不足多半是回收没跑或者跑失败。翻仓库日志里回收任务的退出码,比盯着磁盘占用有用,日志会告诉你卡在哪一步,是标签没删干净还是数据没释放。日志里一般写得很清楚,连时间点和失败原因都带着。
层校验失败往往是构建机的盘或者网络出了问题。重推一次通常能过,反复失败就要去查构建机的磁盘和内存,那里出问题比仓库出问题更常见,先把构建机的盘查一遍再怀疑仓库。
认证过期在自动化环境里最容易被忽略。凭证有效期设得太短,长任务跑到一半失效,推送断在末尾,报错信息还看不出是认证问题,只显示一个连接中断。把有效期按最长任务的两倍来设,比事后排查省事。
并发推送也要控。几十个任务同时推同一个基础层,写入压力集中,容易把盘的带宽打满,推送排队,团队还以为仓库挂了。推送任务错开几分钟启动,比临时扩容更快解决问题。
保留规则、回收周期、归档位置,这三件事在扩容之前就该定好。不定规则就买盘,半年之后是同一个局面,只是盘更大、里面的旧数据更多,清理的难度也跟着涨。容量按当前月增量留一倍余量就够,别按年增量算,盘价和机型半年就换一轮,按年算出来的数往往用不上。
监控接上三个数:剩余空间、每日增量、回收上次成功的时间。三个数都在面板上,容量规划就不用靠猜,异常增长也能提前几天发现,不至于等到推送报错才知道。增量曲线突然变陡,多半是新项目接了流水线,查清楚来源比盲目扩容快得多。增量里如果有一半是测试环境的镜像,把它单独挪一台机器,省下来的空间比扩容实在。
迁移之前做一次完整备份,在新机器上恢复并跑通一次拉取,确认镜像和标签都对得上,再切 DNS 或者改配置。先验证后切换,返工的概率小很多,切错了也有退路。备份别跟仓库放同一台机器,同机同盘的备份在真出事时基本没用,机房一断两台一起挂,等于没做备份。
切完之后旧仓库先留两周,等所有构建机、部署脚本都指向新地址,再关掉。这一步看着多余,真出问题时能救命,尤其是那些半年没人动过的老项目。关掉之前导出一次标签清单和最新访问时间,以后要追溯还能查,不用求人回忆,对账的时候也方便。