2026-11-20 23:08:00 k73游戏之家 作者:testai
做后台的同事大概都碰过这么一幕:用户上传一段素材,进度条走到一半就停住,页面转圈,过一会儿报个超时,可回头去存储里找,文件居然好好地躺在那儿。翻日志才发现,流量是先落到 Web 服务器,再由它转发给存储,同一份数据在网络上跑了两趟,一台机器同时扛着入站和出站,出口带宽被吃掉两遍。要不要把上传改成前端直接传到存储,很多人心里其实有数,真正卡住的是签名这一步——怎么给前端一个限时、限量、限路径的凭证,既够用又不至于变成一把万能钥匙。
走应用中转的路径,文件从用户到应用机再到存储,同一份数据在网络上跑两趟。图文站感觉不到,视频、压缩包、录音这类动辄几百兆的素材,一下就能把出口占满,前端还在等,后端已经超时。
直传之后,前端的请求直接打到存储的入口,应用机只负责发一次凭证、收一条回调。上传成功与否不再看应用有没有收到字节,只看向存储写完的那条记录,这条链路一通,机器配置的算法也跟着变了——不再是越大越好,而是能并发签发多少张凭证。
省下来的不只是带宽。中转方案下,大文件会在应用机的临时目录里落地半截,磁盘 IO 和 inode 一起被消耗,写到一半失败还得留一堆垃圾文件等人清。直传把这部分临时空间从业务机上彻底挪走,排障的时候也少了一个变量。
多出来的是一套签名逻辑和一条回调确认。签名过期、路径不匹配、回调丢了,都会表现为“传上去了但列表里没有”,这类问题比带宽跑满难查得多,所以后面几节都围着这几处展开。
顺着这个思路,越是夜里批量同步、后台批量导入的场景,直传的收益越明显。那会儿没人盯着页面,中转一旦超时,用户只会第二天来问文件去哪了,而这种问题查起来往往要翻好几天的日志。
说白了,直传是把“搬运”这件事从业务机身上摘下来,交给专门干这个的存储端,业务机回到只做判断的位置。对预算有限的小机器来说,这个变化比加内存更实在。
签名本质是一段带密钥的摘要,把桶名、对象路径、过期时间、上传大小上限、允许的方法这几项拼在一起算出来,再交给前端。前端拿着它和文件一起发请求,存储端用同一把密钥重算一遍,对得上才收。要紧的是签名里含什么,前端就能改什么,桶名和路径必须写进签名,绝不能让前端自己拼,否则一张凭证就能往任意目录写东西。
过期时间怎么定,取决于文件多大、网络多慢。给十分钟,用手机流量传一段几百兆的视频,大概率传不完;给两小时,凭证一旦被截图外传,就等于开了一个两小时的窗口。折中做法是按大小分档:几十兆的给十分钟,几百兆到一 G 的给半小时,超过一 G 的单独走分片上传,每一片配一张短时凭证,整段传完凭证也差不多用完。
上传大小上限也写进签名,这一条比过期时间更实用。没写上限的时候,一个被改过的页面可以把任意大小的文件往存储里灌,容量和流量都由你付账;补上这一条,最坏情况只是请求被拒,不会变成一张吓人的账单。允许的方法同样要收紧,签发的是上传,就别把读和删一起放进去。
签名里还可以带一个随机标识,配合前端的重试逻辑,同一个文件重复上传时能认出是同一件事,不至于在存储里留下两份一模一样的大文件,白白占掉双倍容量。这一步定清楚了,后面联调时的麻烦会少一半。直传最大的变化是业务机不再经手文件,它只签了一张凭证,之后发生的事它看不见。所以要有一条回调:存储端写完对象,通知业务接口,接口再把记录落进库里,用户列表里才会出现这个文件。
回调这条路必须做成幂等。网络抖动、存储端重试、用户刷新页面,同一个对象可能被通知两三次,落库时用对象键做唯一约束,重复的只更新状态,不要多生成一条记录。
通知丢了怎么办。存储端可以配置重试次数和间隔,业务侧也要留一条兜底的核对任务,按天扫一遍存储里新增的对象,跟库里比对,缺的补上,多的标记成待清理,不要悄悄删。
库里记什么。对象键、原始文件名、大小、内容类型、上传者、写入时间,再加一个业务归属字段。这几项看着普通,等到做配额、做清理、做统计的时候,全靠它们把对象和业务对上。
用户视角的“上传完成”应该由前端轮询结果、或者收到回调之后再置为成功,不要在前端一传完就改状态。回调还在路上的那几秒,用户点进去就是空白,投诉往往就从这几秒开始。
权限也要跟着挪。中转方案里,上传动作发生在业务机上,鉴权就是登录态;直传之后,凭证本身就是权限,签发之前必须先确认这个人有资格写这个桶,别让凭证绕过业务鉴权。
一套走顺的直传,链路是:登录态 → 签发凭证 → 前端直传 → 回调落库 → 前端确认。五个环节里缺一环,体验都会打折,而其中最容易漏的就是回调之后那一步的确认。
路径拼错是最常见的一类。签名里的对象键带前缀,前端如果自作主张加了目录,重算就对不上,存储端返回签名不匹配,日志里看不出是谁的错,只能把签名原文打出来逐字比一遍。
第二类是跨域。前端在 A 域名,存储入口在 B 域名,预检请求过不去,浏览器控制台刷一堆红字,实际请求根本没发出去。存储端要把允许的来源写清楚,不要图省事写星号,写星号等于告诉所有人:这里谁都能推文件进来。
第三类是内容类型被改。前端按后缀猜类型,跟签名里写的类型不一致,有的存储端直接拒收。统一读文件对象的类型字段,别自己猜;同名不同内容的文件,也不要让前端覆盖已有的对象键。
第四类是下载没跟着改。上传通了,下载却慢,往往是下载仍然过应用机。上传和下载要一起动,只改一半,省下来的带宽会被下载原样吃回去,用户感觉不到任何改善。
再往下是缓存的问题。直传生成的往往是带签名的临时下载链接,如果中间层没有缓存,每次点下载都要重新签一次;签名有效期和缓存时间对不上,就会出现刚缓存好就被判过期的怪现象,做法是把缓存时间压得比签名有效期短一点,留出余量。这些坑的共同点是错都不在代码逻辑里,而是两侧约定没写清楚,把桶名、前缀、类型、有效期四项写成一份约定,前后端各存一份,联调能省掉大量来回。直传之后,存储节点承担的是并发写入和持续读盘,硬盘类型直接影响体验。机械盘适合堆容量、放冷数据和备份副本,固态盘适合放热点文件和高频读取,两者混着用比清一色更划算。
香港这边的存储型方案,例如云途的香港存储独服,带六 T 级别的 SAS 盘,位置在亚太,国内访问绕路少,适合做主存储,或者做离用户最近的读节点。用它跑自建对象存储,前面配一层缓存盘,热点文件命中时不必每次都回机械盘。
洛杉矶那边的存储型机型,比如SixtyNet 的 LAX-Storage 系列,单位容量的价格更低,适合做异地副本和归档,日常不直接对外服务,只在主节点故障或者需要扩容量的时候顶上。
两边怎么分工,看的是读写比例。写多读少的场景,主节点放在离上传者近的地方;读多写少的场景,把副本铺到多个地区,让下载走最近的那一台。
存储服务本身的进程不重,真正吃资源的是校验、加密,以及同时挂着的大量连接。核数不用堆太高,内存和磁盘队列深度更值得看,一次写入的缓冲给够了,长尾延迟就下来了。
容量规划别按现在算。视频和备份这两类东西的成长曲线从来不是线性的,按当前用量的三倍预留盘位,比事后挪数据省事得多。
副本策略也要提前定。本地一份加异地一份是最低配置,跨地区同步走增量,不要整桶搬,否则一条线路的带宽会被同步任务长期占着,等到业务要扩容才发现没有余量。
一套摆法大致是:香港机器做主存储、对外提供上传和下载入口,洛杉矶机器做异地副本和归档,两边用对象键对齐,业务库里只存键不存完整地址,将来换节点不用改代码。