2026-11-15 08:36:25 k73游戏之家 作者:testai
手里有一台没有显卡的独服,想拿来跑点和模型沾边的事,第一个冒出来的疑问通常是到底能不能跑、值不值得跑。网上要么是显卡玩家的跑分贴,要么是拿 CPU 硬扛大模型那种劝退结论,中间那段真正可用的场景反而没人讲清楚。下面按算力落在哪几个部件、内存该怎么算账、并发上来之后瓶颈挪到哪儿来拆,也顺手把两档机器的取舍算明白,方便对着自己的业务量做判断。
算力分散在三个地方:指令集、核数、内存带宽。支持 AVX-512 甚至 AMX 的处理器做矩阵乘法有硬件加速,同频率下比老平台快一大截;核数决定能并行处理多少路请求;内存带宽则决定权重读取得快不快,这一项往往比核数更先见底,压测时看内存读写计数比看 CPU 占用更说明问题。
单核主频影响的是首字延迟。一个请求进来,模型要先读完输入、跑完前几层才能吐出第一个字,这段串行过程吃的是单核性能,主频高的机器首字更快,用户感知上的「反应快」基本来自这里,把并发压到单路去测首字时间才知道主频够不够。
吞吐看的则是内存带宽和通道数。双路平台通常有八个以上内存通道,理论带宽比单路翻倍,跑批量任务时差距很明显;只插两条内存的双路机器,通道没开满,带宽反而可能不如插满的单路,装机前把内存插法确认一遍,别留空槽,插法搞反了性能打对折不是夸张说法。
量化是绕不开的一步。把权重从十六位压到八位甚至四位,模型体积和内存占用直接降到四分之一到三分之一,速度也跟着上来,代价是精度损失;分类、检索这类任务几乎无损,长文本生成则要自己测一遍再决定,工具链版本不同效果差得也不少,升级前先跑回归。同一条样本集对比新旧输出,差异超过预期就别急着上线。
显卡显存的带宽是内存的好几倍,这也是 GPU 跑推理快得多的根本原因,不是算力单元多,而是喂数据喂得快。CPU 侧的 DDR4 双路带宽只有两百 GB/s 上下,同一个模型在两边跑,差距主要来自这里。
先把模型体积算出来。七十亿参数的模型用十六位精度大约占十四 GB,八位量化降到七 GB 左右,四位量化四 GB 上下;参数翻到一百三十亿,数字直接翻倍。这个数决定了内存下限。
内存不能只装权重。运行时还要留出 KV 缓存、请求队列、框架自身的开销,加上系统和文件缓存,按权重体积的两倍到三倍规划比较稳;六十四 GB 跑四位量化的十三 B 模型,余量其实已经不多。
别把交换分区当内存用。模型一旦被换到磁盘上,每个 token 的生成都要等一次磁盘读,速度掉到没法用;内存吃紧时宁可减并发、换小模型,也别让系统开始 swap。
插满通道比堆容量更划算。同样的总容量,四条内存插满四个通道,比两条大容量内存插两个通道带宽高一倍;买机器时优先确认通道数,再考虑单条容量,这个顺序搞反了性能会打对折。
长时间跑任务还要看稳定性。内存不带校验的时候,偶发的位翻转会让输出莫名其妙地漂移,批量任务跑一整夜才发现结果不对;带 ECC 的机型贵一些,长期跑训练和推理值这个钱。
单路请求测出来的数字很好看,压到十路二十路就崩,原因通常在批处理能力上。GPU 可以把几十个请求拼成一个大批次一起算,CPU 上这种并行收益有限,每个请求的上下文都要单独维护,核数用完之后只能排队。所以评估 CPU 推理时不要只看单请求延迟,要按目标并发量去做压测,把排队时间也算进去,否则上线后用户感受到的是忽快忽慢,而不是稳定地慢。压测把并发梯度设在十、二十、三十三档,看哪一档开始出现排队。
内存消耗随并发线性上涨,涨得最快的是 KV 缓存。每个活跃请求都要保存自己的注意力缓存,上下文越长占得越多,一百个并发、每个八千 token 上下文,几百 GB 就这么没了。这也是为什么 CPU 推理要先定并发上限再选模型,反过来先选模型再压并发,很容易在高峰期把内存吃到触发系统保护,进程被直接杀掉,前端表现为整片 502。
模型加载和冷启动也常被忽略。一个几十 GB 的模型文件放在机械盘上,服务重启要等好几分钟才能接第一个请求,滚动发布时新旧进程同时驻留内存,峰值占用直接翻倍。把模型文件放在 NVMe 上、启动时预热几个请求,再配合进程常驻,冷启动问题能缓解大半;接口服务还要盯网络带宽,返回内容大、并发高的时候,出口跑满同样会让响应时间飙升。
文本分类和情感判断这类任务最适合。模型小、上下文短、延迟要求不高,CPU 上一秒钟处理几十条毫无压力,跑在独服上还省掉了调用外部接口的费用和网络抖动。
向量化和 embedding 是检索系统的前置工序。文档入库时批量算一遍向量,之后长期只做查询,这种离线密集计算放在 CPU 上很经济,配合 SSD 的读写速度,每天几百万条的增量也能处理完。
文档解析与结构化抽取是 CPU 的主场。PDF 拆页、表格识别、图片预处理、OCR,这些活本来就吃 CPU,放在有显卡的机器上属于浪费,放在独服上反而更合适。
定时批处理任务也适合。每天凌晨把订单、评论、日志过一遍模型打分,跑完就结束,不需要常驻推理服务,机器平时还能干别的。
语音转写属于勉强能跑。中等模型在 CPU 上转写一小时音频要几十分钟,实时性谈不上,做后台转写、字幕草稿完全够用,对时效要求高的场景还是得用加速卡。
成本对比要按使用率算。显卡云按小时计费,跑一次批处理几小时就是一笔固定开销;独服按月租,跑满跑闲都是同一个价,任务密度不高的时候,独服的总成本往往更低。
不适合的场景要说清楚。几百亿参数的大模型做实时对话、长上下文生成、需要秒级首字响应的应用,CPU 上体验会很糟,这类需求别省这笔钱。
混合方案更常见。CPU 独服做预处理、排队、缓存和结果后处理,真正重的推理交给按次调用的显卡资源,两边各干擅长的事;想看这类入口的实例,可以从 渠道里的机型 对照着挑。
内存容量排第一位。它决定你能跑多大的模型、扛多少并发,容量不够连启动都过不去,其他参数再漂亮也没意义;先按目标模型算出权重体积,再留两到三倍余量,这个数基本就把机器档位锁定了,容量算清楚之后其他参数才有讨论意义。
核数和主频看业务形态。批量离线任务吃核数,核多跑得快;在线接口吃单核主频,主频高首字快。两边都占的场景,宁可要主频稍高、核数够用的配置,别一味追核心数量,任务形态没定之前两个方向都别下结论。
磁盘类型影响启动和加载。模型文件动辄几十 GB,NVMe 和 SATA SSD 的读取差距在冷启动时非常直观;同时模型文件和日志别放同一个盘,日志写满会把模型读挂,盘容量也要留出模型更新的空间。
带宽和流量额度按接口形态估。纯内网批处理用不了多少流量,对外提供接口服务就要算清楚每月的进出口总量,返回体大、调用频繁的场景很容易超,额度不够时先看返回体能不能压缩。
价格档位排在末位看。同样预算下,内存翻倍的机器通常比核数翻倍更有用,因为内存决定了能力的上限,核数只影响跑得多快;预算有限时优先保内存和磁盘,核数可以妥协,预算宽松也别为单核跑分多花钱,实际收益很有限,把钱花在内存上更直接,核数过了十核之后的边际收益下降得很快。
九百元那档的云途 DS.ES.D 给到单颗 Xeon Gold 8163 十核二十线程、128GB 内存、800GB SSD、2Gbps 端口和每月 40TB 流量。125GB 的实际可用内存,装四位量化的十三 B 模型还剩不少空间给缓存和队列,跑 embedding、分类、文档解析都很从容。
一千五百元那档的云途 DS.ES.B 是双路 6138,共 40 核 80 线程、256GB 内存、1920GB SSD,端口 2Gbps、流量每月 30TB。内存翻倍加上核数翻四倍,适合并发高、任务队列长的场景,批量打分和离线转写能明显快一截。
两台机器的差别可以概括成一句话:一台拼单请求体验,一台拼整体吞吐。并发在十路以内、主要做离线或低频调用,九百元那台足够;并发二三十路、还要同时跑几个模型,一千五百元那台才不至于排队排到超时。
选九百元那台的理由很具体。预算紧、模型是四位量化的小模型、任务以定时批处理为主、机器还要兼着做网站和数据库,128GB 内存跑这些活刚好,剩下来的预算可以留给备份和带宽。
选一千五百元那台的理由同样具体。要同时挂三四个模型做不同任务、接口并发常年二三十路、还要留出给数据库和缓存的余量,256GB 内存带来的从容是省不掉的;双路八通道的带宽优势在批量任务上也体现得出来。
两台都在同一个渠道里,配置细节和可选档位可以直接在 云途这两档机器 对照;如果更看重存储容量和单价,另有 别的机房方案 可以横向比。
下单前先把自己的任务清单列出来,写清模型大小、并发上限、每天调用次数、要不要和别的业务混跑。这四项填完,该选哪台基本不用犹豫,也不用为用不上的核数多付月租。