2026-11-15 12:03:53 k73游戏之家 作者:testai
团队里几个人开始用 notebook 做数据活,最省事的办法是把 Jupyter 直接装在办公机或者一台共享机器上,谁都能登录。人一多问题就冒出来:有人跑一个大循环把内存吃光,别人连页面都打不开;有人误删了同事的目录;重启一次所有人的环境全丢。这篇按结构、资源配额、数据存放、并发瓶颈、访问控制、机器选型六块来讲,都是真实上手会碰到的细节。
它分成三部分:入口进程负责登录和转发,每个用户配一个独立服务进程,容器或虚拟环境负责装包和隔离。入口只做认证和路由,不跑用户的代码,这样某个用户的进程崩了,别人的页面还能用,进程之间互不影响比全装在一台机器上省心得多。
用户进程最好跑在容器里。容器把每个人的依赖隔开,A 用旧版本的 pandas、B 用新版本互不干扰;容器还能限制内存和 CPU,某个人写死循环时只影响自己那一格配额,配额之外还得留一点共用余量给系统本身。
存储要挂出去。容器删了重建,里面的文件跟着没,notebook 和数据集必须挂在宿主目录上,容器只当运行环境用;这样换镜像、升级依赖都不会碰数据,重建时只重建环境,数据目录一次都不用动。
入口进程要能重启。它崩了所有人的访问都断,反代层做健康检查、异常自动拉起,比指望它不出事更实际;入口自身几乎不吃资源,但连接数要留够,入口的日志单独存一份,出问题时有据可查。
登录方式先想清楚。团队内部用账号密码配合一层反代认证就够,对外开放或者人多之后接统一身份认证更省事;别把数据库口令直接写进 notebook,环境变量注入比写在文件里安全,成员变动时只改认证侧,不用挨个机器清理,成员进出手续也简单。
按最大那份数据集估。一个人要读八 GB 的表格,pandas 加载进去往往翻倍,配额给到二十 GB 才不至于中途被系统杀掉;跑模型训练的人再单独加一档,别让所有人都按最高标准配,配额按人设也可以按项目组设,跑训练的组单独一档,临时借调的人可以先给小配额试用一周,用完再按实际占用调整。
CPU 按并行度分。日常数据清洗两核够用,跑网格搜索或者多进程的给四到八核;核数超卖比内存超卖温和,因为 CPU 是分时复用的,内存一旦被占满就是硬失败;核数给多了浪费,给少了排队,压一轮就知道该给几核,看峰值时的就绪队列长度比较直观,单核跑满和排队等待是两回事。
闲置回收要配。白天用的人多、晚上空着的会话占着内存不放,设一个两小时无活动就停掉的策略,第二天重开也只是几秒钟的事;重要的长任务给白名单,避免跑到一半被回收,回收策略按会话算,同一个人开两个会话各计各的,别让一个号把全组的额度都占走,额度用完得等别人释放。
配额写在配置里而不是口头约定。每个人能开几个会话、每个会话多少内存、总共能占多少,都落成具体数字,出问题时看日志就能定位是谁超了,不用互相猜,配置改动走版本管理,谁在什么时候调过配额都能查,改之前先在测试环境验证一遍,再推到所有人。
notebook 放宿主目录。按人分目录、按项目再分一层,权限设成只有本人和组长可写;共享的模板单独开一个只读目录,避免有人改了别人的基线却没人知道。
数据集单独挂盘。原始数据只读挂载,清洗后的中间结果写到另一块盘,这样误操作最多毁掉中间结果,原始数据还能重来一遍。
别把大文件塞进 git。notebook 的输出版本、几 GB 的 csv 提交进仓库,仓库几年就膨胀到没法克隆;用对象存储或者独立的文件服务放数据,仓库只管代码和 notebook。
清理临时文件要有策略。每次会话结束把 tmp 目录清掉,缓存图片、中间 parquet 设一个保留天数,过期自动删除;不然一块 800GB 的盘半年就被临时文件吃满。
备份按价值分层。原始数据每周全量,中间结果只留最近三天,代码走 git 远程仓库;备份完做一次恢复演练,确认真能从备份里把某个人的项目拿出来。
目录结构尽量扁平。三层以内就能找到文件,命名用日期加主题,别用「最终版」「最终版2」这种;人一多,命名混乱带来的时间浪费比机器贵得多。
空间监控要有人看。盘盘用到八成开始告警,跟着看是哪个目录涨得快;notebook 的 checkpoint 文件经常是罪魁祸首,一个人能攒出几百 MB。
共享读写的场景要加锁思路。两个人在同一个 csv 上同时写,后写的覆盖前写的,谁也发现不了;约定只追加不覆盖,或者各自写自己的分片,合并放到批处理里做。
内存最先扛不住。几十个人同时打开一份大表,每人一份副本,机器内存瞬间见底,接着就是 OOM 杀进程,表现是页面莫名其妙断线。开班之前按人数乘以单份数据体积算一遍,再决定要不要拆成几台机器分摊。只做数据查看的会话和跑计算的会话分开管,各占各的内存池,混合部署时永远算不清谁把内存吃掉了,拆开之后容量规划也好做,开班前拉十个人模拟一遍最准。
磁盘随机读写紧跟其后。所有人同时启动内核、加载包装依赖,几千个小文件一起读,机械盘会卡到怀疑人生;把环境镜像和包缓存放在 SSD 上,启动时间能压到几秒,镜像提前拉到本地,第一次打开就不用等下载,开课场景尤其明显,几十个人同时起内核时差别一眼就能看出来,磁盘和内存的曲线会同时抬头,镜像体积控制在几百 MB 以内最理想。
网络出口在共享数据时容易堵。几十个人从同一台文件服务拉同一个数据集,出口跑满,页面加载和数据下载都变慢;把常用数据集提前分发到本地,或者用内网对象存储做缓存,能省掉大部分重复流量,共享盘换成 SSD 之后随机读会缓解,但并发几十路时仍要看单盘 IOPS 上限,超了就按项目分盘,读多写少的项目单独放一块盘更稳,删盘时只影响一个项目,读写路径分开之后写操作也拖不慢读。
前面挂一层反向代理。证书、压缩、连接复用都交给它,JupyterHub 只监听本机端口;代理要配置长连接超时,notebook 的 websocket 连接很容易被默认的短超时切断,表现为代码跑着跑着就断开,代理的缓冲要关掉,保证数据实时下发。
证书用正规签发。内部团队也建议上证书,不然浏览器每次弹警告,用户习惯性点继续,反而埋下钓鱼风险;续期交给自动任务,别等到过期那天再手工换,证书链要完整,中间证书漏了照样报警。
路径前缀要统一。反代把请求转到子路径时,JupyterHub 的 base_url 必须跟着改,改漏一处就是登录后白屏;配好之后用无痕窗口完整走一遍登录、打开 notebook、保存文件三个动作,保存后回列表页刷新一次,确认真的落盘了。
权限按角色分。管理员能看会话列表、能强制停掉某个人的内核,普通用户只能动自己的目录;给谁管理员权限要写下来,离职时记得收回,权限变更记进文档,别只留在聊天记录里。
访问来源做限制。只允许公司出口或者内网地址访问,公网暴露的管理入口是重点扫描目标;确实要远程用,走 VPN 比直接开端口稳妥,暴露在公网上的机器一天能收到上万次尝试。
审计留痕别省。登录记录、会话启动、文件删除都留一份,出问题时能对上时间线;日志别只写在本机,机器一坏就什么都没了,留存时间按团队规矩定,太短查不出问题,太长占空间。
十人以内的数据团队,一台中配就够。399 元档的云途 DS.ES.F 是 Xeon Silver 4114 十核二十线程、32GB 内存、800GB SSD、1Gbps 端口和每月 10TB 流量,跑入口、缓存和几个人的日常分析没什么压力,预算花在这里比较值。
人多或者有人跑训练,上大内存那档。1500 元档的云途 DS.ES.B 是双路 6138 共 40 核 80 线程、256GB 内存、1920GB SSD、2Gbps 端口和每月 30TB,内存足够几个人各自开一份大表,核数也撑得住并行计算。
两台拆开更稳。入口和数据放一台小规格,计算会话放另一台大内存,某个人把计算那台跑满,入口仍然能登录、能看日志;这种拆法比单台堆配置更能扛住意外。
先小后大比一次买满划算。开班前用一台 32GB 的机器跑两周,把并发人数、单份数据体积、启动耗时三个数记下来,再决定是加内存还是加机器;凭感觉配的规格通常不是买小了就是买多了。
选型时把内存放在前面,核数排在后面。多用户场景每个人的进程都独立占内存,核数可以分时复用,内存不行;宁可核数少一点、内存大一点,别反过来。硬盘按人数乘二十 GB 估,装镜像和包缓存的空间另算,压缩包一多,几百 GB 很快就没了。
具体档位可以对照 云途这两档机器 看配置和线路,需要更大存储或者不同机房的也可以看看 这一组方案,按人数和数据体量挑一个起步。
部署顺序建议按这个来:先把入口和认证跑通,再配容器和配额,然后把数据盘挂上,收尾做备份和监控。每一步都能单独验证,出问题不用怀疑整条链路,哪一步不通就停在哪一步。