二十多只木箱堵在卸货区,货梯门宽一米四,最大的服务器机柜连包装一米五二。
云平台负责人沈放仰头看了半天:“拆箱。”
机房主管摇头:“室外拆,防尘、防静电和搬运责任谁管?”
“那从楼梯抬。”
“四百多公斤,楼梯转角过不去。”
所有人口中的“云”,在这一刻成了一个卡在门外的铁柜子。
最后,团队联系厂家拆成服务器、托盘和机柜分别搬运,设备在临时洁净区验封,重新组装后逐台上电。第一只木箱从车上下来用了八分钟,最后一只进机房花了两天。
齐放蹲在楼下看工人抬设备,忽然明白方俊为什么总嫌算力申请慢。代码里写一行“申请八张卡”,地面上要先有人把八张卡从木箱抬进电梯能到的楼层。
新设备也不是插电就变成一朵云。
进口加速卡、国产服务器主板、两种网卡、三种电源规格混在一起。有的适合长时间训练,有的内存小但推理快;某批驱动只支持旧系统,另一批更新后又让原有程序报错。若把它们全标成“显卡资源”,调度器会像把小轿车、货车和拖拉机都写成四个轮子,然后随便派去拉同一车钢材。
沈放让每台设备先登记能力、功耗、驱动和可用数据域。通用公开任务可以去共享池,支付和航天敏感任务只在对应受控区运行;能被抢占的研究训练与不能中断的线上推理分开。生产服务不能因为有人半夜训练大模型,突然连一块卡都拿不到。
资源表一公布,各团队立刻开战。
搜索组要四十张卡训练新的查询理解,理由是百度、谷歌和移动应用都在抢用户;焊缝组要十二张,汽车厂合同正在等;航天故障检索要八张,下一次中型箭结构评审在两周后;机器人组要十六张跑视觉和路径仿真;支付风控虽然只要六张,却要求全天保留。
总需求超过现有容量两倍。
搜索负责人说业务收入最高,应优先。周遥问机器人合同是不是可以用收入少为理由延期。航天组说安全项目天然最高,支付组反问交易欺诈每天都在发生,难道等火箭试验结束再抓骗子。
马飞坐在会议室后排,听了半小时,没有替谁拍板。
“先把‘要多少’改成‘要做什么’。”他说。
各组重新提交任务。搜索组原本申请四十张卡连续占用两周,拆开后发现只有三次关键训练需要全量资源,其余调参可以用小规模样本;焊缝组把数据预处理放到普通计算节点,不再让昂贵显卡等着读取图片;机器人仿真中大量物理计算并不适合塞进同一种卡;航天组的报告日期固定,可以提前预约,没必要每天挂着空任务。
需求压下一截,仍然不够。
调度规则分成生产保障、已签客户里程碑、工程安全窗口和探索研究。高优先任务可以抢占低优先训练,但必须提前保存进度,说明抢占原因;“董事长关注”“媒体发布”“马上要融资”不构成优先级。每个团队能看到自己等待时间,也能申诉,却不能找沈放吃顿饭便插队。
规则上线第一夜便被人钻了空子。
搜索组一名经理把研究任务标成“线上故障恢复”,抢到十六张卡。焊缝模型被中断,第二天无法按计划给客户演示。沈放查日志时,对方说新模型关系搜索稳定,标记没有错。
“线上现在故障了吗?”
“没有,但旧模型效果下降会影响业务。”
“那叫迭代,不叫故障恢复。”
经理认为云平台不懂业务,直接找到马飞。马飞只问他愿不愿把“当前无故障”写进抢占单并签名。对方最后撤回标记,优先级造假进入部门绩效记录。
齐放没有因拿回资源高兴。他的训练从头开始,说明程序没有做好断点保存。被抢占是别人的错,丢掉八小时进度是自己的错。
工程团队给训练任务增加定期检查点,像长途车每隔一段把位置记下来。机器让给更急的任务后,回来不必从起点重跑。检查点本身占存储和时间,间隔也不能越短越好;团队按训练成本和中断概率选择,不拿一个固定数字套所有项目。
新集群第一次满载运行,问题从队列转移到电力。
晚间十点,四组任务同时启动,一排服务器功耗迅速上升。机房监控显示温度增加,值班员以为制冷会自动追上。三分钟后,一条支路电流接近限制,局部热点超过设定值。
自动系统先降低非关键任务功率,随后停止两组可中断训练。机房没有停电,楼下办公室却因空调切换听见一声闷响。周遥从机器人场跑上来,以为显卡烧了。
检查发现,配电图按服务器额定平均功耗设计,却低估了多组训练同时起跑的瞬间峰值;冷通道一块地板又被临时线缆遮住,风量不足。设备没坏,若继续硬跑,下一步就是保护跳闸。
沈放没有把限制值调高。他们重新平衡支路、整理线缆、增加功耗爬升和任务错峰,调度器在分配卡时同时看电力与散热,不再只数还有几张空卡。机房主管得到一个可以直接拒绝软件团队的权力:地面条件不满足,任务排得再急也不能上电。
那晚所有人吃的是楼下便利店最后几盒饭团。齐放把饭团放在服务器箱上,被机房主管瞪得立即拿走。陈小满坐在走廊地上,发现投资人那条大两号工装裤还挂在失物架,便剪下一段备用扎带给松动的线缆标签做固定。
“别拿扎带绑正式线缆。”机房主管又吼。
陈小满把手收回来:“你这里规矩比火箭多。”
“火箭点火几分钟,我这儿全年不关。”
集群稳定后,焊缝第二版模型的训练从过去断断续续九天缩到三十多个小时,不是显卡数量简单翻倍,而是数据预处理、任务分配、检查点与散热一起改善。航天故障检索也在预约窗口完成新一轮组合搜索,没有挤掉支付线上服务。
搜索组最先把算力变成普通人能摸到的变化。他们重做移动端语音查询,旧系统在街道噪声和地方口音下经常把店名听错。测试员拿着手机去公交站、菜市场和海边采集经过同意的样本,参与者知道录音用途,可以要求删除;支付客服电话和私人语音没有因为“现成”就被拿来训练。
新模型上线前,马飞让女儿试了一句。她正换牙,说话漏风,想搜学校旁边的“陈记椰奶清补凉”,屏幕第一次识别成“沉积液耐轻步量”,一家人笑得她差点把手机扔掉。
搜索团队一周后带着新版本上门。女儿又说一次,店名终于正确,下面还出现营业时间和步行路线。她没有夸模型,只问能不能把“少冰”也一起搜出来。
“少冰得下单时告诉商家。”苏雨桐说。
“那它还是没我聪明。”
马飞把这句话原样发给搜索负责人。新模型让噪声场景下的可用查询明显增加,却没有被包装成“听懂所有人”。每次无法确定时,页面仍把识别文字亮出来让用户修改,不替用户自动付款或下单。
上线一周后,移动语音搜索量上涨,最常见的不是高深问题,而是公交、店名、天气和菜谱。GpU机房里烧掉的电,最后落在一个换牙孩子能不能找到一碗清补凉上。
那天晚上,马飞真带她去吃了一碗,她仍坚持自己比服务器聪明。
各部门第一次收到内部算力账单。
账单不只是钱,还列出占卡时间、等待、利用率、存储和重复失败。搜索组发现一次参数写错让三十二张卡空跑五小时;机器人组有一半仿真根本不需要高价加速卡;齐放的团队因频繁保存检查点,存储费用比预计高出三倍。
以前大家说“公司自己的云,不用白不用”,现在每一次浪费都能看到。内部计费不从员工工资扣,也不让安全团队为了省钱少做试验,只用于比较方案与扩容依据。
外部云服务商也来谈合作。对方可以按小时提供更多GpU,不必星辰自己每次买机柜。公开数据、开源模型和低敏感实验适合在外部资源上弹性运行;支付、飞行与受限客户数据若要使用,必须满足合同、位置、访问和审计条件,不能因为价格便宜便把门拆掉。
星辰采用混合方案。波峰时借外部计算,核心生产与敏感训练留在受控环境。几家国内互联网企业也在扩张云平台,价格、开发工具和人才争夺越来越激烈。星辰有真实业务负载,却并不意味着它能在每个机房都赢过专业云厂商。
第一批算力服务对外开放时,客户不是大型互联网公司,而是一所高校实验室。学生过去排队使用四张旧卡,训练一次要等一周。星辰给出教育额度,要求公开课题与合规数据,不能把商业外包伪装成学生研究。
一名研究生把任务提交后,页面显示预计等待七小时。他盯着进度条骂云一点也不快。第二天清晨,训练完成,他又发邮件感谢平台“像天上掉下来的机器”。
沈放把两封邮件都存起来。云既不在天上,也不会没有队伍。
年底预算会上,智能与机器人业务要求再扩一倍GpU。财务还没开口,一家投资机构递来更大胆的方案。
方案封面是一座绕地球飞行的银色数据中心,太阳能板像翅膀一样展开。介绍说轨道上太阳能充足,真空天然低温,数据靠卫星网络传回,地面土地、电费和机房制冷都能省掉。
标题只有六个大字:把云送上太空。
投资人站在机房玻璃外,指着里面一排排热风呼呼的服务器:“地面散热这么麻烦,送到真空里,不就冷了吗?”
机房主管抬起头,看他的眼神像看一只刚从木箱里拆出来、却没有说明书的设备。
“真空里,”他说,“你准备拿什么吹?”