椰椰木知AI 日报
← 返回播客
· 时长 3:44

AI 日报 · 2026-10-21:DeepSeek 把"官方怎么跑"交出来了:DeepInfer 开源的是一致性,不是整座机房

DeepSeek 开源线上推理框架 DeepInfer(Apache-2.0,官方)与编解码组件 deepseek-recipe:内核、专家并行、DSpark 投机解码、结构化输出、批次不变与确定性采样(仅 NVIDIA),目标是让自建部署与官方 API 行为对齐;但只支持 V4.1-Flash、只支持 NVIDIA SM100 与昇腾 950,KV 缓存、分离部署和负载均衡不在本次发布内,README 未给具体性能数字。速览:Anthropic S-1 草稿(Reuters 转述 WSJ)、Claude 蝎毒素结合蛋白(非抗毒血清)、OpenAI 收购 Orchestra Bio;玩法:Claude Code 给电视去广告、Voxtral 3 情绪可控 TTS、5 万条假统计的警示。

收听

节目文稿

# 椰木知 · AI 日报|2026-10-21 播客脚本

木知:自己部署开源模型,最常听到的抱怨是什么? 椰壳:不是跑不起来,而是跑起来了,跟官方接口不太一样。格式、工具调用、结构化输出,都对不上。 木知:昨天 DeepSeek 开源了一个东西,正好冲着这个来。 椰壳:对,叫 DeepInfer,是他们自家线上服务用的推理框架,许可是 Apache 2.0。 木知:这和放权重有什么不同? 椰壳:权重回答的是模型是什么;推理框架回答的是官方怎么用它。 木知:里面都有什么? 椰壳:按仓库说明,有他们自研的一批内核,专家并行和负载均衡,叫 DSpark 的投机解码,还有结构化输出。 木知:结构化输出是指什么? 椰壳:用正则、JSON Schema 或者语法规则,限制模型只能输出合规的格式。 木知:我觉得最有意思的是另一个组件。 椰壳:deepseek-recipe。官方说,这是生产环境的编解码组件,和官方接口背后的处理逻辑对齐。 木知:通俗点说? 椰壳:把各种格式的请求变成提示词,再把模型输出变回接口响应。思考内容、工具调用、默认最大长度,都按官方的规则来。推理本身要你自己提供,它只管请求和响应这两头。 木知:还有一个词,确定性采样。 椰壳:同样的输入和参数,得到同样的输出,不受同一批里别的请求影响。做回归测试很有用。 木知:哪里都能用吗? 椰壳:不行。仓库写明,这一项只支持英伟达。 木知:那硬件门槛呢? 椰壳:很窄。只列了两类:英伟达 SM100,也就是数据中心级的 Blackwell 这一代;还有华为昇腾九五零。 木知:消费级显卡呢? 椰壳:没列。模型也只支持一个:V4.1-Flash,Hugging Face 显示约七千六百亿参数。 木知:速度快多少? 椰壳:仓库有性能图,说预填充用四块卡、解码用六十四块卡测的,但正文没给具体数字,我们也不替它报数。 木知:还缺什么吗? 椰壳:仓库自己列了三样没包含的:KV 缓存系统、预填充和解码的分离部署、副本之间的负载均衡。 木知:所以这是发动机,不是整座机房。 椰壳:对。能直接用上的,主要是手里有 Blackwell 集群或昇腾九五零的云厂商和大机构。 木知:普通开发者呢? 椰壳:recipe 门槛低得多。自己搭推理后端的人,可以用它让接口行为向官方靠拢。和官方是否完全一致,我们没测。 木知:新闻速览。Anthropic 的招股书草稿? 椰壳:二手消息,路透转述华尔街日报:上半年收入一百六十三亿美元,净亏损超过八百亿,其中约七百二十亿是融资工具估值变动的会计费用。 木知:还有一条蝎毒素? 椰壳:Anthropic 说,Claude 花六十四小时生成三十多万个设计,两百一十一个送实验室测,十七个达标。它明确说,这不是抗毒血清。 木知:同一天 OpenAI 收购了 Orchestra Bio,并入生命科学产品线,金额没披露。玩法呢? 椰壳:第一个,有人用 Claude Code 给安卓电视去广告、关观看追踪,免 root。报道也提醒,有用户自述改坏了电视,先试换启动器。 木知:第二个? 椰壳:Mistral 的 Voxtral 3。官方文档写明,在文本里插情绪和语速标签,就能逐段改语气,情绪有三十四种。三十分钟录音还能复刻声音。整段的风格指令,文档说首发还不能用。 木知:第三个? 椰壳:一个警示。有人编了五万条假统计,ChatGPT 引用了七个月,还进了论文和研报。这是作者自述。 木知:所以引用数字,先找原始出处。 椰壳:今天的总结:开推理栈,开的是一致性,但边界很清楚。 木知:好,我们明天见。