AI 日报 · 2026-10-21:DeepSeek 把"官方怎么跑"交出来了:DeepInfer 开源的是一致性,不是整座机房
DeepSeek 开源线上推理框架 DeepInfer(Apache-2.0,官方)与编解码组件 deepseek-recipe:内核、专家并行、DSpark 投机解码、结构化输出、批次不变与确定性采样(仅 NVIDIA),目标是让自建部署与官方 API 行为对齐;但只支持 V4.1-Flash、只支持 NVIDIA SM100 与昇腾 950,KV 缓存、分离部署和负载均衡不在本次发布内,README 未给具体性能数字。速览:Anthropic S-1 草稿(Reuters 转述 WSJ)、Claude 蝎毒素结合蛋白(非抗毒血清)、OpenAI 收购 Orchestra Bio;玩法:Claude Code 给电视去广告、Voxtral 3 情绪可控 TTS、5 万条假统计的警示。
# AI 日报 · 2026-10-21:DeepSeek 把"官方怎么跑"交出来了:DeepInfer 开源的是一致性,不是整座机房
自己部署一个开源模型,最常见的抱怨不是"跑不起来",而是"跑起来了,但和官方 API 不太一样":同一个问题,回答的格式、工具调用、思考长度、甚至结构化输出的稳定程度,都对不上。10/20,DeepSeek 开源了自家线上推理框架 DeepInfer,同时开源了一个叫 deepseek-recipe 的编解码组件。今天这期只讲一件事:当厂商公开的不只是权重,而是"官方线上怎么服务这个模型",自建部署能和官方对齐到什么程度、还差什么。
> 本期素材:Hacker News + X(仅 API 检索)+ 媒体。本期没有 Reddit 素材。
主线:DeepInfer 开出来了什么
事实等级:官方一手(GitHub 仓库 README 与依赖文件、@deepseek_ai 官方 X 串,10/20)。 原文:DeepInfer 仓库 · deepseek-recipe 仓库 · DeepSeek 官方 X 串
DeepSeek 的说法: DeepInfer 是"支撑 DeepSeek 大规模线上服务的高性能推理框架",这次开源的是离线推理部分,带"规模化服务所需的核心功能";官方 X 串说它"以高吞吐、低延迟支撑 V4.1-Flash",并说未来 DeepSeek 新模型的推理代码和后续优化也会放在这个仓库。许可是 Apache-2.0(我们看了仓库元数据和 README)。README 致谢里写明,DeepInfer 最初主要基于 vLLM 构建,也参考了 SGLang 和 TensorRT-LLM。它是 10/20 Hacker News 当天第一(截至 10/21 晚约 2270 分、870 条评论);GitHub 上截至我们查看约 1.69 万星。
它装了什么(README 列表,原样转述)
- 内核: FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect,加上仓库里自带的 TileLang 算子。
- 并行: 注意力层数据并行 / 均衡上下文并行,MoE 专家并行 + 专家负载均衡(EPLB)。
- DSpark 投机解码: 先出草稿 token,再按置信度安排验证;默认最大草稿长度 5。
- SWA 有界重放: 只重放一段有限的后缀来减少预填充工作,README 给了 V4.1 的默认参数。
- 异步调度: CPU 排批次和设备计算重叠,默认开启。
- 批次不变推理 + 确定性采样: 同样的输入 token 和采样参数,得到同样的输出,不受同批次里别的请求影响。README 标明这两项仅限 NVIDIA。
- 结构化输出: 用正则、JSON Schema 或 EBNF 语法约束生成。
这次真正新鲜的,是"对齐"
权重早就能下载(V4.1-Flash-1017 在 Hugging Face 上是 MIT 许可)。这次补上的是两块平时最难猜的:
- deepseek-recipe:把请求变成 prompt、把输出变回 API 响应。 官方 X 串的说法是:这是他们"生产环境的 token 编解码组件,与官方 DeepSeek API 背后的处理逻辑对齐,让社区部署得到同样的 API 行为"。仓库 README 写的范围包括:把 Messages / Chat Completions / Responses 三种格式的请求统一转换、渲染成 V4 和 V4.1 的 prompt,解析思考内容、工具调用、JSON 输出,以及默认
max_tokens(非思考 8192、思考 65536、思考且 max 强度 131072)。它是 Rust 库加 Python 绑定,推理本身、工具执行和 HTTP 层要调用方自己提供。README 还提醒:图片组件默认会去连任何地址,处理不可信请求的服务要自己装目标过滤。 - 确定性: 批次不变 + 固定种子的确定性采样,意味着自建服务可以做"同输入同输出"的回归测试。注意这是 NVIDIA 专属功能,昇腾路径上 README 没写支持。
"和官方 API 行为一致"是 DeepSeek 的说法,我们没有做对比测试。
它没装什么(README 自己列的)
README 明确写了,一套完整的推理服务还需要、但这次没包含的三样:
- KV 缓存系统;
- 视觉编码 / 预填充 / 解码的分离部署(README 说"大部分所需引擎功能已实现");
- 预填充和解码两侧、跨数据并行副本的负载均衡。
所以这次开源的是"发动机和变速箱",不是"整座机房的调度系统"。想做成对外的在线服务,这三块要自己补或者找别的组件。
谁能用:硬件写得很窄
- 支持的硬件只有两类:NVIDIA SM100 GPU、华为昇腾 950 NPU。 SM100 对应的是数据中心级的 Blackwell(如 B200 / GB200 这一代,这是我们的对照,README 只写 SM100);README 没有列消费级显卡,也没有列更早的 Hopper。
- 环境要求:Linux、GCC 13 以上、Python 3.12;NVIDIA 路径要 CUDA 13(依赖文件里是 torch 2.13 的 cu132 版和 flash-attn-4 测试版),昇腾路径要 CANN 9.2(依赖文件里是 torch-npu 2.13 的预发布版)。
- 支持的模型只有一个:DeepSeek-V4.1-Flash(默认 checkpoint 是 V4.1-Flash-1017)。Hugging Face 的元数据显示这个 checkpoint 约 7630 亿参数(以 INT8 和 FP8 为主)。
- README 的性能图是在"4 块 SM100 做预填充、64 块做解码,各自在一个 scale-up 域内"测的,附了复现脚本;正文没有给出具体吞吐或延迟数字,我们也不从图里读数。官方 X 串只有"高吞吐、低延迟"的定性说法。
我们的读法: 能直接用上 DeepInfer 的,是手里有 Blackwell 集群或昇腾 950 的云厂商、大企业和研究机构。个人想在本地跑 V4.1-Flash,走的是另一条路(比如 Unsloth 10/20 说他们的动态 GGUF 可在 128GB 内存上跑,那是 llama.cpp 路线、量化后的模型,和 DeepInfer 无关,也是 Unsloth 的自述)。但 deepseek-recipe 的门槛低得多:任何自己搭推理后端的人,都可以拿它来让接口行为向官方靠拢。
新闻速览
- Anthropic S-1 草稿(二手:Reuters 转述《华尔街日报》): 据 Reuters 转述 WSJ 看到的招股书草稿,Anthropic 2026 上半年收入 163 亿美元(去年同期 11 亿),净亏损超过 800 亿美元,其中约 720 亿是与可转换票据等融资工具估值变动相关的会计费用。WSJ 原文付费,我们没有直读;Anthropic 未回应 Reuters。Anthropic 6/1 官方宣布已向美国证券交易委员会秘密递交招股书草稿,截至 10/21 我们没查到公开的 S-1,所以这些数字都只是二手转述,正式公开前可能变化。
- Claude 设计蝎毒素结合蛋白(Anthropic 官方,10/20): Anthropic 说,内部研究模型在 Claude Science 里基本自主工作 64 小时(期间人工追问 4 次),生成 318,484 个设计,选 180 个、团队再加 31 个,共 211 个交给 Adaptyv Bio 和 Twist Bioscience 实测,17 个达到结合标准;211 个设计和数据全部公开。Anthropic 明确说没有验证它们能否中和毒液,不声称做出了抗毒血清。
- OpenAI 收购 Orchestra Bio(OpenAI 官方,10/20): 团队和平台并入其生命科学产品线 Rosalind;Orchestra 做的是帮药企盯研发进度、排查延误的智能体。金额未披露(Axios、TechCrunch 同样报道)。
玩法
1. 用 Claude Code 给智能电视"减负"。 GadgetReview(10/19,转述 TechCrunch)
- 报道介绍了两个开源工具:Dumbtv(Fire TV、Android/Google TV 等)和 Cleanyourtv(通过 Wi-Fi 操作,免 root,设计上可恢复出厂)。Cleanyourtv 的作者用 Claude Code 去掉了家里电视的广告和杂项,再把方法公开;目标包括界面广告和 ACR(自动内容识别,按画面或声音指纹识别你在看什么)。
- 报道同样写了风险:AI 可能认错固件版本或依赖,至少有一例用户自述电视改完无法使用(未经核实的个案);禁用系统包可能影响遥控、HDMI-CEC、投屏等。报道建议先试第三方启动器和系统自带的隐私设置(如三星的"Viewing Information Services"、LG 的"Live Plus")。
2. Mistral Voxtral 3:可控情绪的 TTS 和 30 分钟声音复刻。 Mistral 官方(10/20)
- Voxtral Mini TTS 3 支持 35+ 语言、50+ 方言,也能根据上下文自己判断语气;标价每百万字符 13 美元。
- 逐段控制情绪和语速: Mistral 文档写明,在输入文本里插
[emotion=happy]、[pace=slow]这样的内联标签(可连写,如[emotion=calm][pace=slow]),标签不会被读出来,作用到下一个标签或文本结尾;情绪有 34 个可选值,语速 5 档。文档还提醒,长句前加情绪标签可能让音频在逗号处提前结束。 - Pro Voice 用约 30 分钟录音复刻说话人的音色和风格;另有基于 LiveKit 的语音智能体 SDK。可走 Mistral 的托管 API(欧洲、美国和全球节点),也可自部署。
- 公告里提到的"重音"控制,文档里没有对应标签;整段的"风格指令"参数文档写明首发时不可用。音质和"优于某某"的对比都是 Mistral 自测,我们没有试用。
3. 当作警示:5 万条假统计,被 ChatGPT 引用了 7 个月。 Peec AI 博客(作者自述实验,文章 10/7)
- 作者说,他用 GPT-4.1 一天生成 5 万个统计页面("每个数字都是编的,一个都没核对"),花了约 50 美元;Google 很快不再收录,但 7 个月后 ChatGPT 仍在实时抓取这些页面,带来 1 万多次 AI 会话,330 多个网站链接过它,编造的数字还进了一篇论文和一份银行研报。这些数字都是作者自述,我们无法核实。
- 作者自己也写了"不要发布假内容"。对读者的提醒很简单:AI 搜索给出的统计数字,引用前先找到原始出处。
今天的结论
- 开源权重回答的是"模型是什么",开源推理栈回答的是"官方怎么用它"——这次最实用的是"和官方行为对齐":编解码、结构化输出、确定性采样。
- 但对齐是有边界的:只支持 V4.1-Flash,只支持 SM100 和昇腾 950,确定性只在 NVIDIA 上,KV 缓存、分离部署和负载均衡没在这次的包里。
- 没有公布的数字,就不要替它补上:README 只有性能图和复现脚本,"快多少、省多少"要等有人用同样的硬件复现。
<!-- social drafts (local only): xhs=/workspace/ai-daily/work/2026-10-21/out/xhs.md wechat=/workspace/ai-daily/work/2026-10-21/out/wechat.md -->