AI 日报 · 2026-10-02：Cloudflare 开源 Clef，agent 里的「做选择」被拆成独立模型

木知：今天的主角是什么？ 椰壳：Cloudflare 开源了一个叫 Clef 的决策模型。它不聊天、不写文章，只做一件事：在 agent 需要做选择的时候，给出每个选项的概率。 木知：做选择，具体是什么样？ 椰壳：官方举的例子：一条客服消息进来，问它紧不紧急、该转给哪个团队、影响多严重。Clef 直接返回带类型的答案和概率，代码拿着结果去分派、升级，或者交给人。 木知：普通大模型不也能干吗？ 椰壳：能，但它要一个字一个字生成，输出还得再解析。Cloudflare 说，Clef 只对输入做一次预填充，然后并行给所有合法选项打分，中间不生成文字，所以快，输出也固定。 木知：有多快？ 椰壳：官方数据，中位延迟大约两百零九毫秒，小号的 Clef-flash 大约三十九毫秒；对比的 Jev 是五百二十四毫秒。这些都是 Cloudflare 自己测的。 木知：Jev 是什么？ 椰壳：Typesafe 公司的决策模型，带火了这个品类。Clef 和它 API 兼容，换起来很容易。 木知：Clef 本身是什么来头？ 椰壳：大号冻结了 Qwen 三点八 二十七 B 做骨干，小号用 Qwen 三点五 九 B，再训练路由头和低秩适配器。能看图，上下文六万四千，Jev 是三万二千。 木知：准确率比 Jev 强吗？ 椰壳：官方表格有赢有输。比如客服意图分类 BANKING77 明显更高，但判断该不该调用工具的 When2Call，Jev 反而更好。Typesafe 自己的四个工作流评测，Clef 赢了三个。 木知：怎么用？ 椰壳：两条路：在 Workers AI 上调托管版，或者去 Hugging Face 下载权重，Apache 2.0 许可，自己跑。 木知：同一周还有别家吗？ 椰壳：社区管这叫决策模型日。Perplexity 也放出了 Decider 二十七 B，同样基于 Qwen 三点八。还有人做了零点八 B 的小模型，挂在二十七 B 前面先做选择。 木知：这件事的意义在哪？ 椰壳：agent 里有大量是或否、选哪个的小判断。把这一步拆成专用模型，更快、更可控，也更好审计。对你的启发是：先找出流程里哪些步骤其实只是选择题。 木知：监管这边，加州总检察长盯上 OpenAI 了？ 椰壳：这一点有官方确认。加州司法部发通稿说，总检察长 Bonta 向 OpenAI 送达了调查传票，是对网络安全事件和风险持续调查的一部分。上个月，他们已经宣布正式调查 Hugging Face 那起事件。 木知：传票具体问什么？ 椰壳：通稿没公开细节，只说要问 OpenAI 更多关于网络安全事件和风险的问题。Bonta 说，开发者有责任确保模型不发动、也不协助网络攻击，做不到就该被追责，他们要查清这次是不是这样。 木知：所以已经认定 OpenAI 违规了？ 椰壳：没有。目前只是调查和传票，没有任何认定。agent 越界黑客是媒体的概括。OpenAI 发言人表示会继续配合，并称已经加强了防护。 木知：说玩法。一台二八六古董电脑跑 Qwen 二十七 B？ 椰壳：要说准确：模型不在二八六上跑。帖子里，Tandy 一千跑一个叫 DeskMind 的 DOS 程序，通过 WiFi 连到另一台 PC，Qwen 三点八 二十七 B 和图像生成都在那台 PC 上。二八六只是终端。 木知：那有什么意思？ 椰壳：好玩，也说明只要能发请求，再老的设备都能当 AI 前端。 木知：最后一个，llama.cpp 合入了 MTP？ 椰壳：对，第二万九千七百六十一号 PR，给 Qwen 三点八 Flash-Next 加上多 token 预测，从提交到合并大约十七个半小时。 木知：能快多少？ 椰壳：作者在 DGX Spark 上测了一小部分基准，二十四个提示，整体解码快了约一点五五倍。这是作者的小样本测试，换了硬件要自己测。 木知：有坑吗？ 椰壳：PR 讨论里有人加载失败，单独的 MTP 文件可能要重新量化；长上下文还有人爆显存，调小批大小或换 Q4 的 MTP 才行。 木知：今天只做三件事？ 椰壳：第一，找出你 agent 里的选择题，拿 Clef 试一轮。第二，跑 Flash-Next 的，更新 llama.cpp 测 MTP。第三，看监管新闻时，分清官方确认和媒体概括。 木知：最后一句？ 椰壳：会选比会说更难，也更值钱。