AI 日报 · 2026-10-13:把大模型拆进小设备,15 台电视盒子每秒 0.39 个 token,一部手机每秒 13 个
Anthropic 红队用 15 台约 55 美元电视盒子跑 Gemma4-26B(0.39 tok/s),研究小模型在 IoT 上自我复制:端到端复制仅在未鉴权 ADB 的模拟网络中由 GLM-5.2 完成,“今年底”为外推;同日 MiniCPM-V 4.7 35B-A3B 用前瞻专家调度在 iPhone 17 Pro Max 上跑到 13+ tok/s(官方,Apache-2.0)。玩法:Kindle 相框先给 agent 一双眼睛、levelsio 的 2006 年 MSN 机器人;简讯:Muse Wonder、Anthropic 防蒸馏、代码多软件没多、Torvalds 补丁、Maia 300。
收听
节目文稿
# 椰木知 · AI 日报|2026-10-13 播客脚本
木知:今天开场是个画面:十五台五十五美元的杂牌电视盒子,连成一串,一起跑一个 AI。 椰壳:每秒吐零点三九个 token。这是 Anthropic 前沿红队自己买、自己搭的。 木知:零点三九,一句话得等半分钟吧? 椰壳:差不多。但他们想测的不是快不快,而是 AI 能不能借这种便宜设备,把自己复制出去。 木知:听着有点吓人。先说清楚,这事发生了吗? 椰壳:没有。原文写的是可能还有几个月,是按小模型进步速度外推出来的预测。 木知:那他们实际做了什么实验? 椰壳:第一步,看小模型能不能在陌生硬件上自己搭起推理。九B 的千问,九类硬件里跑通了八类。 木知:第二步呢? 椰壳:端到端复制。注意,这是在一个隔离的模拟网络里,八台跑安卓模拟器的云节点,调试端口故意没设密码。 木知:等于门是开着的。 椰壳:对,作者自己也说这是上限。测试的开源模型里,只有 GLM 五点二稳定做到,五次里四次传遍八台。 木知:那离真正的小设备还差在哪? 椰壳:两条线:模型得够聪明,会搭推理;还得够小,塞得进四 G 内存的盒子。现在这两条线没交汇,他们外推今年底可能交汇。 木知:就算交汇了,规模有多大? 椰壳:他们拿一个两百多万台设备的僵尸网络估算,全换成 AI,也就约等于四十张 H100,复制一次要一两天。 木知:慢,但难清除。 椰壳:原文比喻成黏菌。好消息是它会在网络流量上留痕迹,运营商能发现、能隔离。 木知:好,这是一面。另一面呢? 椰壳:同一天,面壁智能开源了 MiniCPM-V 四点七,三百五十亿参数,官方说在 iPhone 17 Pro Max 上每秒十三个以上 token。 木知:三十五 B 塞进手机? 椰壳:它是混合专家模型,每个词只用到大约三 B。其余专家放在手机存储里,不占内存。 木知:那用到的时候再读,不会卡吗? 椰壳:这就是它的新招,前瞻专家调度。先猜下一层要哪些专家,提前读;算的时候先算读好的,边算边读剩下的。 木知:猜错了呢? 椰壳:照常读进来。真正选哪些专家还是模型原来说了算,所以官方说不影响能力。 木知:许可证呢? 椰壳:Apache 2.0,能商用。有网友用 3090 自测,三十二 K 上下文每秒九十一个 token,这是个人单机数据。 木知:所以两件事放一起,一边每秒零点三九,一边每秒十三。 椰壳:差别在有没有人专门为这台设备优化。红队担心的,是有一天模型能自己做好这件事。 木知:来点轻松的玩法。 椰壳:有人把吃灰的 Kindle 改成相框。他换了三家模型,最后是 GPT-6 Astra 做成的。作者改的是自己的设备,我们不当教程讲。 木知:最有意思的地方是什么? 椰壳:一开始 agent 让他拿手机拍屏幕发过去。后来他让 agent 自己读日志、远程截屏,它就能自动改 bug 了。 木知:给 agent 一双眼睛。 椰壳:但截屏看不到墨水屏的残影,最后还得人眼确认。 木知:还有一个彩蛋? 椰壳:levelsio 做了个网页版 XP,里面的 MSN 机器人,按他的说法真心以为自己活在二零零六年。 木知:新闻快过。 椰壳:Meta 发了首个闭源模型 Muse Wonder,跑分是自报,Every 的私有基准上它百分之五十二,GPT-6.1 Sol 七十一。Anthropic 说它的防蒸馏措施让抽走的数据少了九成以上,并点名智谱,这是单方说法。 木知:还有吗? 椰壳:哈佛研究说,用了编程 agent 代码多了三成,软件却没多;Torvalds 用 Claude Code 写了个内核补丁;微软发了 Maia 300 芯片。 木知:好,今天就到这儿,我们明天见。