模型 · 源头能力
权重读得懂、也写得动：从一篇博客论文到一台笔记本
11 月 2 日，MIT CSAIL 四位作者发布了一篇“论文形状的博客”：GPT-6 Astra 只凭文本形式的浮点权重就能认出网络被训练来玩什么游戏（4 个全对），还能不写训练循环直接改权重——把 0% 的策略修到 100%，或只动 0.016% 的权重把 Qwen3.5-0.8B 的 MATH-500 从 7.9% 提到 48.1%。11 月 3 日，Simon Willison 在笔记本上复现了“读”的一半：本地 Qwen 3.8 27B 无工具认出 4 个游戏中的 3 个，单局 46–65 分钟，Freeway 猜错；Kimi K3.1 Pro 经 OpenRouter API 9 分 41 秒猜中——它的权重截至本稿仍未发布。
本文依据 MIT CSAIL 四位作者的博客论文《Sparks of Weight-Space Programming》（2026-11-02，作者自述为博客论文、无同行评审）与 Simon Willison 11 月 3 日的公开测试帖写成；Astra 读写权重的全部数字为论文口径，27B 与 K3.1 Pro 的结果为作者公开调用记录，本站均未复现，未下载任何权重，也未运行模型。论文作者自列限制：上下文长度与 harness 低效、sycophancy 读取失败、无法给模型添加它没有的能力。
论文与复现：两天里的两级台阶
第一级是 11 月 2 日：MIT CSAIL 的四位作者（Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab，前两人同等贡献）把一篇论文形状的东西发在网上，标题是《Sparks of Weight-Space Programming：LLM 能原生读写神经网络权重》。它自称博客论文（引用格式标注 Blog post），没有同行评审；做实验的是 GPT-6 Astra——只给文本形式的浮点权重，不给任何工具、不许跑代码，Astra 能认出网络被训练来玩什么游戏，还能直接改权重：不写训练循环，把一个卡在 0% 的强化学习策略修到 1,024 回合 100% 通过。
第二级是 11 月 3 日：Simon Willison 在笔记本上复现了“读”的一半。他把两个问题分开——无工具能做什么、有代码能做什么——自己只测第一个。本地跑 Qwen 3.8 27B（Q4_K_M 量化，约 17GB，LM Studio，长上下文与 900 秒超时），把论文仓里四个游戏的权重提示词原样传入，无工具、单次回答；同样的提示词也发给 Kimi K3.1 Pro（经 OpenRouter 的 moonshotai/kimi-k3.1-pro，API 路线——因为 K3.1 Pro 的完整权重截至本稿仍未发布，本站 11 月 4 日晨复核过官方仓）。
来源与延伸阅读
- Takehi、Teoh、Zhang、Khattab（MIT CSAIL）：Sparks of Weight-Space Programming博客论文 · 2026-11-02 · 本站 11-04 全文读取主张与全部论文数字的出处：Astra 无工具读权重——四个 17,253 权重的 PPO 网络 4/4 认出游戏、扩散形状、7.2M 中间层 char transformer 三语言全对并找到归纳头（Python 2.1/3.1/3.5）、Gemma 3 270M sycophancy 权重读取 0/4 失败但注意力模式 3/3；写——Kinetix 车坡修复 0%→100%（171,664 权重改 3.5%、1,024 回合）、从零写 MinAtar 网络胜 PPO 1 亿步（Breakout 17.4 vs 15.8、Seaquest 53.1 vs 5.6、Asterix 53.2 vs 25.8）、Go 网络 1.48M 权重（Python 沙箱）、Qwen3.5-0.8B 层 15/19 MLP 方向修复（131,072 权重=0.016%）：MATH-500 7.9→48.1、GSM8K 13.8→67.1、IFEval 21.0→62.3；Gemma 270M 无法添加能力。作者自列限制与“sparks”定调。引用格式明确标注 Blog post。
- Simon Willison：Qwen 3.8 27B on my laptop can interpret model weights, too作者公开测试 · 2026-11-03 · 本站 11-04 全文读取笔记本复现与边界表述的出处：Qwen 3.8 27B（Q4_K_M 约 17GB，LM Studio，长上下文与 900 秒超时）无工具读权重：Pac-Man 46m12s/43,506 推理 token/置信 72%，Pong 1h4m54s/75%，Breakout 52m25s/88%，Freeway 猜成“类吃豆人网格游戏”；推理轨迹“几乎无法读懂”；K3.1 Pro 经 OpenRouter（moonshotai/kimi-k3.1-pro）9m41s/19,493 推理 token 猜中 Breakout（结果公开于 gist）；他先读了 Weight-Space Programming 论文并分离“无工具/有代码”两个问题；引用 Honnibal（混题）与 Goedecke（重复人类步骤）两条批评；收尾明确不宣告“源代码时代结束”。
两种操作：读出了什么，写出了什么
读：四个同形状的 PPO 策略网络（每个 17,253 个权重），对应 10×10 网格上的 Breakout、Pong、Pac-Man、Freeway——Astra 无提示选项，4 个全对。同一套“读”还测了：扩散模型生成圆/方/三角的网络；7.2M 参数的中间层 char transformer（去掉输入输出层），三语言全对并精确找到归纳头（Python 2.1/3.1/3.5，与真值一致）；以及两个被微调出谄媚行为的 Gemma 3 270M——这次权重读取 4 次全败，换成注意力模式 3/3 成功。读写既有成功也有失败，这是论文自己的结论形状。
写：修复与从零写网络。修复的例子是 Kinetix 里的车坡任务——策略卡在 0%，Astra 定位问题方向，改 171,664 个权重中的 3.5%，1,024 回合从 0% 到 100%；从零写的三个 MinAtar 网络胜过训练了 1 亿步的 PPO（Breakout 17.4 vs 15.8、Seaquest 53.1 vs 5.6、Asterix 53.2 vs 25.8）；Go 网络经 Python 沙箱写出 1.48M 权重，零次前向也能赢一半以上。压轴是 Qwen3.5-0.8B 的数学修复：定位到层 15/19 的一个 MLP 方向导致推理循环，从 64 个输出列减去它（131,072 个权重，占 0.8B 模型的 0.016%），MATH-500 从 7.9% 到 48.1%，GSM8K 13.8%→67.1%，IFEval 21.0→62.3（约 3 倍）。
| 实验 | 实物与规模 | 结果 |
|---|---|---|
| 读 · 游戏识别 | 4 个 PPO 网络，各 17,253 权重 | Astra 4/4 命名正确 |
| 读 · 中间层语言 | 7.2M 参数 char transformer ×3 语言 | 三语言全对＋归纳头精确命中 |
| 读 · 谄媚检测 | 2 个 Gemma 3 270M 微调副本 | 权重 0/4 失败；注意力模式 3/3 成功 |
| 写 · 修复 | Kinetix 车坡，171,664 权重改 3.5% | 0%→100%（1,024 回合） |
| 写 · 从零写网络 | MinAtar 三网络零样本写出 | 胜 PPO 1 亿步（如 Seaquest 53.1 vs 5.6） |
| 写 · 数学修复 | Qwen3.5-0.8B，131,072 权重（0.016%） | MATH-500 7.9→48.1；IFEval 21.0→62.3 |
来源与延伸阅读
- Takehi、Teoh、Zhang、Khattab（MIT CSAIL）：Sparks of Weight-Space Programming博客论文 · 2026-11-02 · 本站 11-04 全文读取主张与全部论文数字的出处：Astra 无工具读权重——四个 17,253 权重的 PPO 网络 4/4 认出游戏、扩散形状、7.2M 中间层 char transformer 三语言全对并找到归纳头（Python 2.1/3.1/3.5）、Gemma 3 270M sycophancy 权重读取 0/4 失败但注意力模式 3/3；写——Kinetix 车坡修复 0%→100%（171,664 权重改 3.5%、1,024 回合）、从零写 MinAtar 网络胜 PPO 1 亿步（Breakout 17.4 vs 15.8、Seaquest 53.1 vs 5.6、Asterix 53.2 vs 25.8）、Go 网络 1.48M 权重（Python 沙箱）、Qwen3.5-0.8B 层 15/19 MLP 方向修复（131,072 权重=0.016%）：MATH-500 7.9→48.1、GSM8K 13.8→67.1、IFEval 21.0→62.3；Gemma 270M 无法添加能力。作者自列限制与“sparks”定调。引用格式明确标注 Blog post。
笔记本上的验证：慢、三对一错
结果要按时间读：Pac-Man 对，用 46 分 12 秒、43,506 个推理 token，置信度 72%；Pong 对，1 小时 4 分 54 秒，75%；Breakout 对，52 分 25 秒，88%——三局都没错，但每局以十分钟到一小时计；Freeway 猜成“类吃豆人的网格游戏”，错了。Willison 描述推理轨迹“几乎无法读懂”，并说一个耐心的工程师用纸笔大概率也能做到；他早前 8 月的帖子里称 27B 是“我最喜欢的本地模型”。同一提示词发给 K3.1 Pro：9 分 41 秒、19,493 个推理 token 猜中 Breakout。
分数与任务的口径要分开。Qwen3.8 27B 在本站综合榜（AA v5.0）只有 20 分、K3.1 Pro 是 46 分——但 AA 指数不评测“无工具读权重”这件事：一篇 AA 20 分的模型做对了 4 局里的 3 局，正说明综合分数和特定任务各说各话；两个口径不能混算，也不据此推算任何排名。
来源与延伸阅读
- Simon Willison：Qwen 3.8 27B on my laptop can interpret model weights, too作者公开测试 · 2026-11-03 · 本站 11-04 全文读取笔记本复现与边界表述的出处：Qwen 3.8 27B（Q4_K_M 约 17GB，LM Studio，长上下文与 900 秒超时）无工具读权重：Pac-Man 46m12s/43,506 推理 token/置信 72%，Pong 1h4m54s/75%，Breakout 52m25s/88%，Freeway 猜成“类吃豆人网格游戏”；推理轨迹“几乎无法读懂”；K3.1 Pro 经 OpenRouter（moonshotai/kimi-k3.1-pro）9m41s/19,493 推理 token 猜中 Breakout（结果公开于 gist）；他先读了 Weight-Space Programming 论文并分离“无工具/有代码”两个问题；引用 Honnibal（混题）与 Goedecke（重复人类步骤）两条批评；收尾明确不宣告“源代码时代结束”。
- Artificial Analysis 综合能力榜独立榜单 · 11-04 整表回读用于站内参照与口径警示：Qwen3.8 27B 在 AA 综合能力指数 v5.0 下 xhigh 档为 20 分，Kimi K3.1 Pro 为 46 分（11 月 4 日整表回读；Carbon/Opus/Astra/Sol 等 26 行与 11-03 观察一致，4 行 +1：Carbon 60、Wonder 44、DeepSeek 1017 33、Ling 1019 30）；综合分数不评测“无工具读权重”这件事，两个口径不能混算。
- Hugging Face moonshotai 组织模型列表官方模型仓 · 2026-11-04 复核权重状态复核出处：moonshotai 名下最新基座仓仍是 Kimi-K3（最后修改 2026-09-02）；计划“11 月 4 日前开放”的 K3.1 Pro 完整权重截至本稿仍未出现——Willison 测试走的是 OpenRouter API 路线，本站 11 月 4 日晨经 HF API 复核。
边界与批评：sparks，不是方法
批评值得原样摆出来。SpaCy 的联合创始人 Matthew Honnibal 认为论文标题有误导——它把“模型理解权重”与“模型生成代码”两件事混在一起；Sean Goedecke 则认为 Qwen3.5-0.8B 修复一例只是重复了人类研究者本来会走的步骤（先看模型哪里循环、再定位问题方向、再减去它），论文的新颖处在于“现成的前沿模型开箱即用”这一点。
论文作者自己的限制清单同样值得照抄：上下文长度与 harness 低效；sycophancy 一例权重读取 4 次全败；无法给不循环的 Gemma 270M 添加它没有的能力——编辑只能移除障碍，不能无中生有；扩散形状被画成轮廓而非填充；他们把全部结果定调为 “sparks”。Willison 的收尾是同一克制：他不宣告“源代码时代结束”，也不认为未来是“机器用无法理解的方式改自己的权重”。
对读站内内容：10 月 31 日的 nesformer 一文是反方向——编译器算出无人训练的权重，把权重当程序跑通一台红白机；本篇是权重当数据被读、被改。合起来看，当权重可以直接读、写、跑，权重文件与源代码的边界就开始移动——两篇文章都停在同一个诚实的位置：能做，还早。
来源与延伸阅读
- Takehi、Teoh、Zhang、Khattab（MIT CSAIL）：Sparks of Weight-Space Programming博客论文 · 2026-11-02 · 本站 11-04 全文读取主张与全部论文数字的出处：Astra 无工具读权重——四个 17,253 权重的 PPO 网络 4/4 认出游戏、扩散形状、7.2M 中间层 char transformer 三语言全对并找到归纳头（Python 2.1/3.1/3.5）、Gemma 3 270M sycophancy 权重读取 0/4 失败但注意力模式 3/3；写——Kinetix 车坡修复 0%→100%（171,664 权重改 3.5%、1,024 回合）、从零写 MinAtar 网络胜 PPO 1 亿步（Breakout 17.4 vs 15.8、Seaquest 53.1 vs 5.6、Asterix 53.2 vs 25.8）、Go 网络 1.48M 权重（Python 沙箱）、Qwen3.5-0.8B 层 15/19 MLP 方向修复（131,072 权重=0.016%）：MATH-500 7.9→48.1、GSM8K 13.8→67.1、IFEval 21.0→62.3；Gemma 270M 无法添加能力。作者自列限制与“sparks”定调。引用格式明确标注 Blog post。
- Simon Willison：Qwen 3.8 27B on my laptop can interpret model weights, too作者公开测试 · 2026-11-03 · 本站 11-04 全文读取笔记本复现与边界表述的出处：Qwen 3.8 27B（Q4_K_M 约 17GB，LM Studio，长上下文与 900 秒超时）无工具读权重：Pac-Man 46m12s/43,506 推理 token/置信 72%，Pong 1h4m54s/75%，Breakout 52m25s/88%，Freeway 猜成“类吃豆人网格游戏”；推理轨迹“几乎无法读懂”；K3.1 Pro 经 OpenRouter（moonshotai/kimi-k3.1-pro）9m41s/19,493 推理 token 猜中 Breakout（结果公开于 gist）；他先读了 Weight-Space Programming 论文并分离“无工具/有代码”两个问题；引用 Honnibal（混题）与 Goedecke（重复人类步骤）两条批评；收尾明确不宣告“源代码时代结束”。