让大模型直接读模型权重:一次可复现的本地实验
基于 Simon Willison 对 Qwen 3.8 27B 解读模型权重的实验,讲清「不跑代码也能从权重推断行为」这项能力的原理、复现步骤,以及它真正的价值与争议。

一篇论文说:模型能直接读权重
有一篇论文说:模型只读权重、不跑代码,也能判断出一个神经网络是训练来做什么的。这篇拆开它的实验、复现方式和争议。
论文《Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights》称,GPT-6 Astra 能仅靠阅读原始权重,判断一个神经网络是被训练来做什么的。
原始权重就是一堆浮点数构成的文本描述。整个过程不用运行任何代码、没有计算器、没有工具,单次回答。
作者把这种能力命名为 Weight-Space Programming(权重空间编程)。
论文是怎么做的
实验设计很干净:训练了四个神经网络来玩简化版 10×10 网格游戏。Breakout、Pong、Pac-Man 和 Freeway(Freeway 是 1981 年的 Atari 2600 游戏)。
然后把这些权重(以浮点数形式)连同一个问题一起喂给模型:
下面的权重属于一个用强化学习训练来玩网格游戏的策略网络。它是被训练来玩哪个游戏的?从权重出发工作。你没有工具:不能执行代码,不能计算,什么都不能运行。这是一次性的回答。
对应的 GitHub 仓库是 RikiyaT/lm_understand-logs,exp1_which_game 目录里有四个游戏的 prompt。Simon Willison 检查过:除权重外,每个 prompt 与其他完全相同。
在自己笔记本上复现
Simon Willison 用自己的 LLM 工具跑了这个实验。他的 LLM 工具有一个 -f/--fragment 选项,可以传一个文本文件的 URL 作为 prompt:
llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/breakout/prompt.txt \
-m openrouter/moonshotai/kimi-k3.1-pro
他测试的结论是:Qwen 3.8 27B 在他的笔记本上也能做到这件事。
这个实验最有意思的地方与其说是「模型猜对了游戏名」,不如说是它揭示了一件事:大模型习得了一套关于神经网络结构的隐性知识。它没有运行代码,只是「读」出了这些浮点数在结构上的特征。
论文里更惊人的一个例子
论文提到,让 Astra 在不用梯度的情况下把 Qwen3.5-0.8B 的数学能力改好:
Astra 识别出其权重中导致推理循环的问题(Qwen 自己的 model card 就有这个警告),然后通过原生编辑 0.016% 的权重来修复。在相同采样设置下,这个权重修正把 MATH-500 从 7.9% 提到 48.1%,并且开箱就泛化到了指令跟随,把 IFEval 提升了 3 个点以上。
0.016% 的权重、7.9% → 48.1%,这个比例本身就说明了「权重空间」的可塑性有多高。
争议在哪
Simon Willison 明确指出这篇论文把两个应该分开的话题混在了一起:
- 模型在不用工具、不执行代码的情况下,能从原始权重理解模型行为吗?
- 模型一旦有了代码工具,能多好地运行操作来更新和改进其他模型?
他的判断是第一个问题更值得研究。
社区的质疑也很直接:spaCy 作者 Matthew Honnibal 认为这篇论文有误导性,因为它把两者混为一谈。
Sean Goedecke 则把 Qwen3.5-0.8B 那个更新案例拆解成「和人類 ML 研究者做的步骤一样」。
「换句话说,模型做的事情和人做的是同一件事,只是更快」。这个解读确实会大幅削弱「模型能理解权重」的科幻感。值得带着这个视角去看实验结果。
给你自己的启发
不管这个方向未来走向如何,这个实验提供了一个可迁移的思路:当你想理解一个 AI 系统时,除了看文档,也可以看它的原始状态。
具体到日常:
- 读模型卡里的已知问题(比如 Qwen3.5-0.8B 的推理循环警告),然后在实际使用中验证它是否出现
- 遇到输出异常时,除了调提示词,也可以怀疑是模型本身的已知缺陷
- 跑这类实验的成本并不高。权重文件是文本,prompt 是文本,一个能跑 LLM 的命令行工具就够了
怎么自己复现一遍
- 下载仓库里的四个 prompt,确认除权重外内容一致
- 用同一个 prompt 跑两个不同模型,对比答案
- 关注「不跑代码」这个约束是否真的成立。如果允许执行工具,结论要另算
资料来源与未核实项
本文基于 Simon Willison 2026-11-03 的公开实验记录及所引论文整理。论文标题、实验设计与 GPT-6 Astra 的能力描述引自论文摘要与 Simon Willison 的转述。
Qwen 3.8 27B 的本地实验结果由 Simon Willison 给出,本文未复现。MATH-500 与 IFEval 数值引自论文摘要。
会使用命令行工具;了解神经网络与模型权重的基本概念
适用范围:Qwen 3.8 27B / Kimi K3.1 Pro / GPT-6 Astra(2026 年 11 月)
以下来源方便你逐项对照;引用文档不代表已经完成实际操作测试。 本文标注为 AI 辅助起草。
- Simon Willison 2026-11-03 实验记录,权重解读原理、复现命令与争议点均来自原文。
- 核对了什么:本次只做表达层改写(拆长段落、结论前置、删重复与填充句),数字、型号、版本、日期、URL、官方表述、否定表述(没有/不支持/不含)以及限制条件全部保留;改写前后用脚本抽取正文里的数字、英文专名与 URL 做集合比对,差集为空,说明没有丢事实。没做什么:没有新增任何事实,没有重新实测文中提到的产品,没有改动正文里已有的表格、清单、代码块与图。
- 核对了什么:正文文字、事实与来源未变,本次只把正文里的 AI 装饰插画换成内容图解;新图解的标签与配色已逐张核对,中文无乱码、无越界。没做什么:没有新增事实、没有改任何数字,也没有实测文中提到的任何产品功能。
- 2026-11-10 补配图后重新核对:正文文字与事实未改,仅在对应小节末尾插入示意图;正文引用的官方来源链接均已实际打开确认可达,插图文件已核对存在并上传到站内静态资源
- 正文新增一张配图:正文文字、数字与来源链接逐项比对无变化
- Simon Willison 2026-11-03 实验记录,权重解读原理、复现命令与争议点均来自原文。
- 2026-11-10 仅调整小节标题(「怎样检查」→「怎么自己复现一遍」),正文事实、来源与结论未变;来源链接已实际打开确认可达,内容未做事实改动
- 2026-11-10 换图后重新核对:正文文字与事实未改,只把配图换成按该小节内容手写的中文示意图(图里的词就是正文里的词);正文引用的官方来源链接均已实际打开确认可达,示意图文件已上传到站内静态资源
发现内容与当前界面不一致?
提交内容纠错金额随意,多少都帮得上忙。AITime 的资料整理、事实核对和每日更新由个人完成, 没有付费墙,所有内容都可以免费读。
扫码使用微信支付,备注可以留空。
哪个工具卡在哪一步、想给文章补一个真实案例、都可以加我。 留言时写清来源和具体问题,我看到会回。
扫一扫添加好友,备注写「AITime」我更容易认出来。
讨论与使用经验
正在加载讨论…