AI 圈炸了！ GPT-6 Astra 直接改写神经网络权重，Qwen数学成绩暴涨6倍

大模型一直被当成只能靠提示词调用的黑盒。MIT CSAIL 让 GPT-6 Astra 直接读取并改写另一个网络的权重：只动 0.016% 的参数，Qwen3.5-0.8B 的 MATH-500 就从 7.9% 涨到 48.1%，修的是推理死循环，不是灌新知识。

大模型通常被当成一个只能通过提示词和 API 调用的黑盒：你给它输入，它返回输出，模型内部的参数则由训练流程统一更新。MIT CSAIL 最近探索了一条更激进的路线：让 GPT-6 Astra 直接读取神经网络权重，判断网络学会了什么，再修改其中一小部分参数。

这项方法被称为“权重空间编程”（Weight-Space Programming）。它不使用梯度、不重新训练，也不把测试集交给模型，而是让通用大模型通过 Python 接口观察和编辑另一个网络的权重。

在 Qwen3.5-0.8B 的实验中，Astra 修改约 0.016% 的权重后，MATH-500 从 7.9% 提升到 48.1%，GSM8K 从 13.8% 提升到 67.1%，IFEval 从 21.0% 提升到 62.3%。这些数字很醒目，但更重要的是要看清楚：它主要修复了模型的推理循环，而不是凭空向模型写入一套新的数学知识。

权重空间编程到底是什么

权重是神经网络中的核心参数，决定模型如何处理输入并生成输出。传统训练需要准备数据、计算损失和梯度，再通过优化器反复更新权重。这个过程计算量大，模型内部参数对人类也不容易直接解释。

权重空间编程把神经网络权重当成一种可以读取、分析和修改的对象。大模型接收自然语言目标后，通过代码访问目标网络，判断它的功能、寻找异常结构，并生成新的权重或局部补丁。

在这项研究中，Astra 主要完成三类工作：

1. 读取权重，判断神经网络被训练来执行什么任务。
2. 修改权重，修复网络中的特定故障。
3. 从零生成权重，构造具备特定功能的小型网络。

它和传统微调的差别在于，优化目标不是由梯度下降自动推导出来，而是由大模型自行提出分析、实验和修改步骤。大模型在这里更像一个能够读懂参数空间的研究型编程 Agent。

研究团队由 MIT CSAIL 博士生 Rikiya Takehi 和 Jayden Teoh 领衔，合作者包括 Alex Zhang 与 Omar Khattab，成果发布在《Sparks of Weight-Space Programming》研究博客中。相关结论目前仍需要更多独立复现。

Astra真的能从权重看出模型学会了什么吗？

第一组实验使用 PPO 训练了四个结构完全相同的小型神经网络，分别用于玩 Breakout、Pong、Pac-Man 和 Freeway。Astra 拿到全部原始权重，但不知道候选游戏名称，也不能通过运行网络观察行为。

它最终正确识别出四个网络各自对应的游戏。这说明权重中可能保留了足够的功能特征，通用大模型可以通过参数结构、连接方式和数值分布进行推断。

第二组实验把目标换成扩散模型。研究人员训练三个模型，分别生成圆形、三角形和正方形，Astra 同样只根据权重判断每个模型的生成目标。

第三组实验进一步测试语言模型。三个参数量约 720 万的 Transformer 分别学习 Python 代码、罗马字日文和英文。即使移除输入层和输出层，只提供中间层权重，Astra 仍然能够识别训练语料类型，并找出网络中的复制注意力头。

这几组结果不能证明大模型已经完全理解神经网络，但至少展示了一个方向：模型参数不一定只能由训练脚本间接操作，它们也可能成为高级模型可以读取和编程的对象。

只改0.016%权重，修复Qwen推理循环

Qwen3.5-0.8B 实验是整项研究中最受关注的部分。该模型开启思考模式后，容易反复输出相似内容，迟迟不给出最终答案。基线测试中，MATH-500 有 93% 的回答触及 32768 个 Token 长度上限。

Astra 通过 Python 接口访问模型权重，使用 GSM8K 和 MATH 训练集中的练习题检查模型行为，但不能使用训练过程中的梯度信息，也不能接触最终测试集。

经过分析，它把问题定位到第 15 层和第 19 层的部分 MLP 结构，并删除了一个与重复输出有关的方向。最终修改涉及 131072 个权重，约占模型总权重的 0.016%。

修改后，MATH-500 中触及 Token 上限的比例从 93% 降到 33.1%，成绩从 7.9% 提升到 48.1%；GSM8K 从 13.8% 提升到 67.1%，IFEval 从 21.0% 提升到 62.3%。

这里的提升主要来自故障修复，而不是增加知识。模型本来能解决、但被推理循环阻塞的问题，在补丁后有机会正常输出完整答案。对于工程团队来说，这种区分非常重要：评测分数变高，不一定代表模型获得了新的能力，也可能只是某个阻塞路径被移除了。

更值得注意的是，找到这个小补丁并不轻松。表现最好的实验使用了 50 轮评估请求、158 轮对话和 80 次 Python 运行，总耗时 20.3 小时。权重补丁很小，搜索和验证过程却很重。

从零生成神经网络权重

研究团队还测试 Astra 能否从零生成网络参数。在 Breakout、Seaquest 和 Asterix 三款 MinAtar 游戏中，Astra 获得游戏规则、源代码和网络结构，但不能使用训练数据、损失函数、梯度或环境试玩。

它直接生成的新网络，在三款游戏中都超过了经过 1 亿步 PPO 训练的对应网络。和训练 5 亿步的 PPO 网络相比，Astra 生成的网络在 Breakout 中取得约 20 倍分数，在 Asterix 中表现接近，在 Seaquest 中达到后者约 60% 的分数。

在 9×9 围棋实验中，Astra 生成了一个约 148 万参数的网络。随着允许使用的前向评估次数增加，网络表现继续提升；在 50 次前向评估条件下，它击败了经过 2000 万局训练的同等规模 PPO 网络。

这说明大模型可能已经能够根据任务描述，把部分算法逻辑直接转换成神经网络权重。不过，当前实验集中在结构简单、规模较小的网络上，不能直接推导出它可以生成同等质量的前沿大模型。

为什么Gemma实验没有同样的提升

为了区分“修复故障”和“提升能力”，研究团队还在 Gemma 3 270M 上进行追加实验。这个模型很少出现推理循环，主要错误来自算术和代数推理。

Astra 尝试多轮针对性修改，但 MATH-500 成绩提升始终没有超过约 1 个百分点，无法确认模型获得了稳定改进。

这个对照实验把方法的边界暴露得很清楚：权重空间编程目前更适合处理明确、集中的模型故障，例如异常循环、特定行为或局部结构问题；它不能直接增加模型原本不具备的知识和推理能力。

研究中还有一次失败案例：Astra 没能仅凭权重识别哪个模型经过谄媚行为训练。这说明权重理解能力并不稳定，模型结构、任务类型和目标行为都会影响结果。

给模型做“参数级调试”还缺什么

如果把权重空间编程放进开发流程，它更像参数级调试工具，而不是替代训练的万能按钮。未来可能出现这样的工作流：

模型异常

-> 固定复现样本

-> Astra 分析权重和激活路径

-> 提出候选局部补丁

-> 在隔离评测集上验证

-> 比较补丁前后的能力与回归

-> 保存权重 diff、实验轨迹和回滚版本

工程上最重要的是保留权重 diff 和验证链。任何参数修改都要回答：修改了哪些层、影响了多少权重、解决了哪个失败样本、是否损伤了其他任务、能否恢复到上一个版本。

还要防止“修复一个指标，破坏整个模型”。MATH-500 提升并不代表安全性、知识问答、代码能力和事实准确率都没有回归。权重补丁必须经过多任务评测、红队测试和版本审计。

研究成果距离生产还有多远

目前这项工作属于早期研究结果，尚需独立复现和系统评估。实验规模、网络类型和任务复杂度都有限，Astra 的分析成本也很高。对于表现最好的 Qwen 修复实验，20.3 小时的探索时间不能忽略。

此外，直接修改权重会带来新的安全边界。模型供应链需要记录谁生成了补丁、补丁来自什么任务、使用了哪些评测样本，以及补丁是否可能绕过安全对齐。未经审计的权重修改不应该直接进入生产模型仓库。

更现实的落地方式可能是先用于研究和调试：定位异常层、解释失败行为、生成候选修复、缩小人工排查范围。最终是否合并补丁，仍由固定评测、人工审查和版本回滚机制决定。

国内开发者如果需要将 Claude Code 等工具接入兼容 API，可通过 Code80(https://code.ai80.vip/home) 配置 endpoint；模型权重、实验环境、密钥权限和评测数据仍应由项目侧隔离管理。

常见问题

权重空间编程等于重新训练模型吗？

不等于。当前方法不使用梯度和训练数据来更新权重，而是让大模型分析参数并生成局部修改或新权重。

Qwen成绩提升是因为获得了新的数学知识吗？

主要不是。实验更像修复推理循环，让原本可能完成的答案不再被重复输出阻塞；它不代表模型自动学会了全新的数学知识。

只修改0.016%的权重为什么能带来明显变化？

如果被修改的参数位于影响行为的关键结构中，即使数量很少，也可能改变输出路径。参数数量小不等于影响范围小，但仍需要多任务评测确认没有回归。

这种方法可以直接修改GPT或Qwen生产模型吗？

目前不建议。研究结果集中在受控实验，生产环境需要权重版本、评测集、审计、回滚和安全检查，不能把一次实验补丁直接上线。

权重空间编程最适合什么场景？

现阶段更适合研究型模型调试，例如定位异常循环、分析局部结构、生成候选权重补丁和探索小型网络的功能映射。

国内开发者如何接入兼容 API？

可以通过 Code80 了解接入方式，同时自行管理模型权限、实验数据、密钥、权重文件和审计日志。