作者丨高允毅
编辑丨岑 峰
01
十年共识的诞生与反转
02
两个经典案例的 “翻案”
▎案例一：“猫与汽车神经元” 案例
▎案例二：“汽车与狗神经元” 案例
03
神经元的真相是递归泛化？
AI 与机器学习
推翻一切！Nick Cammarata 万字长文宣告，AI 不是黑箱，99% 神经元清晰可见
雷峰网0 次浏览
导语：亲手推翻自己十年前的结论，可解释性大佬 Nick Cammarata 这次读懂 AI 脑回路。 亲手推翻自己十年前的结论，可解释性大佬 Nick Cammarata 这次读懂 AI 脑回路。
“大模型把猫和汽车分为一类，不是弱智。” 在 AI 可解释性领域，有一个十年的经典案例，是 InceptionV1 模型里编号 4e:55 的神经元。这个神经元在看到“猫脸”和“汽车车头”时，都会被强烈激活。这意味着，整个神经网络的底层逻辑是不可解释的。 于是整整十年，整个领域都沿着 “拆” 的思路往前走：既然网络是一团乱麻的黑盒，那就发明工具把它拆开。稀疏自编码器（SAE）分解、特征字典、特征解缠…… 都是先把纠缠的特征拆成一个个独立的、人类能懂的单元，再去理解。 就在昨天，OpenAI早期机制可解释性研究的科学家，也是当年将该案例推向经典的《Zoom In》的共同作者，Nick Cammarata ，亲自推翻了自己当年所下的结论。 
“这个神经元根本不认识猫，也不认识车。它检测的是V 字几何形状，不管是狐狸的尖脸、喷射的火焰，都会激活它的正极；而它的负极，是圆形的东西。”他直言，这个误判的根源，或许是当年的观测工具太低级。 2023 年他在 OpenAI 做第一个大规模自动化神经元解释项目，用现有工具只能解释大约 2% 的神经元。结果三年后，当他带着更先进的算法和 Agent 团队重新研究，发现情况完全不同。 在他们测试的现代视觉模型中，最后一层99%～100%的神经元都能找到相当清晰的解释。就连当年以 “深层混乱” 著称的 InceptionV1 本身，用新工具重新观测，可解释率大幅提升。 因此，Nick Cammarata 发表了一篇需要阅读 65 分钟的长文《Neural Networks Are Already Clean》，并提出了一个惊人之论：神经网络本身，远比我们想象的要 “干净”。 这里的 “干净”，不是指“一个神经元只干一件事”，而是说网络内部有着极其连贯、精妙、且完全可以被人类直接阅读的组织结构。它就像一个规整的地图，想看细节就 “双击放大”。 对此，OpenAI 核心研究员 roon 直接转发并惊呼，这是“科学史上的重要时刻”，“我们终于可以把 AI 对齐，变成一门‘常规科学’了”。 毕竟，这篇文章一旦成立，等于把过去十年可解释性研究的核心焦虑推翻了。AI 圈过去几年，花大力气搞的稀疏自编码器（SAE）分解、特征字典、特征解缠，可能都走错了路。 或许，可解释性领域也可以用“The Bitter Lesson”来解决，即简单即高效。 
为什么人们会认为“AI 的大脑”是一团乱麻呢？这一切要从 2014 年的 InceptionV1 视觉模型说起。 作为可解释性研究早期的 “模型生物”，研究者发现，模型的表层神经元还算清晰，但越往深层走，越像一团乱麻。当时人们估计，最后一层能被人类看懂的神经元，学界认为只有区区 5%。 其中最出名的，是 4e:55 的神经元，它让两个八竿子打不着的东西共用一个神经元，怎么看都违背“一个神经元对应一个概念”的朴素预期。 为了解释这种现象，学术界提出了一个核心理论“叠加假说”（Superposition）。他们认为，当神经元数量不够用时，AI 就会偷偷切换学习策略，把互不相关的概念“折叠”进同一个神经元里。因为它们很少同时激活，所以不会互相干扰。 2020 年，Cammarata 与 Chris Olah 在里程碑级论文《Zoom In》中又给出了更具象的证据：网络竟然把汽车的特征信号藏进了一组“狗神经元”中，这更加实锤了叠加现象。 既然神经网络是缠结的，那就必须发明工具把它强行“拆开”。 一直以来，Anthropic 和 OpenAI 等顶尖实验室，都把稀疏自编码器（SAE）作为主流方案，其思路是训练一个辅助模型，把原本硬塞在神经元里的多个特征强行拽出来，重新分类，贴上人类可读的标签。 但 Nick Cammarata 发现，每次观测工具的升级，看似混乱的神经元就会自动变得清晰一些。他忍不住怀疑，或许问题根本不在神经网络，而在我们观察网络的工具上。 从 2009 年特征可视化技术刚诞生时，合成的迷幻图案，到引入变换鲁棒性后，较为清晰的神经元可视化图像，再到如今 Nick Cammarata 团队通过微调参数，引导算法沿着“真实图像的激活路径”去观测，发现现代架构（如 ConvNeXt）最后一层 99% 以上的神经元变得清晰可读。 
原来这十年，大家一直在和工具误差较劲。 
工具升级之后，可解释性领域的两个 “多义性” 经典案例，双双迎来反转。 整个反转的核心逻辑，是用动态的机制与合理的几何特征，推翻了过去静态的、字面化的名词分类法。 过去的特征可视化，本质是用梯度下降算法合成一张最能激活神经元的图。但算法为了追求最高激活值会“抄近路”，产生“奖励作弊”（reward hacking）问题。 由于 ImageNet 训练集中猫狗类图片数量极多、特征极强，算法合成出的最强激活图像里，会混入猫的胡须、狗的皮毛这类语义残渣。研究者顺着这些附带特征解读，自然会误以为这是个 “动物神经元”。 为此，Nick Cammarata 团队用了两套更严谨的方法重新观测。 第一，激活路径引导：精细化微调正则化参数，强制约束算法必须沿着真实图像的天然激活路径去合成特征，从而剥离掉算法自身产生的干扰噪音。 第二，正负两极交叉验证法：不只研究 “什么能最强激活神经元”（正极），同时研究 “什么能最强抑制神经元”（负极），通过两端共同锚定神经元的真实功能。 结果发现，神经网络原来是按照几何去分类的。在“猫车神经元” 案例里，它检测的是 V 字几何形状。 任何 V 形轮廓都会触发它的正极，比如狐狸的尖脸、喷射的火焰、汽车的尖头、消防船喷出的 V 形水柱。反过来，所有圆形轮廓会触发它的负极，比如圆脸、圆球、圆形的车轮。 
而另一组“汽车与狗”的案例也是同样的道理。InceptionV1 训练数据里狗的图片远多于汽车，狗相关神经元也更密集，优化过程掉进 “狗的图像盆地” 就爬不出来，最后合成的 “最强激活图” 全是狗。 
为了查明真相，Nick Cammarata 团队这次引入了自动化 Agent 工具，对这组电路做了一场动态的梯度追踪和消融（控制变量剪线）实验。 结合泛化轴线解离方法拆解后，他们发现，原来这组神经元根本不是 “狗神经元”，而是检测“物体是否正脸直接面对镜头、且两侧对称”的神经元。 汽车的特征信号在这里被打上 “正面朝前” 的标签后，会继续向下游更深的层流动，并最终分流进真正的 “汽车分类电路” 和 “狗分类电路”。 
之前多义性误读的根源其实在于数据集偏差。本质上，特征天然就会沿着信号进行连续的泛化与分流。 
既然神经网络不是胡乱叠加，那“多义性”现象是怎么来的？ Nick Cammarata 给出了一个新的解释：递归泛化。他认为，神经元像树枝一样生长。 一个神经元最初或许只识别油菜花。沿着 “黄色” 这条特征轴，它慢慢拓展到识别所有黄色物体；沿着 “圆形外形” 这条轴，又延伸到各类球状物体；再顺着 “花田里的生物” 这个关联路径，进一步覆盖花田里的狗，最后延伸到绿色的西兰花。 如果人类只看到这个神经元同时响应油菜花和西兰花，很容易误以为模型逻辑混乱。但只要追溯它生长的完整路径就会发现：每一次分叉、每一次特征延伸，都具备连贯的逻辑。 
在语言模型里，递归泛化现象更夸张。 比如，原本只检测 “iy” 发音的神经元，训练中先延伸到了识别 “diy” 这个词，到最后，连完全不含 “iy” 音的短语 “Do it yourself” 都能激活它。 
所谓人类看不懂的逻辑，实际是神经网络在用它高维的逻辑，进行着语义延伸。 这时候，传统学派一定会反驳：如果神经元真的不够用了，神经网络难道不会切换到叠加模式吗？ 为此，Nick Cammarata 设计了一个极限压力实验。 原文：https://www.leiphone.com/category/yanxishe/Vr0JmbkUeZV5D9Qz.html
