本文来自微信公众号: 硅星人Pro ,作者:王兆洋 董道力,原文标题:《实测Fable 5.2 :IPO味儿最冲的超强模型》
11月9日,Anthropic发布“迄今最强”的模型Claude Fable 5.2,以及与它共享底层能力、但面向特定专业领域开放的Mythos 5.2。
这次发布,Anthropic几乎把能够证明AI能力进步(泡沫不会破裂)的东西都扔出来了。
Fable 5.2在编程、推理、科学研究、机器人等多个领域取得了新成绩。在FrontierCode 2.0上,它的成绩从前代的32.4%提高到49.1%;在自主科学研究测试Terminal-Bench-Science上,从52.6%提高到74.6%。
而且,模型变强的同时,价格反而降低了20%,输出速度最高提高30%。对于特别复杂的任务,Anthropic还提供价格更贵、速度更快的Fast模式。

这些数字已经足够漂亮,不过很大程度也拜Anthropic自己所赐,大家已经对这些数字无感。而Anthropic也搞出了更“离谱”的demo来继续展示能力。
它让超过1000个AI Agent连续工作八天,从空文件夹开始,写出了一套能够在笔记本电脑上启动的原型操作系统。让1000个Agent在约30小时内,完成费马大定理已有证明的计算机形式化。帮助研究人员解决了两个与黑洞有关的理论物理开放问题。还从一段文字需求出发,设计出三款真正能够工作的电子设备。
这些成果都是在展示它可以让AI参与完成此前尚未解决的科学与工程工作。
这个模型的发布显然是一个“to IPO”的动作。11月9日,恰好是Anthropic启动IPO路演第一天。两周前的10月26日,Anthropic刚刚正式提交了IPO招股书。按照此前的上市安排,这家公司计划在11月中旬完成发行定价,并最快于下周登陆纳斯达克。
Fabel 5.2就是一场为资本市场精心准备的军火展示。
我们也先来实测看看有多强。
1
实测:它已经相当擅长「发现」规律
为了验证Fable 5.2的科学研究能力,我们也设计了一次盲法测试。
测试内容是一个没有向模型说明具体原理的物理系统。
我们提供了128条模拟实验测量数据,其中包含两个控制变量和一个测量结果。数据中既有正常的随机误差,也混入了少量明显偏离的异常值。

要求Fable 5.2在不知道系统名称和正确公式的情况下,自行分析变量关系,提出不同假设,通过计算和交叉验证找到合理的规律,再对另外48组未提供答案的实验条件进行预测。
实验背后的真实物理规律,是单摆在不同摆长、不同初始摆角下的周期变化。
简单的单摆公式大家可能都学过,但它只在摆角较小时足够准确。摆角增大之后,周期会出现越来越明显的非线性变化,需要更复杂的数学表达式才能准确描述。
这也正是我们埋下的陷阱。
而Fable 5.2的表现,不得不说,相当惊人。
它首先识别出周期与长度之间接近平方根的关系,又通过残差分析发现,简单模型在大角度条件下存在系统性的偏差。
此后,它比较了十余种竞争模型,包括多项式拟合、指数修正以及黑箱机器学习方法,最终选择了一种基于完全椭圆积分的物理模型。

这个模型不仅符合数据背后的真实物理规律,而且只需要拟合一个主要参数。
在五折交叉验证中,简单基线模型的相对均方根误差约为3.31%,最终模型将其降低到了0.36%。
它还识别出6条明显异常的实验记录,并没有粗暴删除,而是使用鲁棒拟合的方法降低异常值对结论的影响。
真正令人吃惊的是最后一步。
面对另外48条没有公布答案的实验条件,包括部分超出训练数据范围的情况,Fable 5.2交出的预测结果,平均相对误差只有约0.26%。

甚至,后来它还进一步提出了8次后续实验,仔细看可以发现,这些选择指向那些最有可能检验、甚至推翻自己模型的实验条件。

当然,这是一套模拟数据,底层也是人类早已知道的物理规律。因此,它不能证明Fable 5.2已经具备发现全新科学定律的能力。以及模型也可能利用自身已有的物理知识识别单摆问题,并非完全从零推导物理学。
但这次实验仍然展示了一种此前我们的测试时没在其他通用模型稳定看到的能力:面对有噪声、有错误、没有直接提供答案的数据,它能够把观察、假设、计算、验证和外推组织成一个完整的研究过程。
看起来这比单纯解对一道科学题目,更接近科学家真正工作的方式。
不过,Fable 5.2也不是在所有复杂任务中都能交出同样惊艳的结果。
我试着给了它一个今天最流行的,几乎各家都在用的让它生成视频的任务。我让它在不直接展示任何游戏元素的情况下,做一个《塞尔达:时之笛》的宣传片,并用一句话作为视频结尾。
与很多测试里所感叹的“审美”惊艳不同,这全片最让我感慨的更多是最后它给出的这句话:“时间,是可以被吹响的。”
其他的画面元素都很简陋。哪怕我再次给它一次机会并要求提高审美相关的要求后,效果也不那么美。
所以,目前来看,它所展示的能力,或者是它刻意增强训练的能力,更集中在有计算、分析和软件工具支持下,持续解决一个复杂问题的能力上。
1
用来维护IPO和AGI信仰的模型
那些惊人的科学研究案例之外,Fable 5.2的发布材料里还有一个故意为之的痕迹明显的“泄露”。
Anthropic主动披露,它在训练过程中,有意限制了模型在部分AI研究能力上的进步。而且明确点名了两项能力:AI加速器的Kernel优化,以及大语言模型架构改进。

前者关系到如何更高效地运行和训练模型,后者则直接关系到如何设计更强的下一代模型。
换句话说,Anthropic选择限制的,恰好是那些可能直接帮助AI公司开发出更强AI的能力。
按照官方说法,Fable 5.2和Mythos 5.2在这些方向上的表现,被控制在与Opus 5.5大致相当的水平。
Anthropic还特别强调,这种限制是在训练过程中实现的,而不是等到用户提出问题时,才简单地拒绝回答。它同时表示,一般的Agent编程、硬件开发、传统机器学习研究等相关能力并没有受到影响。
这个动作看起来又能加深Anthropic积极讨论AI失控和递归自我改进风险的形象,但在这个时间节点看,IPO味儿简直不要太冲。
通常情况下,一款新模型在某些能力上进步不明显,意味着它可能遇到了技术瓶颈,或者竞争对手做得更好。Anthropic则说成,这不是我们最想推动的方向,我们甚至有意让它慢一些。但它也并没有公布如果不采取限制,模型在这两项能力上究竟能达到什么水平。外界也无法据此证明,它真的已经掌握了某种被保留起来的更强能力。
所以,你可以很容易想象到:这一番表述,几乎就差告诉资本市场,如果以后股价需要新的刺激,我们还有一些能力可以继续释放。
每次Anthropic发布模型,选择什么demo最值得关注。从Fable 5.2的发布来看,前沿模型竞争的下一站,已经越来越清楚。Coding之后,Science彻底成为头部模型公司争夺的新能力高地。
除了模型能力上,今年6月,它还发布Claude Science,将科研数据库、代码工具、计算资源和专业分析流程整合为科学家使用的工作台。10月底,Anthropic又宣布与全球20家科学基金会、科研机构和组织扩大合作,为研究人员提供Claude使用资源。在Fable 5.2发布前几天,Anthropic还公布了一项针对20.7万次Claude科研使用会话的研究,试图了解科学家究竟已经开始怎样使用AI。
但Science最大的问题,就在于它能否复制Coding的商业成功还远远没有答案。
Coding是一个几乎为大模型量身定制的市场。程序员的工作本身就在计算机里完成,软件可以快速运行、测试、部署,模型创造的价值也能够相对直接地衡量。科学研究则完全不同。一个模型可以在几个小时内提出新的药物分子,但药物是否有效,仍然需要经过漫长的实验和临床验证。它可以提出一个材料配方,但材料能否制造、性能是否可靠、成本是否足够低,都不是在电脑上运行一次程序就能回答的。
甚至在基础科学领域,模型得到一个正确的理论结果,也未必意味着它立刻具有商业价值。
Anthropic自己针对科研使用行为的研究就显示,Claude的使用目前明显更集中在计算机科学、数学、统计学等形式科学领域,在医疗健康及依赖实体实验的自然科学领域,使用程度仍然较低。
这或许就是当前AI for Science的真实处境:它在最接近Coding的科研任务上进展最快,但距离对整个科学研究体系产生普遍而深刻的影响,还有很长的路。
资本市场需要看到眼前的收入,Science可能很难在此有贡献。但今天泡沫崩溃的担忧如此高涨的时候,AI公司动辄万亿美元的估值,可能更依赖投资者相信一种远得多的未来,依赖他们的AGI信仰。
最新的消息是,据路透社报道,部分潜在投资者认为,此前讨论的1.5万亿美元估值仍然太贵,希望获得更大折让。最近Anthropic还曾向承销银行发送包含发行数量和价格区间的材料,随后又撤回相关定价信息,称其中的数据不准确。甚至有人开始怀疑Anthropic能否按照原定时间完成IPO。
Fable 5.2就是Anthropic拿出来刺激市场的模型,IPO味儿最冲的模型,也是它成为人类最大IPO前最重要的一个模型。
接下来的一切就看市场是否买单了。



