如果重新回到做阿里达摩院M6大模型（千问前身）的时候，杨红霞仍然会选择Scaling Law（缩放定律），而且会“做得更彻底”。
“我们2019年就开始探索大模型和关键架构；如果当时有足够资源和决心持续Scale Up（规模化放大），或许我们有机会成为中国的OpenAI。”杨红霞告诉信睿科技评论。
这多少有些反直觉。过去几年，当越来越多人开始讨论Scaling Law 是否已经触及瓶颈时，作为这条技术路线的亲历者，杨红霞并不认为“把模型做大”已经走到尽头。
在她看来，GPT-4的突破恰恰证明了Scaling（规模扩展）的力量，问题只是，今天能够被继续扩展的东西正在发生变化。一个越来越现实的瓶颈是：数据无法被无限集中。
过去的大模型主要从互联网中学习。代码、数学、文本、图像和视频可以被大规模收集到数据中心，再用成千上万张GPU（图形处理器）训练一个越来越大的通用模型。但真正进入医疗、制造、金融、能源等行业后，大量最有价值的数据并不存在于公开互联网，而是沉淀在医院、工厂、政府机构和企业内部。这些数据不仅难以获取，很多时候也根本不能离开本地。
“中心化大模型进化很快，但如果没有领域数据和知识，再强的模型在专业场景中也会受限。”杨红霞指出，智能体（Agent）、检索增强生成（RAG）能缓解这一问题，但闭源模型存在数据隐私和主权问题，开源模型则面临效果、成本和部署门槛。
因此，更根本的方向是让企业用自己的数据训练自己的领域模型：模型可以很小，却能在特定领域超越中心化大模型，同时在数据隐私、成本和效率上获得显著优势。
真正改变各行各业的，最终也不会只是今天这批做 AI 的公司，一定是各行各业的企业自己。因为它们既拥有行业的数据，也是对应行业的专家。这成为她近年来思考的一个核心问题：如果数据不能集中，AI还能怎么继续Scaling？
杨红霞是中心化大模型浪潮的亲历者。她本科毕业于南开大学数学学院，后赴杜克大学攻读博士，职业生涯先后辗转中美科技公司工作近15年。她曾担任IBM TJ Watson研究中心研究员、雅虎首席科学家、阿里巴巴达摩院人工智能科学家、及字节跳动美国公司的大型语言模型负责人。曾参与并主导多个大模型项目，M6大模型是其早期代表性工作之一，后来又参与搭建字节跳动豆包基础模型团队。
如今，她担任香港理工大学人工智能高等研究院执行院长、讲席教授，同时创立面向企业与主权AI的新一代AI基础设施公司InfiX.ai。相比继续训练一个更大的中心化通用模型，她和团队选择了另一个方向：让企业和机构能够利用自己的数据，在本地训练自己的模型。
放眼全球，由前OpenAI CTO Mira Murati创立的AI模型与定制化平台公司Thinking Machines Lab和Transformer作者之一Llion Jones创立的AI研究与行业应用公司Sakana.ai也在做类似的分布式生成式AI。
这背后涉及两个相互关联的问题。第一个是如何让训练大模型不再只是少数巨头的“有钱游戏”。InfiX将低比特训练作为核心技术方向之一，希望通过 FP8、FP4 等低精度训练降低模型对算力和存储资源的需求，使百亿甚至千亿参数级领域模型能够以更低成本在企业本地完成训练。
第二个问题更难：数据不能流动，知识和智慧能不能流动？
杨红霞团队正在探索模型融合。它不要求不同医院、企业或机构把原始数据集中到一起，而是先让各自在本地数据上训练领域模型，再尝试将不同模型中已经学习到的能力汇聚起来。杨红霞把它称为“协作生成式人工智能（Co-GenAI）”，也是她所理解的去中心化生成式 AI。
这并不意味着她否定 Scaling Law。恰恰相反，她认为这可能是在寻找另一种 Scaling。从这个角度看，她从大厂走向创业，并不是从“做大模型”转向“不做大模型”，而是把过去20多年不断遇到的那个问题推到了新的阶段：当模型越来越大、算力越来越集中，而真正有价值的数据散落在现实世界的各个角落，AI究竟应该如何继续向前？
近期，信睿科技评论与杨红霞进行了一次深入对话。从M6和Scaling Law，到FP8、FP4低比特训练，再到模型融合、主权AI和去中心化生成式AI，我们试图讨论一个比“下一个模型还能做多大”更现实的问题：如果下一轮AI革命真正发生在各行各业，谁来让这些行业拥有训练自己模型的能力？
以下是我们与杨红霞的对话，经编辑和整理：
从大厂到创业
为什么大模型一定会走向去中心化？
Q：你从 IBM、雅虎，到阿里、字节，再到香港理工和自己创业，如果回头看这二十年，你觉得自己一直在追的核心问题是什么？
杨红霞：我认为，核心问题其实非常朴素。我本科毕业于南开大学数学学院，后赴杜克大学读博，导师David Dunson教授同时担任统计、数学及机器学习三个系的教授，也是考普斯会长奖（COPSS Presidents’ Award，统计学领域的“诺贝尔奖”）得主。因此，我从读博期间便开始跨界从事统计与机器学习结合的研究。
博士毕业后，我加入IBM T.J. Watson研究中心，主要从事机器学习研发。在IBM约四年，正值2014年前后互联网爆发时期，在美国迅速兴起计算广告、推荐系统、搜索引擎等领域。
随后我前往湾区，投身于更复杂的实际问题。在湾区及雅虎期间，我经历了互联网从传统机器学习迈向深度学习的转型。一个显著的对比是，2010年我的博士论文方向为非参数贝叶斯建模，参数规模约几万至几十万，当时已称为“超高维”。但随着互联网兴起，卷积神经网络（CNN）、深度学习等模型陆续上线，参数规模迅速攀升至数百万甚至上千万，直接扩大了十倍乃至百倍。
与此同时，国内的技术也在蓬勃发展，我回国加入阿里，初期负责数据和推荐系统，即今天淘宝的推荐引擎。
Q：后来你又经历了哪些关键的技术转折，并形成了怎样的判断？
杨红霞：2019年，我们注意到Transformer的影响。谷歌搜索引擎上线Transformer后，效果提升极为显著，约10%到30%。要知道，在以往的经验中，优化能提升几个百分点已属不易，而BERT上线后提升尤为突出。
2020年底，谷歌CEO Sundar Pichai正式宣布所有搜索引擎转向以BERT为主。我当时感受到了技术的强大潜力。2022年ChatGPT发布，GPT-4确立的范式最终“一统江湖”。
我曾先后在阿里和字节参与并主导两次中心化大模型研发。同时我也越来越意识到，生成式AI仍是少数“富人的游戏”，行业还缺少像Linux、Kubernetes一样的基础设施，让每个企业和机构都能低成本、快速地构建自己的大模型。 更重要的是，数据无法做到中心化。因此，我判断大模型从中心化走向去中心化是必然趋势。
类比计算机刚出现时候的IBM大型机，占地庞大且可编程者极少，今天做大模型的情形亦然——真正从事核心研发的只有极少数人。以大厂为例，两千人的AI团队中，真正从事核心模型研发的可能只有百余人，大量人才仍集中在数据处理和应用落地。而今天手机本身是一种去中心化计算机，例如用户打字、拖拽各种APP、做各种操作，其实都是在编程，只不过由于交互做得太好了，不需要用户真正意义上进行写代码编程，大模型也是同样的道理。
我相信大模型中心化一定会带来的技术上的巨大突破，并且这波大模型将是一场技术革命——各行各业、每个人的生活一定会被它彻底颠覆，智能也必然从中心化走向去中心化。
我觉得我一直是在被驱动去解决很复杂的问题、真实的问题，随着技术和行业的不断迭代更新，我们会遇到越来越多新的任务、新的复杂性。
Q：领域曾一度认为Scaling Law是必然方向。你在阿里做M6的时候，本身就是大模型Scaling路线的亲历者。你是什么时候开始认为，训练更大通用模型这条路值得反思的？如果今天重新做一次M6，你还会选择当时那条不断扩大模型规模的路线吗？
杨红霞：当时我们在做M6阶段，我认为做得不够彻底，根本原因在于资源有限。GPT-4之所以突破，是因为坚定走Scaling Law路线，而我们受限于算力和数据量，只能在有限卡数上尝试。
Scaling Law涉及数据、算力与模型参数三个维度。因此如果仅提升参数规模，而算力和数据未跟上，只能验证一定突破，无法实现GPT-4那样的根本性突破。
如果再回到M6时代，我仍会坚持这条路，但应该做得更彻底。现在，我仍然认为Scaling Law应继续推进，并不是这个方向“已死”。但实际上，面对数据无法全球集中的现实，去中心化领域模型是在探索另一维度的Scaling Law：如何在数据无法集中的前提下，从模型层面解决这一问题。
Q：你曾在大厂工作，如今是创业者，不同身份的关注点有何不同？
杨红霞：在我看来，无论在大厂还是创业，核心都是解决技术问题。在AI创业中，如果技术薄弱，例如仅做套壳的Agent，有可能赚快钱但终将面临被淘汰的局面。我们创业的技术无法“抄作业”，因为低比特FP4训练框架、上万模型的融合等难题尚无现成方案，因此我们始终致力于技术的极致研发。
我在大厂工作近15年，深知其资金、数据和人才优势明显。但创业公司更为扁平，减少了流程消耗，执行力更强。OpenAI早期以及DeepSeek的实践都说明，人数并不是决定大模型研发效率的唯一因素，精简团队同样可能具备独特优势。
Q：在你看来，企业应用大模型的最大障碍是什么？是模型能力、成本、数据隐私，还是不知如何落地？
杨红霞：过去互联网时代是云原生（Cloud Native），创业或开发APP可依托完善的云基础设施，如Kubernetes或Linux操作系统，都可以方便帮助做应用的研发和扩展。有了云基础设施，做好应用，可以非常容易地Scale Up，包括服务大量用户以及提升流量。
但是回到今天的大模型，如果企业想训练自己的制造业或能源基础模型，却缺少类似Kubernetes或Linux操作系统这样的“脚手架”。现有训练框架多由大厂主导，企业只能调用其API（应用程序编程接口），由于涉及成本与数据隐私问题，银行、金融、政府等领域难以实现将数据上传云端。
我们正在构建的产品，不只是做模型，还涵盖了基础设施、平台和模型的完整方案。举例来说，AI数据中心基于FP16算子精度计算得到的算力为5000PFlops（每秒千万亿次浮点运算），若采用我们的FP8方案理论上限可达1万PFlops。我们还提供All-in-One Machine（如类似NVL72的高密机柜），支持本地化训练且数据不出域。旨在提供这样的“脚手架”，使企业能像云原生一样，便捷地开发自己的AI原生产品。
把训练成本打下来
为什么不只是省钱？
Q：过去大家谈低比特，更多是在模型训练完以后压缩推理成本。我们应该如何从本质上去理解，FP8节省的核心是什么？
杨红霞：无论FP16、FP8还是FP4，本质上都是用不同位宽表示数值的浮点格式。位宽越低，理论上占用的存储，计算资源和通信量都会成倍减少，但同时也更容易带来数值精度损失
现在大模型参数量已经达到万亿级别，但FP4或FP8训练并不是简单地把所有计算和参数统一降到同一种精度，而是需要针对不同参数、激活值和计算环节设计不同的精度与数值处理策略。这个问题本身就很复杂。
低比特存储可显著提升存储效率和训练速度，理论上限可能只需一半甚至四分之一的存储空间，但它的问题是会带来精度损失，同时需确保下游任务性能不受影响，同时因为计算的加快可能需要重新构建整个通信和计算的交叠（overlap）设计。因此，完整低比特训练框架和解决方案需涉及模型、基础设施、算子层和通信层的全面优化，甚至需重写一部分算子。
同时，我们正在与英伟达联合研发全球首个FP4训练框架并即将发布，突破低比特训练中的训推不一致难题。
Q：精度继续降低后，模型会损失相关能力吗？它如果想实现工程化还面临哪些挑战？
杨红霞：需要澄清的是，低精度的前提是模型能力不能损失。如果精度降低导致性能下降，该低精度版本理论上不应存在，因此我们须确保性能无损。
工程化是一项综合性端到端工作，需同时推进多个方面：平台、训练基础设施、算子层及模型训练等多个方面。目前我们的框架已产品化，FP8端到端训练的产品化已较成熟，并将持续优化各模块，我们已经与国内外多家大型企业展开合作。而FP4的相关产品尚需要一段打磨时间，预计2027年年初可实现产品化。
Q：低比特训练真正想改变的，是在训练效率，还是降低训练大模型的使用成本？
杨红霞：当前大模型仍是“有钱大厂的游戏”。但未来，我们希望每个企业和机构都能训练自己的主权模型，前提就是把成本和算力门槛真正降下来，而低比特正是关键路径。从英伟达B系列原生支持FP4，到OpenAI原文：http://weixin.sogou.com/weixin?type=2&query=%E5%93%88%E4%BD%9B%E5%95%86%E4%B8%9A%E8%AF%84%E8%AE%BA+%E5%AF%B9%E8%AF%9D%E6%9D%A8%E7%BA%A2%E9%9C%9E%EF%BC%9A%E4%BB%8E%E9%98%BF%E9%87%8C%E5%AD%97%E8%8A%82%E5%88%B0%E5%88%9B%E4%B8%9A%EF%BC%8C%E5%A5%B9%E8%A6%81%E8%AE%A9%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%B5%B0%E5%90%91%E2%80%9C%E5%8E%BB%E4%B8%AD%E5%BF%83%E5%8C%96%E2%80%9D
