新智元报道
新智元报道
开源项目
一张96GB显存的专业卡卖13.8万元，一套128GB的DDR5内存逼近2.5万元。
连一向淡定的库克，都在财报会上把这轮内存暴涨形容成「百年一遇的洪水」。
离谱的是，硬件越贵，AI公司越往本地端猛砸。OpenAI刚被曝一口气买下数万台Mac，专门用来训练能自己操作电脑的Agent。
原因很简单，24小时连轴转的Agent如果全搁在云端跑，光Token费就能把账单烧穿，大模型往端边搬家已经是明牌。
但把芯片和内存买回来，只算交了半张门票。
要把大模型做成一台稳定好用的终端产品，模型适配、框架打通、性能调优，如果有现成的工具和经验，开发团队就不用样样从头摸索。
今天的生态合作伙伴大会上，后摩智能宣布，整套AI生态软件栈将全面开源！
从拿到模型到做成产品，整条工具链全部开源。到明年1月，15个开源项目会陆续上线。
M50芯片量产还不到一年，就已经有150多款终端产品定下要用它，合作客户破百，甚至把1220亿参数的大模型塞进了一个300克的小盒子。
这套软件栈，就是在这些项目里逐步开发、验证和完善的。
一整条AI落地流水线，全开源了
做一个离线会议助手，看起来只要三步：录音转文字、大模型写纪要，最后存进电脑。
真正动手，难题才冒出来：模型要塞进有限的内存，推理要适配芯片，语音识别和大模型还得协同运行。好不容易跑通，后面还有性能调优、稳定性测试和上线维护。
更麻烦的是，下一家团队做同类产品时，这些工作往往还要重来一遍。
后摩这次开源的工具链，一口气覆盖了从拿到模型到产品上架的全过程，一共分四层。
第一层是模型处理工具。
开发者拿到一个新模型，先用它做量化（把模型压小）、编译和精度评估，把它转换成芯片能跑的格式。
平时往端边设备里塞模型，往往得先把模型硬压成低精度格式，精度一掉，工程师又要花大把时间调优往回找补。
而M50原生支持浮点计算，开发者完全可以按需求直接用浮点格式部署，从源头上少掉一层折腾。
第二层是推理框架、算子库和运行时。
这一层相当于芯片上的总调度，负责把计算任务精准派发下去，并针对M50的存算一体架构做贴身优化。
模型跑得快不快、占多少内存、功耗能不能压住，全看这一层的调度功力。
第三层是领域套件、模型流水框架和中间件。
它负责让多个模型像交响乐团一样配合干活。还是说那个会议助手，语音转文字、文字转纪要、纪要存进应用，中间的每一次交接，都靠这一层来丝滑搞定。
第四层是部署运维工具。
产品交付之后，后续的升级、监控、大批设备的管理，全归它管。
这些硬核工具，后摩准备分三批开源。
第一批是对llama.cpp、vLLM的适配版，这俩可是开发者圈子里最常用的开源推理框架。大家不用换习惯，用着最顺手的工作流，就能接入后摩芯片。
第二批是后摩自研的推理框架，针对自家芯片做深度优化，性能能发挥得更足。
第三批是中间件和各类工具，帮你把一堆散装模型的能力，串成一个能卖钱的产品。
整个开源清单里，ModelZoo（模型示例库）、推理引擎、领域套件一应俱全。连用来管理大批加速卡的Kubernetes基础设施和NPU卡集群管理平台，也一并放了进来。
现在去GitHub搜houmo-ai，已经能看到postmo-modelzoo、postmo-quantflow、vllm-postmo，以及llama.cpp、vLLM的适配版本了。
拿已经公开的postmo-modelzoo来说，它就像一份开箱即用的「实战样板间」。
从量化编译、性能评估到最终部署，每一步都有现成的代码和工具可以直接对照上手，推理示例横跨Linux、Windows 11和Android三大平台。
光是模型目录就一口气列了15个大类，语音识别、语音合成、大语言模型、视觉语言模型、图像生成、全模态全在里面。
用后摩自己的话说，这次开源就是要做到「最佳实践共享无保留」。
150多款产品，押注同一颗芯片
150多款产品押注同一颗M50，意味着这颗芯片要同时闯过Agent Computer、智能移动终端、具身机器人和边缘推理四道截然不同的关卡。
有的设备极其挑剔功耗，有的连网线都不让插，还有的必须跑在纯血国产系统上。
Agent Computer：300克的盒子，跑1220亿参数
Agent Computer，简单说就是专门用来跑AI Agent的电脑。最具代表性的，就是联想的AI主机P7。
这台主机只有300克，一只手就能托住。整机最大功耗30W，插个充电宝就能带走。
就算拔掉网线，也能在本地跑1220亿参数的大模型！每秒输出50个Token，上下文最长支持128K。
它搭载的是后摩M50芯片。典型功耗为10W，可提供160TOPS的INT8算力，最高支持48GB LPDDR5/5X内存。
Agent可能需要7×24小时运行，还会持续处理邮件和私人文件。
如果放在云端跑，每个月要交一大笔Token费，数据交出去也不放心。
换成P7，一次性买断硬件，本地推理就无需再按Token向云端付费。后摩管这叫「端边Token工厂」。
初创公司Deepshard打造的Truffle 1，直接把自己定位成7×24小时在线的「私有AI外脑」，此次与后摩合作的版本同样搭载M50芯片。
你交给它的项目资料、日常聊过的工作习惯，都会留在设备本地。之后处理同一个项目，Agent就能直接调取这些长期记忆，省去每次都要从头交代背景的麻烦。
只要你点头授权，它就能自己钻进Slack和Gmail里帮你查消息、翻邮件，等到真要动手发信或执行操作时，再交由你拍板确认。
哪怕你关掉对话框去忙别的，开发者写好的后台应用也能定时往里喂入最新的项目进展，让它时刻保持信息同步。
对于开发团队来说，平时顺手的工具直接走MCP就能接进来，现有的软件也不用推倒重写，调一下兼容OpenAI格式的接口，就能直接跑在这台设备的本地模型上。
同样是这个场景，绿联把M50塞进了家庭AI中枢HomeAgent HA100 Pro里。家里的私密照片、监控画面，AI在本地就能识别、整理，不用上云。
聊趣智能更会玩，他们的ClawHouse X1给Agent配了个可定制的全息形象。放在办公桌上，它是帮你理日程的数字员工；搬进书房，就成了陪孩子练对话的学习伙伴。
智能移动终端：彻底断网跑35B的纯血国产本
有些单位的电脑，天生就不能插网线。
在政务、金融证券这些行业，「离线可用」是硬要求。
长城N90 Pro笔记本走的是全栈国产路线，装的是银河麒麟V11系统，靠着M50在完全断网的状态下跑35B大模型，每秒30个Token，写文档、做纪要都可以离线完成。
M50能跑通麒麟系统，是因为它适配了主流的操作系统和CPU架构。后摩表示，M50是国内唯一做到这一点的高算力端边AI芯片。
具身机器人：记得住全家人习惯的AI管家
到了客厅，星灵陪伴机器人面临的是另一道题。
它得察言观色读懂人的情绪，还要在日复一日的陪伴里记住一家人的生活习惯。客厅里的一举一动全是私密数据，谁都不放心传上云端。
装上自带160TOPS算力的M50后，星灵把情绪感知和长期记忆全部留在了机身内部，数据一步都不出家门。
边缘推理：一台机器，装下一堂千亿模型实训课
高校想教学生玩大模型，又不敢把数据和课件全放到公有云上，怎么办？
星网教育上了一台实训一体机，里面插的是后摩LM5040加速卡，单卡集成4颗M50。
整台机器可提供3200TFLOPS以上的算力、1.5TB以上的内存！千亿大模型可以部署在学校本地，算力管理平台和配套课程一起交付。
从300克的掌上盒子、纯血国产笔记本，到客厅里的陪伴机器人和校园服务器，核心虽然都是同一颗M50，面对的模型、系统和场景却天差地别。
在这150多个项目里趟出来的适配方案和调优参数，被后摩一笔笔存进了这次开源的软件栈里，攒出了一座实打实的「工程经验银行」。
而现在，这座银行正式向所有开发者敞开了大门。
仓库要够大，马路得够宽
软件能这么痛快地交底，离不开后摩在芯片底层架构上的破局。
在传统芯片里，数据存在「仓库」（存储单元），计算在「车间」（计算单元），两边隔着老远，得不停地来回倒腾数据。AI计算里60%到90%的电，全耗在了这段路上。
而后摩的方案，则是基于全新的SRAM存算一体技术。换句话说就是，数据存在哪儿就在哪儿算。
跟传统方案相比，后摩可以把芯片面积砍掉约70%，功耗降到约十分之一！
但这还只解了一半的题。如今的大模型分成了两大流派，对硬件的「胃口」截然相反。
MoE（混合专家）模型每次只喊几个「专家」干活，可没干活的专家也得占着位置，所以它需要的是一个足够大的「仓库」（超大容量）。
Dense（稠密）模型正好相反，每次推理几乎所有参数都要倾巢而出，数据得像洪水一样冲进计算单元，所以它需要的是一条足够宽的「高速公路」（极高带宽）。
一种架构想同时搞定这俩？很难。
于是后摩分出了两条技术路线。
2D CIM主打「大容量、高算力」原文：http://weixin.sogou.com/weixin?type=2&query=%E6%96%B0%E6%99%BA%E5%85%83+%E5%9B%BD%E4%BA%A7%E8%8A%AF%E7%89%87%E5%A4%A7%E6%9D%80%E5%99%A8%EF%BC%81%E5%85%A8%E6%A0%88%E5%BC%80%E6%BA%90%EF%BC%8C%E6%96%AD%E7%BD%91%E7%8B%82%E9%A3%99%E5%8D%83%E4%BA%BF%E6%A8%A1%E5%9E%8B
国产芯片大杀器！全栈开源，断网狂飙千亿模型
新智元0 次浏览
