10月28日,天数智芯首次开放天垓300通用GPU实机演示,展示基于天垓300的AFD分离方案、IXL144超节点、天数智算软件栈及彤央端侧算力终端,并预告下一代端侧产品TY2000,标称算力达600T。

据天数智芯披露的第三方测试结果,在典型PD分离部署下,天垓300折算单卡端到端吞吐达到NVIDIA H200的1.05倍。公司内部测试显示,该产品在部分长上下文、混合专家模型(MoE)和在线推荐场景中也取得了相应的性能表现。端侧方面,彤央TY1200在指定大模型测试中的性能达到NVIDIA Thor T5000的1.2倍。

天垓300:部分推理场景达到H200水平

据天数智芯介绍,第三方机构针对四种主流模型、三类应用场景进行了测试。在典型PD分离部署下,天垓300折算单卡端到端吞吐达到H200的1.05倍。PD分离将大模型推理中的预填充(Prefill)和解码(Decode)阶段分开部署,实际性能取决于模型、并发规模、计算与通信开销等因素,因此这一结果对应特定测试条件,不代表所有任务中的性能表现。

天数智芯性能实验室公布的内部测试数据显示,在64K长上下文场景中,天垓300的Attention性能达到H200的1.05倍;在GLM-5.3模型的64K上下文测试中,满足相同用户体验要求时,MoE吞吐达到H200的1.15倍。在8K至128K长上下文场景中,Agent首字延迟较H200降低约10%至30%;多模态生成推理吞吐提升约2%至5%。在搜索、广告和推荐等在线业务中,推荐推理吞吐提升21%,轻量计算时延降低26%。

训练方面,在基于Qwen3-32B模型的8卡整机FP8精度训练测试中,天数智芯测得天垓300单卡有效吞吐达到H100的1.33倍。

公司还对强化学习(RL)训练进行了工程估算:以1024张卡对已有预训练基座开展强化学习,在激活参数为40B的中心情景下,完成约1T总参数的MoE模型、生成Token规模为500亿的任务,预计需要约26天。该数据基于特定工程假设,实际耗时还取决于模型结构、训练配置、并行策略和计算利用率。

Token工厂与异构计算:关注吞吐、稳定性和部署成本

大模型推理规模扩大后,算力系统的评价指标逐渐从单次性能扩展至持续吞吐、运行稳定性和单位Token成本。天数智芯披露,天垓300满负荷运行时的步时波动为0.43%,低于其对比的Hopper方案的0.76%。该数据反映特定测试条件下的运行波动,仍需结合测试时长、负载和硬件配置评估。

在软件生态方面,天数智芯称,天垓300原生支持CUDA语义,主流框架已完成适配,并提供从加速卡、服务器到超节点的部署方案。公司同时展示了支持混合训练、PD分离和AFD分离的异构计算架构,可与其他厂商的加速卡及专用芯片协同工作。

AFD分离方案将不同计算任务分配给不同芯片。按照天数智芯公布的架构,天垓300负责Prefill阶段的全流程计算,以及Decode阶段的Attention计算;合作厂商的XPU负责FFN专家网络。公司称,该方案已完成实际部署测试,Decode推理延迟降低60%,并将其称为国内首个基于GPU与XPU异构部署的AFD分离方案。

天数智芯AI与加速计算负责人单天逸表示:“未来的AI算力系统,不一定由一种芯片包打天下。关键是如何把它们高效组织起来,让整个系统发挥更大的价值。我们希望通过开放的异构计算能力,让客户充分利用已有算力资产,以更灵活的方式构建适合自身业务的计算系统。”

在大规模部署方面,天数智芯展示了IXL144超节点。该方案在单个标准机柜内集成144颗GPU,聚合显存约10.1TB。公司测算,其每百万有效Token成本较国际主流方案降低约40%,但公开材料未完整披露对标方案及成本核算条件。

IXL144采用新一代点对点(P2P)互联引擎,面向Scale-up和Scale-out扩展,目标是将域内单次传输延迟从3至5微秒降至1微秒;同时支持统一内存语义编程和大规模专家并行(EP),将专家权重分散至更多计算核心。天数智芯表示,面向不同算力规模和机房条件的其他超节点方案也将陆续推出。

除大模型训练和推理外,天垓300还支持Boltz-2、OpenFold3、Protenix等模型,以及Newton、Warp、ALCHEMI等框架,应用覆盖生命科学、物理AI、化学和材料等领域,包括蛋白质结构预测、药物筛选、机器人仿真、分子动力学和材料结构优化。其中,物理AI需要通过仿真反复验证机器人动作和控制策略。云端GPU可以承担大规模并行仿真与训练,为机器人部署前的策略验证提供计算支持。

用AI开发AI:Agent参与模型部署与GPU调优

随着新模型持续迭代,环境配置、模型部署、性能分析、算子调优和编译测试等工作,仍需要大量工程投入。天数智芯此次展示的天数智算软件栈,将部分工具和工程经验封装为Agent可调用的技能,让AI参与开发与优化流程。

在模型部署方面,AI可协助完成环境安装、配置检查和服务部署。根据公司披露的PD分离部署测试,相关流程耗时从约1小时缩短至10分钟,人工操作步骤从数十步减少至1步。

在性能调优方面,软件栈结合自研性能分析工具,根据实际运行数据定位瓶颈、提出优化方案,再通过测试验证效果。天数智芯称,在某大模型调优任务中,工作周期从7天缩短至2小时以内;在相同硬件、模型和精度要求下,运行性能较优化前接近翻倍。

在代码开发方面,天数智芯展示了Agent与FlyDSL协同的流程。开发者给出目标和约束后,AI参与代码生成、编译、测试与性能优化,并根据正确性检查和性能测试结果迭代修改。

公司称,在某主流模型适配与调优任务中,原本需要10人天的工作缩短至1人、小时级完成,编译速度提升90%以上。在理想状态下,系统可用原来1%的编译时间达到99%的运行性能。上述结果来自特定任务测试,实际效果取决于任务类型、工具覆盖范围和验证机制。

天数智芯副总裁石加圣表示:“Agentic AI让一位工程师的经验,能够持续服务千千万万开发者。”公司希望将GPGPU工程师在模型适配和性能调优中积累的方法沉淀为可调用的工具与技能,供模型和应用开发者在工作流中复用。

彤央TY1200:端侧大模型延伸至视频生成与物理AI

天数智芯将云端积累的模型压缩、量化、蒸馏及软硬协同能力延伸至端侧,并配套通用GPU架构、编译器、算子库和性能工具。其目标是支持模型在云端训练、本地部署,并在需要时由云端承担更复杂的分析任务。

天数智芯彤央产品市场负责人宋远盈表示:“云端GPU厂商做端侧,不是把芯片做小,而是把能力下沉。”

此次展示的彤央TY1200标称稠密算力为300 TOPS。天数智芯称,在Qwen3.8-27B、Qwen3.6-35B-A3B等模型测试中,TY1200的性能达到NVIDIA Thor T5000的1.2倍。公开材料未完整披露相关测试的硬件配置、精度、并发量和评价指标,因此该结果仍需结合具体测试条件理解。

在本地应用方面,TY1200可用于合同审核、投资商业计划书分析等涉及敏感数据的任务,减少对云端调用的依赖。视频生成测试中,该设备运行开源视频模型MiniMax H3,平均约6分钟可生成一段1056×608分辨率、时长5秒的视频;在1376×768分辨率下,平均耗时约11分钟。任务在本地完成,不产生云端模型调用费用,但设备采购、功耗和运维仍构成实际使用成本。

在物理AI方面,TY1200支持基于MuJoCo-Warp的GPU加速物理仿真,可在本地开展机器人动作学习所需的并行仿真。现场演示包括MicroDuck的本地仿真、策略训练和动作验证,以及搭载TY1000算力模组的机器狗进行人脸识别和跟随。

天数智芯还公布了TY1200的世界模型测试结果:在Cosmos-R2-2B和Cosmos-R2-8B测试中,其性能分别达到Thor T5000的158%和180%。相关结果对应指定模型和测试条件,不能直接外推至所有物理AI任务。

此外,在储能电芯研究中,TY1200支持科研智能体采集、治理实验数据,并在约2分钟内生成报告;在应急视觉识别中,端侧计算机视觉(CV)模型与多模态大模型交叉验证后,识别准确率由70%提升至95%;在文旅场景中,同一设备可在白天提供智能导览、夜间训练CV小模型。搭载TY1200的陪诊机器人已在上海市阳光康复中心为视障人士提供导诊、分诊和引导服务。

天数智芯还预告下一代端侧产品彤央TY2000,标称算力将达到600T,暂未公布具体配置、功耗、上市时间和价格。