美国持续收紧先进晶片出口限制之际,中国企业和研究机构据报正越来越广泛地利用美国领先人工智能(AI)模型,通过蒸馏技术训练本土模型,以降低开发成本及对先进运算资源的依赖。
路透社审查超过300份中国学术论文、专利、企业披露文件、招聘公告及政府文件后发现,模型蒸馏技术已从学术研究逐渐扩展至中国工业领域的广泛应用。路透社星期二(11月17日)刊登这篇长篇报道。
这些文件显示,中国研究人员利用美国AI模型生成问题答案、编写程序代码及解决复杂问题,再将相关内容转化为训练资料,用于提升规模较小的本土AI模型能力。部分中国企业也已开发软件,将这一过程自动化。
所谓模型蒸馏,是指由能力较强的“教师模型”生成答案或展示如何完成任务,再利用这些结果训练规模较小的“学生模型”,让后者以较低的运作成本掌握部分能力。
这项技术本身并不违法,在全球其他地区也广泛使用。虽然蒸馏无法完整复制先进模型的能力,也不能消除对先进运算资源的需求,但有助开发商以较低成本开发和运行具备特定能力的模型,减少对美国技术的依赖,从而可能削弱美国对华晶片出口管制的成效。
例如,上海交通大学研究人员在2024年11月发表的论文中,介绍如何从美国OpenAI的o1模型生成的回答中筛选约5000条,再利用GPT-4o mini进行翻译,最终整理成1万零750条双语训练样本,用于进一步训练阿里巴巴的通义千问Qwen2.5-72B模型。
阿里巴巴研究人员去年4月也发表论文,介绍利用OpenAI的GPT-4及GPT-4o生成多语言训练资料,再经筛选和评分,用于训练较小的通义千问模型。今年2月,上海交通大学与美团研究人员也介绍,如何利用GPT-4o生成多个AI智能体协作编程的规划,以训练本土模型。
随着蒸馏技术在中国日益普及,美国政府也开始关注相关知识产权问题。三名知情人士透露,今年7月在成都举行的会议上,美国商务部官员曾向中国监管机构表达担忧,指中国开发商大量收集美国领先AI模型的输出内容,并警告部分行为可能构成知识产权盗窃。
一名了解会谈的美国官员说,中方强调蒸馏是AI开发的常规技术,表示愿意在相关行为构成知识产权盗窃时采取行动,但没有作出具体承诺。
这名美国官员也指出,华盛顿认为,大规模模型蒸馏是中国AI模型近年来缩小与美国竞争对手差距的主要原因。
不过,两名熟悉中国AI开发商运作情况的人士对此持不同看法,认为蒸馏只是推动中国AI模型进步的因素之一,工程技术、算法、数据及模型设计等方面的进展,同样发挥重要作用。
据一名知情人士透露,随着蒸馏技术的地缘政治敏感性升高,中国AI开发商近几个月已向工业主管部门寻求指导,希望厘清正常使用外国模型,与有组织地大量收集模型输出内容用于训练之间的界限。
