在商汤没做成的技术,登上了华为发布会。


作者:李秋悦
编辑:吴彤

2022年6月,刘睿港中文博士毕业,赶上的却是一个“坏时候”。

深度学习的高光已持续近十年,新突破越来越难;疫情之下,经济低迷,同届不少同学选择延期,再守一年实验室。

刘睿没有等,他直接去了商汤。

两个月后,Stable Diffusion发布;又过了三个月,ChatGPT引爆全球。刘睿毕业时以为正在退潮的世界,忽然换了一片海——商汤赖以生存的生意,为手机厂商定制算法、出售授权,开始松动;原本需要一个团队单独研发的算法,正被一个个基础模型收编。

然后是2023年12月,汤晓鸥去世。

“定海神针”突然离开,公司内部人心惶惶。刘睿也第一次认真想:汤老师不在了,商汤怎么办,自己怎么办。

回头看,这个“坏时候”里埋着他此前人生的所有伏笔。2014年考入电子科技大学,他最初学光电子,很快觉得天地太窄;转入英才实验学院后,吴恩达的CS229让他迷上机器学习,李飞飞的CS231n把他领进深度学习和计算机视觉。2018年,他进入港中文MMLab,在王晓刚、李鸿升门下研究生成式模型——那正是几年后掀起巨浪的方向。从传统机器学习到深度学习,他几乎踩着AI最热闹的鼓点走完了求学路,却在毕业这年,听见鼓点停了。

2024年,刘睿加入华为。这一次,他想换一种做技术的方式:不再把算法卖给客户,而是直接把它交到用户手里。

此前在商汤未能立项的对话式修图,被他推上了2025年华为Mate 80的发布会;年底,小艺大模型应用实验室成立,刘睿出任首任主任,研究范围涵盖大语言模型、多模态智能、Agent与具身智能。做研究与做产品,在他手里第一次合流。

也正是在这个时候,2022年那个“坏时候”显出了另一副面孔:如果他像同学一样延期一年、守在实验室里等风停,等来的不会是避风港,只会是又一场追赶。所谓坏时机,不过是旧浪退去、新浪未至的间隙——有人站在岸边等,有人先下了水。

现在,刘睿关心的不再是追不追得上技术,而是另一个问题:模型能做的,和用户要的,之间还差什么。

以下是雷峰网左林右狸频道与刘睿(华为小艺大型模型应用实验室创始主任)的对话,经编辑。


01 商汤往事,大模型颠覆算法生意

左林右狸频道:2018年,你在本科大四下学期去商汤科技研究院做实习生,是什么契机?

刘睿:2017年7月,我参加香港中文大学MMLab的夏令营,认识了王晓刚、李鸿升、林达华几位老师。他们给我发了口头offer,我聊下来感觉也很好,决定明年去港中文MMLab读博。
王晓刚、李鸿升老师觉得,做研究应该解决更有价值的工业界问题,所以建议我去商汤科技研究院实习,提前接受一些产业界的锻炼。

左林右狸频道:当时面试你的人是闫俊杰。

刘睿:俊杰这个人非常好,非常Nice,他是一个很有技术追求的人,也是我当时的mentor。
但第一次面试时我对他的印象其实是他很sharp,面试体验也很特别,不会像其他面试官一样安安静静听你完整讲完一个工作,而是从一个点开始连环追问你,一直挖到触及你的知识盲区,再让你继续介绍工作。而且他抓重点非常精准,非常高效。十几分钟的连环问结束,他说欢迎来实习,就挂断了电话。

左林右狸频道:在商汤科技研究院实习那小半年的时间,你在做什么工作?

刘睿:当时主要做人脸识别研究。俊杰虽然是我的Mentor,但他从2015年加入商汤,一路从实习生做到总监,工作已经非常忙了,所以我更多是独立开展研究,向组里一些资深的研究员学习。
这段实习有两个大收获,第一是接触到了大规模算力集群。当时商汤拥有非常丰富的GPU资源,我们可以一次性启动几百甚至上千张GPU训练人脸识别模型。我也是在那里学会了大规模GPU集群的使用。当时还处于深度学习时代,大家对算力重要性的认识没有今天这么深,但已经隐约感觉到,有算力的地方就有优势。
第二是建立了产业界的Sense。此前我做研究,更多关注偏理论的问题。但在商汤,我逐渐意识到,真正有影响力的研究,应该解决实际的工业难题。这段经历也影响了我后来的研究选择,我一直希望自己做的技术能够解决真实的工业问题。

左林右狸频道:2022年6月,你从港中文MMLab博士毕业,去商汤工作了两年?

刘睿:我读博期间,王晓刚老师的主要精力已经逐渐往商汤迁移,我也受到王老师的影响,跟他所在的商汤部门有一些合作和联系。王老师主要负责牵引工业问题,李鸿升老师指导我具体的学术研究。
毕业后,我算是顺理成章就加入了王老师负责的商汤MIG(Mobile Intelligence Group,移动智慧事业群)。当时MIG主要分终端和智驾两块,我在终端方向,主要为“华米OV”等手机厂商研发算法。同期合作比较多的是孙文秀和任思捷,俊杰当时已经离职创办MiniMax了。

左林右狸频道:那两年你在干嘛?

刘睿:我们当时做的事情很简单,就是尝试跟高通、联发科这些端侧芯片公司,包括索尼这样的半导体公司合作。
因为华为、小米、OPPO、vivo这些手机终端厂商,都需要采购底层芯片。他们可能需要买高通、联发科的CPU、GPU芯片,以及索尼的图像传感器(作为手机相机模组里的核心组件)。
我们在整个终端领域,相当于直接从上游切进去,我们跟这些半导体公司合作,帮他们做一些预研。比如他们有一些新型的、在研的、比较机密的芯片,会提前让我们拿到。我们就在这些芯片的基础上做算法研究,看怎样能够在端侧芯片上跑出效果好、性能也好的算法Demo。
当华为、小米、OPPO、vivo这些手机终端厂商采购芯片的时候,我们一方面可以帮助芯片厂商证明自己芯片的优越性,另一方面也能宣传我们自己的算法。我们还可以把这些算法打包卖给手机厂商,基本上做的就是这样一个生意。

左林右狸频道:2022年底,Stable Diffusion和ChatGPT相继出现,商汤内部什么反应?

刘睿:我们感受到的冲击非常明显。在商汤的时候,包括汤老师、王老师,包括我自己、闫俊杰,很早都意识到了传统深度学习的一些问题。前大模型时代,也就是Deep Learning时代,最大的问题就是不泛化。
但是大模型一出来,你发现它泛化了。所有NLP领域的Task,都可以被一个统一的模型解决掉,而且统一在Dialogue,也就是对话的框架里面,这件事情就变得很Crazy了。
我们相信这是一个变革性的技术,一定会席卷全世界。所以我觉得,我们内部也得开始做这件事情。

左林右狸频道:2022年底,你在商汤内部做了两个重要的talk。

刘睿:我跟业界同行线上线下交流比较多,包括在知乎、推特这些社交媒体上,也有很多技术讨论。至少在我们这个领域内,大家很快就达成共识:GPT和Diffusion这些技术就是未来。
所以,那一年年底,我马上在MIG内部做了两个Talk。一个是介绍图像生成,也就是Diffusion Model;一周之后,我又做了另一个报告,讲大语言模型,也就是GPT路线。
我算是较早在MIG内部宣传、推广这些新技术的人,部门就让我去负责一些新兴项目,也就是生成式AI领域。我开始从芯片预研独立研究员转型成Team Leader,带团队做前沿研究,包括探索最前沿的大模型、生成式AI相关算法和模型以及怎么样在端侧场景中落地。
原文:https://www.leiphone.com/category/ai/Ep3M1c7RboyafpOS.html