微信开源 WeVisOne-VL，找物、抠图，要包办 90%图片工作

一个模型同时干四件事：找出指定的人、数清货架上的橙子、读出包装上的字、把主体抠成透明底。微信视觉团队开源的 WeVisOne-VL 提供 2B 与 4B 两版，测评集答对比例比同类高出 32%，把过去要来回切换的图片流程收进同一次调用。

在对图像处理的工作流中，我们经常要做几件小事：找出某个人，数一数商品，读出包装上的字，再把主体抠出来。

单看每件事，好像都不难，好像都有现成工具。但实际上，两个大痛点持续存在：

第一，虽然现在已经 AI 大纪元了，但实际上，各个厂商都卯着劲儿干通用大模型，这些边边角角的垂类模型，没啥人干，所以进展缓慢……

第二，每个需求单看有解法，但放到一次完整的工作里，仍然要切换软件、重新选择对象、检查结果，没办法“一模包办”。

这个问题，最近微信官方下场解了。微信视觉团队开源了一个新模型 WeVisOne-VL，把图片相关的处理，放进同一套模型，在测评集中，答对比例比同类模型高出 32%。

WeVisOne-VL 提供 2B、4B 两个版本，可以输出位置、数量、文字，以及分割和抠图结果。官方介绍的数据规模也很醒目：超过 1 亿张标注图像，约 36 亿个目标框。

我们取一些实际例子进行测试，同时也看一下，这套模型本身，能够在什么场景下创造出新价值。

01 干活实测：找人、数棋子，再看看读字和抠图

找人

第一张是 Demo 提供的是乐队照片，画面里有弹琴、打鼓、拿吉他和唱歌的孩子，要求是找出“拿着麦克风的男孩”。模型返回了两组位置坐标。

根据坐标叠回原图后，画面中间拿麦克风的两名男孩被圈了出来，麦克风、男孩、还有“拿”这个动作，都被解析出来了。

接下来，继续使用同一张照片，把指令改成寻找“拿着小提琴的男孩”，实际上，肉眼可以辨别出来，画面里有多种乐器，但没有小提琴。AI 需要识别正确，不仅需要识别物体，还需需要辨认人物和动作关系：同样是男孩，弹琴、打鼓的人不应该被选进去。

这次返回的是：

<ref>boys holding violin</ref><box>none</box>

返回了 None，意思是 空，表达并没有“拿着小提琴的男孩”，识别结果正确。

在这道题里，它没有把吉他或其他东西硬认成小提琴，也没有随便圈一个人。这个值得额外强调下，识别“不存在”，实际上比认出某个物体更难，很多情况下，因为 AI 有求必应的特性，就算图里没有，模型也常常硬给出一块区域，找不到，也要凑一个答案。

但这个场景又非常重要，图片处理经常会遇到“不存在”的情况。比如识别素材里没有要求的对象，货架上没有某个商品，包装上没有某段文字。系统如果仍然给出位置，后面的裁切、计数和信息提取就可能跟着出错，各种判断也不会准，没有办法放心的在现实流程中应用。

数棋子

第二组，我们测试数棋子，这是一个有点挑战的测试题。

一张国际象棋照片，选择带框计数，要求统计“白色棋子”。实际运行后，模型返回了 16 个目标框，总数 16。

计数是准确的，并且逐个框选之后，后续流程可以很方便的继续核对有没有漏检、重复计算，或者把黑棋算进去。

现实世界中，除了数棋子，还有烧烤店数串签、水果店数库存等等。官方提供了一组水果摊的密集检测案例：苹果、橙子摆在多个筐里，对比的其他模型基本上都没有识别准确，但是 WeVisOne-VL 准确给出了数量，并且清晰地给出坐标。

OCR 认字

OCR 能力实际场景中很常见，并且市面上已经有一些 OCR 模型做的比较不错，比如 Xiaomi-OCR-0、百度 Unlimited OCR 2、DeepSeek-OCR 等，但这些模型强大归强大，但都有一个问题，就是他们都是专用模型，只能干 OCR，干不了别的。

如果图片处理需要同时处理文本识别和其他能力，过去都得接多个模型，徒增成本，WeVisOne-VL 则把这些能力收在一起，不仅可以做其他的处理工作，OCR 的水平也很不错。

OCR 对比图中，分别尝试了招牌、食品包装、小票与文字说明图，这些都是常见的 OCR 场景。

左边第一列是原图，第二列和第三列是其他对比模型，右边一列是 WeVisOne-VL。

官方教程还展示了指定文字定位：同一张咖啡店招牌，既可以识别全部文字，也可以只寻找 SMALL ALLEY 这段字的位置。两种能力，读取内容与寻找指定信息，因而可以使用两种接口，用于不同场景。

图片分割

分割的一组例子很直观，桌面摆着多个遥控器，指令要求选中最左边一个和从右数第三个，官方结果将这两个对象分别描了出来。

抠图

来到抠图，这个直接看效果吧，最右侧一列是 WeVisOne-VL。

• 第一组是找出鸡圈里的鸡，其他模型或多或少都有一些错误，WeVisOne-VL 完全正确；
• 第二组是抠除冰山，其他的模型由于采用像素抠像，导致抠出来的结果丢失了大量细节，WeVisOne-VL 则保留很完整；
• 第三组是一张热气球照片，要求抠除球体上的文字为“Daikin”的指定对象，这些文字本身是花体字，还有遮挡，相当于既需要 OCR，又需要识别出和其他热气球边界，还需要抠图，三件事同时进行，WeVisOne-VL 的效果很惊人。

02 从一句指令到一张抠图，模型里发生了什么？

前面这些功能，可以放到一个连续的过程中理解：用户说清楚要找什么，模型确定对象，再按任务要求给出不同精度的结果。

WeVisOne-VL 开源的同时，也公布了完整的技术报告，我用简单易懂的方式简单讲讲原理。

基于 Qwen3-VL 的三步推理

以“把穿黑衣服的人抠出来”为例，模型需要做的事情是，既要理解“穿黑衣服”这个条件，也要在图中选对人，最后还要处理衣服和发丝的边缘。这几件事，分别对应模型里的不同部分。

首先，由 Qwen3-VL 提供看图和理解指令的基础。

WeVisOne-VL 在 Qwen3-VL 上继续训练。图片进入视觉编码器，变成模型可以处理的图像特征；这些特征和文字指令一起交给语言模型，用来判断用户描述的是谁、在哪里。图像编码器与语言模型构成它的主体，另外还有一个负责像素结果的解码器。

接着，用统一格式表达“选中了什么、位置在哪里”。

找人时，模型输出对象名称和框的坐标；数棋子时，输出多个框或点以及数量；读字时，输出文字及其位置。它把这些任务都组织成结构化的输出，坐标也有专门的符号表示。

这就解释了为什么同一个模型能完成多种任务：它们共享了“理解描述、确定对象、给出位置”这套基础能力，再根据要求输出框、点、文字或数量。前面实测返回的两个人物框、16 个棋子框，正是这种输出的具体表现。

需要分割和抠图时，再由像素解码器处理轮廓和边缘。

模型在每个目标框后生成一个特殊标记 <OBJ>，把这个对象的内部表示传给解码器。解码器同时读取目标框和视觉编码器已经提取的多层图像特征，生成该对象的像素级轮廓或透明度图。

分割需要的是对象与背景的区分；抠图进一步保留连续的透明度，以表现细发丝和半透明边缘。这个约 960 万参数的解码器复用了主体模型的视觉特征，推理时不必再外挂一个大型 SAM 分割模型。

所以，文字选对象和精细抠图之间，有了一个明确的衔接：语言部分决定处理谁，像素部分决定怎样把它分出来。选错了对象，问题出在前面；对象选对、发丝处理不好，则要检查后面的像素结果。

专门训练难题解决能力

这套架构之外，训练也决定了它怎样处理难题。

团队用数据引擎将对象描述、位置框、分割轮廓和透明度标注关联起来。训练先让模型学会统一的输出格式，再加强小目标和密集场景，随后接入像素任务，最后通过强化学习优化定位结果。

“图里没有”的问题也被专门纳入训练：既纠正不存在却乱框的情况，也纠正目标存在却漏找、选错的情况。这样，模型在作出位置预测时，也需要学习何时应该返回空结果。团队还专门自建了一个 WeRef-Bench 的数据评测集，针对无目标问题的正确拒绝率进行训练。

WeVisOne-VL 的特点，落在这些环节的配合上：多项任务共用对象与位置的表达，像素解码器把定位接到分割和抠图，无目标训练则减少后续流程收到错误对象的机会。

当然，这并不能说 WeVisOne-VL 就是无敌了，官方也明确提到了两点局限性：

• 复杂遮挡、透明物体和模糊指令，仍然对模型有巨大挑战；
• 为了提高推理效率，该模型直接生成结构化输出，没有显式的思维链（CoT）推理。

03 从处理一张图，到接进一套图片工作流

回归到应用层，我们可以根据 WeVisOne-VL 的能力特性，找到它的应用场景。

对内容团队和电商运营来说，比较直接的用途，是按描述提取人物或商品，再交给排版、换背景等后续环节，比如素材管理可以利用定位结果筛选合适的商品，商品盘点和包装信息提取则可以使用计数与 OCR 能力。

这些场景共同需要的，是让模型返回可继续处理的位置、文字或图片文件。使用方式也可以顺着需求逐步展开。

初步体验效果，可以使用官方提供的在线网页 Demo：

• 2B 版本：https://huggingface.co/spaces/hugging-apps/wevisone-vl-2b
• 4B 版本：https://huggingface.co/spaces/hugging-apps/wevisone-vl-4b

进入页面后，选择找物、计数、OCR 或抠图等任务，再提供图片和描述，就可以观察输出。推理在服务器上完成，不需要先把模型装到自己的电脑里。我们前面的三项测试，也是这样运行的。

要反复处理一批图片，就使用官方推理包。

开发者需要先在具备合适运行环境的设备或服务器上安装推理包、加载模型权重。之后每次调用，主要提供三样东西：图片、任务类型，以及目标描述。例如选择抠图任务，目标写成“person”，程序便可以取得对应结果，再保存透明度图和带透明通道的图片。

详细的开发者文档可以参阅：https://github.com/Tencent/WeVisOne-VL

同一个程序可以依次读取文件夹中的图片，把输出保存到指定目录，记录没有找到对象或处理失败的文件。对已有网站、素材库和运营系统，也可以将这段程序封装成 HTTP 服务，由业务系统提交任务、取回结果。模型负责视觉处理，批量调度、文件命名和复核流程需要由应用补齐。

对于大多数人来说，也可以直接接入 Claude Code、Codex 或者 DeepSeek Harness，让 Agent 对其进行调用。

可以向 Agent 提出任务：

“把 WeVisOne-VL 封装成可调用的脚本，调用 WeVisOne-VL 把文件夹里的商品逐张抠出来，统一保存为透明背景图，并列出需要人工检查的图片。”

和通用 Agent 的协作，是 Agent 负责做大脑，调用脚本、遍历文件、安排步骤和汇总结果，WeVisOne-VL 干具体的处理图片的活儿，既达到更精确的效果，还节约 Agent 的成本。

挺有意思的，随着大模型能力的发展，一些外溢能力覆盖到专门领域中，做模型的思路也随之开阔。于是，图像、OCR、音频等垂直领域的模型，实际上在这段时间有井喷的趋势。

这些模型各有来路，参数规模也不同，但有一件事相通，它们把注意力落到了具体的能力上，切实改变细分场景的效率，我觉得挺好，有需要的团队可以用起来了。