导语:多模态并不是越多越好。当MRI已经空间对齐,但是T1、T2、FLAIR等模态的采样质量差别很大时,低质量模态可能会把高质量模态中产生的重采样伪影一起带入到融合网
来源:多模态信息融合
文章链接:https://mp.weixin.qq.com/s/SVr9DmtPyzORLYad-tNR-g
ACM MM 2026 · CoReFuse-Med
多模态并不是越多越好。当MRI已经空间对齐,但是T1、T2、FLAIR等模态的采样质量差别很大时,低质量模态可能会把高质量模态中产生的重采样伪影一起带入到融合网络中去。CoReFuse-Med从浅层污染和深层模态偏置这两个方面来对症下药地进行修复。论文标题:When Fusion Fails: Corruption-Aware Rebalanced Fusion for Multi-Modal Medical Image Segmentation
作者:Yuchen Pei, Xiaoyu Hu, Yixiong Zou, Dingwen Hu, Hui Chu, Yutao Ma, Shijun Qiu, Gang Li
单位:华中师范大学、华中科技大学、广州中医药大学及其第一附属医院、北卡罗来纳大学教堂山分校
论文链接:
https://arxiv.org/abs/2609.10261
代码链接:
https://github.com/lrever/CoReFuse
论文在IH EPVS数据集中对高分辨率T1单模态DSC进行了观察,并发现了一个出乎意料的结果:高分辨率T1单模态DSC为0.703,融合T1、T2 和 FLAIR 后反而降到大约 0.695。空间对齐并不等同于信息质量的一致性。低分辨率序列经过重采样之后,其图像和T1同大小,但是可能会含有不可靠的信息。
作者把问题限定在了分辨率不同所引起的质量问题下降上,并没有涉及到未对齐或者模态全部缺失的情况。首先比较浅层特征的F-CNR,然后联合训练梯度和遮挡测试,最后跟踪跳跃连接的噪声传播:由此可以解释为什么“弱训练贡献”也有可能是“强推理干扰”。
论文中提出的特征对比噪声比F-CNR:用病灶区和背景区的均值之差除以背景区的标准差来衡量可分性。第三页特征可视化显示,T1的F-CNR值是1.0283,T2的F-CNR值是0.4301,FLAIR的F-CNR值只有0.2980;T1 约为 FLAIR 的 3.4 倍。即使从几何上来说是重合的,但是浅层表征的可靠性却不一样。