清华大学生物医学工程学院廖洪恩、张辉团队在信息融合领域权威期刊《Information Fusion》在线发表题为“Rethinking modality fusion: CT-assisted PET network for efficient 3D tumor segmentation”（重新思考模态融合：面向高效三维肿瘤分割的 CT 辅助 PET 网络）的研究论文。论文第一作者为清华大学生物医学工程学院直博生张枫逸，通讯作者为清华大学生物医学工程学院张辉研究员和廖洪恩教授。

文章在线发表页面

《Information Fusion》（五年平均影响因子：19.9）是中科院大类计算机科学 1 区 TOP 期刊，长期关注多传感器 / 多模态融合算法、融合架构及其在医学影像、遥感等方向的原创性研究。

临床 PET/CT 肿瘤分割任务中，PET 负责提供肿瘤代谢信息，CT 主要提供解剖参考，但现有网络大多将两种模态同等对待，忽视二者模态非对称的固有特性。无差别特征融合不仅造成参数量冗余，还容易被 CT 大量背景信息稀释 PET 肿瘤特征，对占比极低的微小肿瘤分割十分不利。此外，任务中肿瘤（前景）与正常组织（背景）的类别数量严重失衡，小病灶信息极易被海量背景信息淹没，进一步制约模型的临床分割性能。

PET与CT间的信息差异

为解决上述难题，该研究提出全新 CT 辅助 PET 网络 CAP‑Net，用于高效三维 PET/CT 肿瘤分割。网络由采用非对称特征融合 SCAF 的浅层 CNN 分支与 CAP‑RWKV 分支共同构成，分别从局部、全局两个层级开展模态非对称融合，确立 PET 的主导模态地位，CT 承担解剖辅助的角色。在 CAP‑RWKV 模块中，该研究设计 LVS‑TAA（局部方差相似度 Token 区域分配）策略，依托 PET 体素特征直接定位高摄取病灶区域，为其分配精细 token；而将大面积背景合并为大尺寸 token，避免肿瘤特征被海量背景信息掩盖。基于这套自适应 Token 分配机制，该研究进一步设计 KT‑CE 关键 Token 交叉熵损失，针对性缓解 PET/CT 分割任务严峻的类别不平衡问题。该研究首次在肿瘤分割任务中明确以 PET 为主导模态实现 PET/CT 非对称特征融合，同时创新性利用 PET 先验信息指导 Token 区域划分。

所提出的CAP-Net网络结构图

该研究在 AutoPET、Hecktor 和 PSMA 三个公开 PET/CT 数据集上开展系统验证，覆盖全身肿瘤、头颈部肿瘤、前列腺肿瘤等不同临床场景。实验设置 small 与 huge 两种模型规模，并与 CNN、ViT、Mamba、RWKV 以及多模态融合等多类代表性分割算法开展对比。结果表明，CAP‑Net 在绝大多数评价指标上取得最优或次优的分割性能，在肿瘤体积占比极低的小肿瘤子集上优势尤为突出；其中轻量版 CAP‑Net (small) 相比前沿高效模型 Mobile U‑ViT 参数量降低 57.4%，兼顾分割精度与模型效率，展现出优秀的有效性与泛化能力。

三个数据集上的所提出方法的定性结果，蓝色代表假阴性（FN），红色代表假阳性（FP）

值得注意的是，相较于基于熵的token划分策略，该研究提出的LVS-TAA 能够依托 PET 代谢先验实现自适应粒度划分，可在更少 token 数量下完成对病灶区域的精细覆盖，同时对大面积背景做合并处理，有效减少计算开销的同时保护小肿瘤特征。

所提出的LVS-TAA方法的自适应token划分可视化

该工作立足 PET/CT 临床诊断逻辑，跳出传统对称多模态融合思路，从模态非对称先验出发，结合自适应 token 划分与定制损失函数，在显著降低参数量的同时提升 3D 肿瘤、尤其是微小肿瘤分割精度。论文原文链接：https://doi.org/10.1016/j.inffus.2026.104690