日前，中国科大苏州高等研究院医学影像智能与机器人研究中心（MIRACLE）在多模态医学影像合成范围提出了一种新的通用多模态影像合成办法，用于缺失模态的插补，并验证了该办法在处置多模态核磁共振影像合成任务中的有效性。该办法可以在仅有部分模态数据的状况下生成缺失的影像模态，为临床诊断和手术计划提供了要紧支持。研究成就以“Unified Multi-Modal Image Synthesis for Missing Modality Imputation”为题，发表在国际知名期刊IEEE Transactions on Medical Imaging上。

在本研究中，研究团队提出了一种新型的通用多模态影像合成互联网，通过生成对抗互联网构造，借助任意可用的模态来生成缺失的模态。该互联网设计了一个共异性特点敏锐的编码器（CDS-Encoder），与一个动态特点统一模块（DFUM），有效整理了不同可用模态的特点信息，从而提升了合成影像的结构一致性和细节真实性。

实验结果表明，该办法在处置多模态核磁共振影像合成任务时，表现优于现有办法，为多模态医学影像数据的不完全性问题提供了一种有效的解决方法。

多模态磁共振影像合成示例（T1+T2+T1Gd-FL人工智能R）

Tags：多模态