新闻公告 > 学术动态

新闻公告

En

医学部倪东教授团队在Medical Image Analysis上发表文章

2023-12-31

        近日,我院倪东教授团队,联合英国牛津大学、苏黎世联邦理工学院、浙江大学、深圳市人民医院和度影医疗等单位,在国际医学图像分析领域的顶级期刊Medical Image Analysis(IF=10.9)上,发表了一篇题为“Segment anything model for medical images?”的高质量论文。我院倪东教授和深圳市人民医院超声科董发进主任为共同通讯作者, 我院博士生黄雨灏和助理教授杨鑫为共同第一作者,深圳大学为第一署名单位。

 

        为了充分评估分析Segment Anything Model(SAM)在医学影像分割上的泛化性能,并对其进行基于医学影像微调的分析,本研究收集并标准化了53个公开数据集,最终构建了一个包含了18种影像模态、84种生物医学领域分割目标和125个配对组合(分割目标-模态)、1050K 2D图像和6033K分割掩膜的大型医学影像分割数据集COSMOS 1050K(图1)。

 

        通过全面的实验分析,文章的主要结论为:

 

        1. SAM在某些特定分割目标上表现出色,但在其他情况下表现不稳定、不完美甚至会完全分割失败。
        2. 与ViT-B(91M模型参数量)相比,基于ViT-H(636M模型参数量)的SAM在医学影像分割任务上有较高的整体性能;
        3. SAM在手动提示下(尤其是框提示模式)的表现优于Everything模式。

        4. SAM可以高效辅助专家标注,实现更高的标注质量并减少标注时间。
        5. SAM的性能与边界复杂性、强度差异等因素相关- -边界越复杂、前景背景的差异越低,SAM对医学目标的感知能力越差。
        6. 使用医学数据对SAM进行微调,可使其在平均DICE性能提高4.39%(ViT-B)和6.68%(ViT-H)。

 

        同时,文章开源了相关代码和模型,希望能帮助读者更好地了解SAM基础模型在医学影像中的分割性能,并最终促进新一代的医学影像分割基础模型的发展。

 

图1 COSMOS 1050K数据集展示

 

        论文链接:https://www.sciencedirect.com/science/article/pii/S1361841523003213