为促进生物医学工程学院师生的学术交流，加强信息互通，我院定期举办“生物医学工程学院学术论坛”，邀请院内师生分享学术信息，以开阔学术视野、发掘学术兴趣、增加学术交流，营造“人文生工、学术生工、创新生工”氛围。

2021年9月10号中午，医学信息工程系的杨鑫老师和硕士生黄雨灏、博士生骆明远共同作为“生物医学工程学院学术论坛”第十二期嘉宾，在A2-517开展题为“自由式三维超声重建与弱监督精确图像分割”的学术报告，吸引了我院多位师生参加。

1. 自由式三维超声重建

三维超声影像由于具有丰富的空间信息而得到重要应用。然而，其视野范围和可操作性仍有较大的改善空间，以更好地满足临床需求。通过直接从二维超声视频影像重建三维的超声立体影像，无传感器自由式三维超声重建有望解决这一问题。目前这一领域内的研究方法仅实现了基于简单扫查手法的超声视频影像重建，这与实际临床扫查中通常包含的复杂扫查手法之间仍存在较大差异，因此无法有效应对复杂的序列重建任务。

为解决上述关键问题，杨鑫团队提出了一个新型的在线学习框架，通过在测试阶段挖掘测试序列自身包含的信息来应对上述复杂的超声扫查手法所带来的挑战。其核心思想包括：1）通过自监督学习策略来挖掘测试数据自身的上下文信息，作为约束以提高模型的感知度；2）受形状先验的启发，引入了在线对抗学习以加强模型对于重建容积中解剖形状先验知识的学习；3）设计了一种可微的重建近似方法以保证在线学习的端到端优化。在多个超声视频影像数据集上的实验，验证了在线学习框架在精确重建、降低漂移误差和提高路径相似度方面的优越性。

2.弱监督精确图像分割

全监督分割方法在医学影像分割任务中取得了不错的成绩。但是，逐像素的标注耗时巨大，且严重依赖专家经验。弱监督分割的出现有望缓解影像标注的问题。然而，目前的相关研究仍存在着轮廓定位不准、依赖于伪标签生成和类别激活图（CAM）等限制。

为解决上述关键问题，杨鑫团队提出一种新型的基于强化学习的弱监督精确分割框架，命名为逆转学习（Flip Learning）。其以改变矩形框区域的分类标签为弱奖励，驱动强化智能体将病灶目标从标注框中逐步擦除，从而逆转分类标签（如：肿瘤->正常组织），最终被擦除的区域就是目标分割结果。为了提升强化智能体的学习效率和弱监督分割的准确度，在多个协作智能体（Multi-Agent）的基础上，提出了如下关键设计，以实现精确分割：1）通过超像素编码以稀疏化图像环境（Environment）；2）防止欠分割和过分割的奖励函数（Rewards）；3）由粗到细的两阶段学习策略（Coarse-to-Fine）。

在大量且具有足够难度的乳腺超声数据集上进行验证，该团队的研究方法可达到91.12%的DICE，接近全监督方法的93.44%，且比经典的类别激活图类的方法Grad-CAM提升了接近40个点（52.66%）。