【本网讯】近日,永利计算机学院胡靖副教授、吴锡教授与永利校外导师Keya西雅图研究院王昕博士合作,在医学图像分析领域顶级期刊Medical Image Analysis(中科院一区,影响因子11.148)发表了题为“End-to-end multimodal image registration via reinforcement learning”的论文,提出了基于深度强化学习的多模态医学图像配准框架,用于大脑MRI图像和CT图像的精确配准。胡靖博士为论文第一作者,吴锡博士和王昕博士为论文共同通讯作者,永利在线官方网站为第一署名单位。
该研究提出了一种基于异步时序智能体的配准算法,通过训练一个强化学习智能体执行简单的离散动作模拟医学专家对图像进行渐进式的自动配准。该方法可以将传统意义上二维的图像配准转化为具有序列信息的三维空间学习问题,并设计出了一个自定义的由固定点误差驱动的奖励函数来引导强化学习智能体向正确的配准策略学习。该研究在临床医学中多模态鼻咽癌数据(CT、MR图像)中进行了评估。结果表明,该方法在医学图像刚性配准的精确度方面达到了较优异的效果。
图1.算法流程图
文章信息:Jing Hu, Ziwei Luo, Xin Wang*, Shanhui Sun, Youbing Yin, Kunlin Cao, Qi Song, Siwei Lyu, Xi Wu*. End-to-end multimodal image registration via reinforcement learning. Medical Image Analysis, 68(2021): 101878.