標 題：基于深度學習的小樣本三維醫學影像分割研究
英文標題：DeepLearning-based Approaches for 3D
Medical Image Segmentation with Small Data
作 者：賈灝哲
指導教師：夏勇教授
培養院系：計算機學院
學 科：計算機科學與技術
讀博寄語：讀博之路從無捷徑，學必求其心得，業必貴其專精
主要研究內容
近年來，以深度學習為代表的人工智能技術在圖像語義分割問題上已經取得了突破性的進展，越來越多的學者致力于將深度學習技術與三維醫學影像分割進行融合，進一步促進智能化計算機輔助診斷（Computer-aideddiagnosis，CAD）的研究。但是，由于三維醫學影像的特殊性和困難性，目前已有的研究成果與臨床應用的要求之間還有很大的差距。與此同時，由于醫學影像的采集相較于自然場景圖像明顯具有更高的代價和困難，且分割標注費時費力，需要很高的專業知識指導，而深度學習模型的訓練又離不開大規模的樣本數據，這也導致基于深度學習的醫學影像分割問題一直以來都受到小樣本問題困擾。
基于此，本項目依托空天地海一體化大數據應用技術國家工程實驗室，在西北工業大學博士論文創新基金的資助下，針對上述問題和挑戰，從三維醫學影像的成像特點出發，以深度學習理論為基礎，研究出一套基于深度學習的小樣本三維醫學圖像分割模型，充分利用針對不同器官、組織的多模態影像數據和標注信息，提高醫學影像分割準確率。本項目屬于面向國際學術發展前沿和國家重大戰略需求的前瞻性重大應用研究課題，不僅具有巨大理論和應用價值，而且符合“健康中國”和“人工智能2.0”等國家重大戰略需求。主要研究內容與結果如下：
1.基于空間上下文建模的三維醫學影像分割研究
圖1.1APA-Net模型結構示意圖
圖1.2被國內外學者在IEEE-TMI等頂級期刊上正面引用
針對三維醫學影像數據存在的空間分辨率不平衡以及分割目標形態個體化差異較大等特點，構建基于多尺度空間上下文特征學習模塊的分割模型，同時利用對抗學習來進一步校正分割網絡輸出的分割結果，實現小樣本條件下對復雜三維醫學圖像的準確分割，在前列腺磁共振影像分割任務中取得良好效果。得到了包括香港中文大學王平安教授和英偉達公司徐子樂研究員（IEEE-TMI副主編）等國內外學者的正面引用。
2.基于全局高分辨率特征學習的三維醫學影像分割研究
圖2.1HNF-Net模型結構示意圖
圖2.2BraTS2020競賽亞軍
針對大腦膠質瘤中存在很多細小和不規則的區域，以及腫瘤在大腦中的位置和形態變化較大等特點，構建并行多尺度融合模塊來增強網絡的高分辨率特征學習能力。同時引入期望最大注意力模塊，高效低成本地增強模型提取全局依賴性信息的能力，從而進一步提高模型的分割準確率。使用該模型，獲得了國際大腦膠質瘤磁共振影像分割競賽（BraTS2020）分割任務的亞軍。
3.基于多任務協同學習的三維醫學影像分割研究
圖3.1MSD-Net模型結構示意圖
圖3.2PROMISE12競賽排名1/362（2020.09-今）
針對三維醫學影像的分割任務中，目標器官或組織往往與周圍軟組織的對比度較低且來自影像分割標注的監督信息較為單一等特點，在增強分割網絡語義特征提取能力的同時，挖掘影像內在的語義邊界判別性監督信息，進一步輔助分割網絡提取語義判別性更強的影像特征，最后將邊緣檢測解碼器產生的特征融合到分割解碼器中來進一步優化分割結果，并引入協同多任務損失函數為兩個解碼器的聯合訓練添加一致性約束。自2020年9月以來，該算法的分割結果一直名列國際前列腺磁共振影像分割競賽（PROMISE12）的在線排行榜第一名。
主要創新點
(1)提出高分辨率特征學習模塊來增強模型針對細小目標的分割效果，同時引入期望最大化注意力模塊以輕量化的方式強化分割模型捕捉全局依賴性關系的能力；
(2)針對具有復雜空間結構的三維醫學影像構建特殊的空間上下文特征學習模塊用來增強模型的分割效果，同時引入對抗訓練機制來為分割網絡的訓練引入一致性約束；
(3)在分割模型的基礎上構建額外的邊界檢測解碼器來有效挖掘醫學影像數據內涵的多任務監督信息，在有限標注樣本的基礎上實現了對醫學影像的準確分割。
代表性創新成果
一、學術論文
1.Haozhe Jia, Yong Xia*, Yang Song, Donghao Zhang, Heng Huang, Yanning Zhang, and Weidong Cai, “3D APA-Net: 3D Adversarial Pyramid Anisotropic Convolutional Network for Prostate Segmentation in MR Images”,IEEE Transactions on Medical Imaging, vol.39, pp.447-457, 2020.（中科院1區, IF=11.037）
2.Haozhe Jia, Weidong Cai, Heng Huang, and Yong Xia*, “Learning Multi-scale Synergic Discriminative Features for Prostate Image Segmentation”,Pattern Recognition, vol.126, pp.108556, 2022.（中科院1區, IF=8.518）
3.Haozhe Jia,Yang Song, Weidong Cai, Heng Huang, and Yong Xia*, “HD-Net: Hybrid Discriminative Network for Prostate Segmentation in MR Images”,In Proceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), pp.110-118, 2019.（醫學影像處理領域頂級國際會議）
4.Haozhe Jia, Weidong Cai, Heng Huang, and Yong Xia*, “Learning High-resolution and Efficient Non-local Features for Brain Glioma Segmentation in MR Images”,In Proceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), pp.480-490, 2020.（醫學影像處理領域頂級國際會議）
5.Haozhe Jia, Weidong Cai, Heng Huang, and Yong Xia*, “H2NF-Net for Brain Tumor Segmentation using Multimodal MR Imaging: 2nd Place Solution to BraTS Challenge 2020 Segmentation Task”,MICCAI 2020 Brainlesion Workshop, pp.58-68, 2020.（BraTS 2020大腦膠質瘤分割競賽亞軍）
二、知識產權
1.夏勇，賈灝哲，張艷寧，基于集成深度卷積神經網絡的前列腺磁共振圖像分割方法，ZL201710008778.0，2019（發明專利，學生一作）
三、科技獎勵
1.以第一完成人獲國際大腦膠質瘤磁共振影像分割競賽（BraTS 2020）分割任務的亞軍，BraTS2020競賽共有來自世界各地的78個參賽隊伍參加。
