《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 模拟设计 > 设计应用 > 基于双域协同的多模态磁共振图像超分辨率重建算法
基于双域协同的多模态磁共振图像超分辨率重建算法
电子技术应用
王路路，杨宇杰，刘思忆
昆明理工大学 信息工程与自动化学院
摘要： 单图像域重建的图像存在结构性和非局部的混叠伪影，并且多模态超分辨率重建网络忽略了由于模态特异性差异导致的不合理特征融合。针对此问题，提出了基于双域协同的多模态磁共振图像超分辨率重建算法。通过双域协同的方式，结合包含结构信息的图像域局部特征和包含频率分布的频域全局特征，消除不同模态间的错位关系带来的影响。设计可变形跨模态注意力模块将T1模态中的高频互补信息自适应迁移至T2模态；隐式注意力机制实现任意尺度的超分辨率重建。实验结果表明，DDCMC相对于其他单域重建的图像具有较好的视觉质量。
中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)志碼：A DOI: 10.16157/j.issn.0258-7998.256492
中文引用格式： 王路路，楊宇杰，劉思憶. 基于雙域協(xié)同的多模態(tài)磁共振圖像超分辨率重建算法[J]. 電子技術(shù)應(yīng)用，2026，52(1)：78-86.
英文引用格式： Wang Lulu，Yang Yujie，Liu Siyi. Multi modal magnetic resonance image super-resolution reconstruction algorithm based on dual domain collaboration[J]. Application of Electronic Technique，2026，52(1)：78-86.
Multi modal magnetic resonance image super-resolution reconstruction algorithm based on dual domain collaboration
Wang Lulu，Yang Yujie，Liu Siyi
Faculty of Information Engineering and Automation， Kunming University of Science and Technology
Abstract： The images reconstructed from single image domains suffer from structural and non-local aliasing artefacts, and the multimodal super-resolution reconstruction network ignores irrational feature fusion due to modality-specific differences. To address this problem, a multimodal magnetic resonance image super-resolution reconstruction algorithm based on dual-domain synergy is proposed in this paper. By means of dual-domain synergy, local features in the image domain containing structural information and global features in the frequency domain containing frequency distributions are combined to eliminate the effects of misalignment relationships between different modalities. The deformable cross-modal attention module is designed to adaptively migrate the high-frequency complementary information in T1 modality to T2 modality; the implicit attention mechanism achieves the super-resolution reconstruction at arbitrary scales. The experimental results show that DDCMC has better visual quality than other single-domain reconstructed images.
Key words : magnetic resonance imaging；super-resolution reconstruction；attention；dual-domain learning

引言

磁共振成像（Magnetic Resonance Imaging，MRI）為無創(chuàng)、無損傷的多參數(shù)、多對比度的臨床醫(yī)學(xué)成像技術(shù)，高分辨率MRI圖像可以提供清晰的解剖細(xì)節(jié)和組織的細(xì)微結(jié)構(gòu)，在臨床前期診斷和后期治療中發(fā)揮著不可替代的作用。但在MRI圖像采集過程中，由于患者疾病導(dǎo)致的不自主移動(dòng)等原因，MRI系統(tǒng)須在有限時(shí)間內(nèi)完成采集，導(dǎo)致采集圖像質(zhì)量低下，不能滿足臨床需求。并且通過改良硬件來提升MRI圖像質(zhì)量的方法受限于成本等原因，因此目前圖像超分辨率（Super-Resolution，SR）技術(shù)是提高M(jìn)RI圖像質(zhì)量的重要手段。

MRI系統(tǒng)可以選擇不同參數(shù)形成具有相同解剖結(jié)構(gòu)的不同模態(tài)圖像，如T1加權(quán)和T2加權(quán)，二者擁有可以提供互補(bǔ)信息的圖像紋理。然而在實(shí)際臨床中，由于不同參數(shù)成像時(shí)的采集時(shí)間有所不同，如T1加權(quán)的重復(fù)時(shí)間和回聲時(shí)間短于T2加權(quán)，為此，可以考慮利用含有豐富跨模態(tài)上下文的T1加權(quán)先驗(yàn)信息，構(gòu)建T1指導(dǎo)T2的圖像超分辨率重建模型。目前的多模態(tài)MRI超分辨率重建[1]使用某一模態(tài)提供參考信息指導(dǎo)另一模態(tài)圖像重建，但仍存在以下問題：（1）僅對圖像域中的MRI圖像進(jìn)行特征提取，無視MRI圖像中的頻域信息，從而導(dǎo)致重建的SR圖像存在偽影和模糊；（2）直接模態(tài)特征融合時(shí)，模態(tài)特異性差異會(huì)導(dǎo)致單圖像域重建圖像存在結(jié)構(gòu)性和非局部的混疊偽影；（3）固定整數(shù)上采樣尺度：這些方法只能處理固定的整數(shù)上采樣尺度（如2×、3×、4×），缺乏臨床應(yīng)用所需的靈活性，為每個(gè)上采樣尺度訓(xùn)練和存儲(chǔ)相應(yīng)模型需要大量資源。

為解決上述問題，本文提出基于雙域協(xié)同的多模態(tài)磁共振圖像超分辨率重建算法（Based on Dual Domain Collaboration for Multi Contrast Magnetic Resonance Image Super Resolution Reconstruction Algorithm，DDCMC）。如圖1所示，附加分支提取頻域中MRI圖像特征去除混疊偽影。DDCMC以雙域協(xié)同方式處理圖像，結(jié)合包含結(jié)構(gòu)信息的圖像域局部特征和包含頻率分布的頻域全局特征，提取具有復(fù)雜解剖結(jié)構(gòu)的高頻紋理，消除不同模態(tài)間的錯(cuò)位關(guān)系帶來的影響；構(gòu)建隱式注意力網(wǎng)絡(luò)以實(shí)現(xiàn)任意尺度的超分辨率重建。

圖片1.png

圖1　與當(dāng)前多模態(tài)MRI圖像SR方法的比較


本文詳細(xì)內(nèi)容請下載：

http://www.ihrv.cn/resource/share/2000006917


作者信息：

王路路，楊宇杰，劉思憶

（昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650000）


官方訂閱.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。