《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 視頻 > 基于自适应卷积和动态Transformer的红外与可见光图像融合

基于自适应卷积和动态Transformer的红外与可见光图像融合

2026-03-27
內(nèi)容簡(jiǎn)介:在紅外與可見(jiàn)光圖像融合任務(wù)中,傳統(tǒng)卷積網(wǎng)絡(luò)多依賴(lài)固定卷積核,難以根據(jù)場(chǎng)景差異自適應(yīng)提取跨模態(tài)特征,也難以兼顧局部紋理與全局語(yǔ)義關(guān)系。因此,提出一種結(jié)合自適應(yīng)卷積和多尺度動(dòng)態(tài)Transformer的融合方法。自適應(yīng)卷積用于提升不同模態(tài)特征的空間對(duì)齊與互補(bǔ)信息交互能力;動(dòng)態(tài)Transformer在此基礎(chǔ)上強(qiáng)化遠(yuǎn)程依賴(lài)建模,同時(shí)抑制局部細(xì)節(jié)的退化,多尺度結(jié)構(gòu)設(shè)計(jì)進(jìn)一步廣泛捕獲多層次關(guān)鍵信息。解碼器端到端生成融合圖像,并結(jié)合像素、梯度與結(jié)構(gòu)三元組損失進(jìn)行優(yōu)化。實(shí)驗(yàn)在TNO與RoadScene數(shù)據(jù)集上開(kāi)展,對(duì)比六種主流方法,結(jié)果表明本方法在圖像質(zhì)量、信息保持與細(xì)節(jié)增強(qiáng)方面均取得優(yōu)越性能,并在推理效率與性能穩(wěn)定性方面取得良好平衡,能夠有效兼顧紅外目標(biāo)的顯著性與可見(jiàn)光紋理的保真。