《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 其他 > 业界动态 > 数字视频图像的亮度瞬态增强算法及其硬件实现

数字视频图像的亮度瞬态增强算法及其硬件实现

2008-03-31
作者:刘 芳,王 黎,高晓蓉,王泽

  摘 要: 介紹了數(shù)字亮度瞬態(tài)增強(qiáng)的基本原理和常用的兩種亮度瞬態(tài)增強(qiáng)算法的實(shí)現(xiàn)步驟,提出了對(duì)兩種算法的改進(jìn)措施,并選擇了其中一種較優(yōu)的算法描述了其硬件實(shí)現(xiàn)" title="硬件實(shí)現(xiàn)">硬件實(shí)現(xiàn)過(guò)程。
  關(guān)鍵詞: 亮度瞬態(tài)增強(qiáng) 畫質(zhì)增強(qiáng) 數(shù)字電視 視頻處理

  近年來(lái),數(shù)字電視和平板電視成為家電消費(fèi)的熱點(diǎn)。隨著高清數(shù)字電視概念的日益普及,人們對(duì)電視機(jī)畫質(zhì)的要求也越來(lái)越高,在數(shù)字視頻處理芯片中除了采用去隔行技術(shù)提高圖像分辨率外,還會(huì)采取一系列的畫質(zhì)增強(qiáng)措施以改善圖像質(zhì)量,提高圖像的清晰度。其中數(shù)字亮度瞬態(tài)增強(qiáng)DLTI(Digital Luminance Transient Improvement)便是一種重要的畫質(zhì)增強(qiáng)技術(shù),其目的是增加亮度過(guò)渡邊緣的陡度,使圖像的邊緣輪廓更清晰。
1 亮度瞬態(tài)增強(qiáng)基本原理及常用算法
1.1 基本原理
  在YCbCr空間上,亮度瞬態(tài)增強(qiáng)是對(duì)亮度信號(hào)Y進(jìn)行處理。圖1是亮度信號(hào)邊緣的示意圖。Y1代表一種亮度值,Y2代表另一種不同的亮度值,點(diǎn)A為Y1的邊界點(diǎn),點(diǎn)B為Y2的邊界點(diǎn),從A點(diǎn)經(jīng)過(guò)O點(diǎn)逐漸上升到B點(diǎn)的這一段稱為亮度邊緣的過(guò)渡帶。


  這一過(guò)渡帶的寬窄直接影響到圖像的畫質(zhì):過(guò)渡帶越窄,圖像中兩種亮度的邊界就越清楚,圖像也越清晰。亮度瞬態(tài)增強(qiáng)就是一種使過(guò)渡帶變窄、邊緣變陡以提高圖像清晰度的方法。理想情況下可使過(guò)渡帶縮短成垂直邊緣,如圖1中的COD所示。
1.2 常用算法
  常用的亮度瞬態(tài)增強(qiáng)方法有兩種:移位法" title="移位法">移位法和疊加勾邊法" title="疊加勾邊法">疊加勾邊法。移位法的原理是找到如圖1所示的原始亮度信號(hào)過(guò)渡帶的3個(gè)特征點(diǎn)A、O、B,然后將AO段像素點(diǎn)的亮度值用A點(diǎn)的亮度值Y1代替,OB段像素點(diǎn)的亮度值用B點(diǎn)的亮度值Y2代替。
  疊加勾邊法的原理是在原始輸入的亮度信號(hào)上疊加一個(gè)勾邊信號(hào),勾邊信號(hào)可由二階微分等產(chǎn)生,疊加的結(jié)果是在亮度邊緣處形成尖峰,且邊緣變陡。
1.2.1 移位法亮度瞬態(tài)增強(qiáng)
  移位法的關(guān)鍵是確定正確的替代點(diǎn)位置。把替代點(diǎn)距當(dāng)前點(diǎn)的距離稱為移位路徑。因?yàn)閳D像的一階微分可用于檢測(cè)圖像中的一個(gè)點(diǎn)是否為邊緣點(diǎn),二階微分的符號(hào)可用于判斷一個(gè)邊緣像素位于邊緣亮的一邊還是暗的一邊,并且二階微分中間的零點(diǎn)可以準(zhǔn)確地判斷出邊界,因此考慮一種用亮度信號(hào)的二階微分與增益的乘積來(lái)控制移位路徑的方法。
  如何求出亮度信號(hào)的二階微分是該算法的核心之一。先對(duì)圖像的亮度信號(hào)作一階微分,檢測(cè)亮度邊緣。本文采用一個(gè)5階的FIR濾波器來(lái)計(jì)算一階微分,公式如下:
  Y_diff=-2Yj-2-Yj-1+Yj+1+2Yj+2             (1)
  式中:Y_diff為生成的一階微分,Yj代表當(dāng)前要處理的像素點(diǎn)亮度值,Yj-1代表前一像素點(diǎn)的亮度值,Yj+1代表后一像素點(diǎn)的亮度值,其他的依次類推。圖像的二階微分通過(guò)對(duì)一階微分的絕對(duì)值再作一次微分得到。
  具體的移位法過(guò)程如下:當(dāng)像素點(diǎn)的二階微分大于零時(shí),這個(gè)像素點(diǎn)的亮度值用該像素點(diǎn)往前移位n個(gè)點(diǎn)的亮度值來(lái)替代,移位路徑n由二階微分與增益的乘積來(lái)決定[1],增益可由用戶在一定范圍內(nèi)調(diào)節(jié);當(dāng)像素點(diǎn)的二階微分小于零時(shí),該像素點(diǎn)的亮度值用該像素點(diǎn)往后移位n個(gè)點(diǎn)的亮度值來(lái)替代。移位路徑可通過(guò)設(shè)置一個(gè)參數(shù)“Limit”來(lái)限制在一定范圍內(nèi)。移位法亮度瞬態(tài)增強(qiáng)結(jié)果如圖2所示。通過(guò)以上的算法對(duì)圖2(a)中的條紋圖作瞬態(tài)增強(qiáng)的結(jié)果如圖2(b)所示,可見(jiàn),邊緣明顯變清晰了。
1.2.2 疊加勾邊法亮度瞬態(tài)增強(qiáng)
  疊加勾邊法的關(guān)鍵是如何形成勾邊信號(hào)。一種利用9階的FIR濾波器來(lái)檢測(cè)邊緣和產(chǎn)生勾邊信號(hào)的方法能達(dá)到很好的勾邊效果,濾波器系數(shù)如下[2]
  filter_coef=[-16 -31 -16 33 61 33 -16 -31 -16]×26/256             (2)

?


  疊加勾邊信號(hào)并限幅示意圖如圖3所示。經(jīng)過(guò)濾波器輸出的勾邊信號(hào)經(jīng)過(guò)核化降噪(coring)、增益調(diào)節(jié)并疊加到原圖上后,得到一個(gè)邊緣變陡但幅度出現(xiàn)尖峰(peak)的信號(hào),如圖3中的長(zhǎng)虛線所示。因此,還需要將幅度限制在一定的窗口范圍內(nèi),窗口的范圍是以當(dāng)前點(diǎn)為中心、相鄰五點(diǎn)(左右各兩點(diǎn))的亮度中的最小值和最大值。經(jīng)限幅后的信號(hào)如圖3中圓圈代表的曲線所示,達(dá)到了使過(guò)渡帶變窄、邊緣變陡的目的。


2 兩種算法存在的問(wèn)題" title="存在的問(wèn)題">存在的問(wèn)題及改進(jìn)策略
2.1 移位法改進(jìn)
  移位法LTI實(shí)驗(yàn)結(jié)果及改進(jìn)如圖4所示。1.2.1節(jié)所述的移位法可使大面積物體之間的邊界變得非常陡峭,亮度瞬態(tài)增強(qiáng)效果很好。但是,對(duì)于兩個(gè)靠得很近的邊緣,如圖4(a)中的邊緣E1和E2,移位路徑的大小決定了某些用來(lái)替代的像素點(diǎn)已位于另一個(gè)邊緣段了,這樣移位的結(jié)果是在兩個(gè)亮度邊緣交界處形成帶有一個(gè)或兩個(gè)突起谷的小山形狀[1],如圖4(b)所示。表現(xiàn)在圖像上就是細(xì)節(jié)處出現(xiàn)像素串?dāng)_,處理后的圖像嚴(yán)重失真了。


  為避免這種現(xiàn)象的產(chǎn)生,需對(duì)移位法加以改進(jìn)。改進(jìn)方法是對(duì)兩個(gè)靠得很近的邊緣加上特別的“過(guò)山保護(hù)”措施,具體方法如下:
  對(duì)原信號(hào)作二階微分并用增益調(diào)節(jié)和Limit控制得到移位路徑(設(shè)為path)后,若path>0,則從當(dāng)前點(diǎn)往前path個(gè)點(diǎn)(j-path)搜索至當(dāng)前點(diǎn)(j),若有一階微分改變符號(hào)的位置,則表明這是兩個(gè)靠得很近的邊緣頂峰相交的位置,這時(shí)記下此位置點(diǎn)并用此頂峰值代替j點(diǎn)的值;若沒(méi)有出現(xiàn)一階微分改變符號(hào)的位置,則表明是正常邊緣情況,直接用j-path點(diǎn)的值代替當(dāng)前j點(diǎn)的值;若path<0,則從當(dāng)前點(diǎn)j向后搜索至j+|path|個(gè)點(diǎn),其余判斷方法跟前面相同。經(jīng)過(guò)“過(guò)山保護(hù)”處理后的結(jié)果如圖4(c)所示,消除了邊緣交界處的那個(gè)帶有兩個(gè)突起的小山形狀,改善了移位法對(duì)靠得很近的邊緣的處理效果。
2.2 疊加勾邊法改進(jìn)
  疊加勾邊法LTI處理結(jié)果比較如圖5所示。利用1.2.2節(jié)所述的疊加勾邊法對(duì)大量的圖像進(jìn)行亮度瞬態(tài)增強(qiáng)處理發(fā)現(xiàn),對(duì)于高頻信息較少的圖像,1.2.2節(jié)所述的疊加勾邊法能達(dá)到非常好的瞬態(tài)增強(qiáng)效果,但是,對(duì)于細(xì)節(jié)變化極快的高頻信息,例如只占1~2個(gè)像素點(diǎn)寬度的邊緣,勾邊后圖像反而變得惡化,出現(xiàn)像素干擾現(xiàn)象,如圖5(b)右半部分高頻段所示。
  為解決該問(wèn)題,在做DLTI之前設(shè)置一個(gè)高頻判斷模塊,若信號(hào)處于高頻段,則不對(duì)該信號(hào)進(jìn)行處理,輸出其本身,否則,進(jìn)行疊加勾邊處理。
  文獻(xiàn)[2]中提到了一種有效的高頻判斷方法 ,利用相鄰16個(gè)點(diǎn)分別與平均值相減的符號(hào)位來(lái)記錄變化頻率。不過(guò)該方法需要計(jì)算平均值,且延時(shí)較多,硬件實(shí)現(xiàn)頗為復(fù)雜,本文提出了另一種高頻判斷的方法。
  既然圖像的一階微分能檢測(cè)邊緣信息,那么也能反映圖像的變化頻率,這通過(guò)仿真原圖中一行數(shù)據(jù)的波形和對(duì)該行數(shù)據(jù)作一階微分以后的波形得到了證實(shí)。因此,可以考慮利用一階微分的符號(hào)來(lái)判斷圖像的高頻段,一階微分模板如移位法中所示。具體判斷方法如下:首先記錄每個(gè)像素點(diǎn)的一階微分的符號(hào)位,對(duì)當(dāng)前像素點(diǎn),搜索其左右各4個(gè)或5個(gè)點(diǎn),將相鄰點(diǎn)的符號(hào)位兩兩相異或后相加,得到一個(gè)總和Sum,將這個(gè)Sum與一個(gè)預(yù)先設(shè)定的門限值相比較,若Sum大于該門限值,則認(rèn)為此像素點(diǎn)處于圖像的高頻段。對(duì)圖5(a)的圖像先經(jīng)高頻判斷再進(jìn)行疊加勾邊法LTI處理的結(jié)果如圖5(c)所示,與圖5(b)相比,避免了高頻段的圖像惡化現(xiàn)象。這一高頻判斷方法同樣可加在移位法DLTI處理之前,以對(duì)移位法進(jìn)一步優(yōu)化。


3 兩種算法的比較分析
  在對(duì)兩種算法分別進(jìn)行改進(jìn)后,兩種算法都能達(dá)到非常好的亮度瞬態(tài)增強(qiáng)效果,不僅明顯提升了邊緣陡度,而且對(duì)圖像細(xì)節(jié)變化較快且兩個(gè)邊緣很近的情況有很好的保護(hù)處理措施,對(duì)各種不同的視頻圖像均能起到使邊界變得更明顯、提高清晰度的作用。通過(guò)調(diào)節(jié)兩種算法各自的增益,可以使兩種算法達(dá)到某種相同的處理效果。不過(guò),總的來(lái)說(shuō),疊加勾邊法在對(duì)圖像細(xì)節(jié)的處理上比移位法效果稍好。這是因?yàn)橐莆环ㄖ荒苡靡延邢袼攸c(diǎn)的亮度值代替當(dāng)前像素點(diǎn)的亮度值,而不如用9階濾波器產(chǎn)生勾邊信號(hào)對(duì)細(xì)節(jié)的反映來(lái)得敏感。
4 亮度瞬態(tài)增強(qiáng)算法的硬件實(shí)現(xiàn)
  由于加上過(guò)山保護(hù)后的移位法在搜索替代路徑時(shí)用硬件實(shí)現(xiàn)較復(fù)雜,且從以上兩種算法的比較分析中看出采用9階濾波器的疊加勾邊法稍勝一籌,因此本文最終采用加上高頻判斷后的疊加勾邊法來(lái)實(shí)現(xiàn)亮度瞬態(tài)增強(qiáng)算法。為檢驗(yàn)此算法運(yùn)用到實(shí)際硬件系統(tǒng)中的實(shí)時(shí)處理性能,在一個(gè)以FPGA為核心的實(shí)時(shí)視頻處理平臺(tái)上實(shí)現(xiàn)了該算法,其硬件設(shè)計(jì)采用Verilog硬件描述語(yǔ)言。
  該硬件結(jié)構(gòu)主要由兩大模塊組成:高頻判斷模塊和疊加勾邊模塊。本文列出疊加勾邊模塊的內(nèi)部硬件結(jié)構(gòu)圖如圖6所示。該算法中主要有三個(gè)參數(shù)可調(diào):高頻判斷門限值、核化降噪門限值及疊加勾邊信號(hào)時(shí)的增益值。這些參數(shù)通過(guò)I2C總線來(lái)實(shí)現(xiàn)參數(shù)的實(shí)時(shí)修改:在硬件系統(tǒng)中由3個(gè)寄存器來(lái)存儲(chǔ)這3個(gè)參數(shù)的值。這些寄存器都連接到系統(tǒng)的I2C接口模塊上,可在系統(tǒng)外利用PC通過(guò)I2C總線實(shí)時(shí)修改寄存器中的值。
  用VCS硬件仿真器對(duì)輸入的多種標(biāo)準(zhǔn)測(cè)試" title="標(biāo)準(zhǔn)測(cè)試">標(biāo)準(zhǔn)測(cè)試圖進(jìn)行仿真后發(fā)現(xiàn),硬件仿真結(jié)果與算法仿真結(jié)果幾乎一致,對(duì)各種標(biāo)準(zhǔn)測(cè)試圖都不會(huì)損壞高頻細(xì)節(jié),且能達(dá)到清晰的亮度瞬態(tài)增強(qiáng)效果。此外,硬件實(shí)現(xiàn)代價(jià)很小,延時(shí)相對(duì)較少,基本上在數(shù)據(jù)輸入后的第13個(gè)時(shí)鐘就可全部完成運(yùn)算并輸出。


  本文介紹了亮度瞬態(tài)增強(qiáng)算法的原理,詳細(xì)闡述了兩種主要亮度瞬態(tài)增強(qiáng)算法的具體實(shí)現(xiàn)步驟;針對(duì)實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)算法存在的問(wèn)題,分別介紹了對(duì)兩種算法的具體改進(jìn)措施,并選擇一種改進(jìn)后的算法——加上高頻判斷后的疊加勾邊法作為本文的硬件實(shí)現(xiàn)算法,并闡述了該算法的硬件實(shí)現(xiàn)過(guò)程。通過(guò)軟硬件仿真同時(shí)證明,改進(jìn)后的算法能達(dá)到非常好的亮度瞬態(tài)增強(qiáng)效果,使圖像變得清晰亮麗,且硬件實(shí)現(xiàn)代價(jià)很小。這兩種算法對(duì)圖像的色度信號(hào)進(jìn)行瞬態(tài)增強(qiáng)處理(CTI)同樣能使色度信號(hào)的邊緣變得更清晰。本文研究的內(nèi)容對(duì)現(xiàn)今數(shù)字視頻處理芯片的算法設(shè)計(jì)具有一定的參考價(jià)值和指導(dǎo)意義。
參考文獻(xiàn)
1 Kelting P,Waterholter H.Improve picture quality module MK10.Philips Application Note 99022,1999:47~54
2 孫一飛.基于FPGA的視頻后處理系統(tǒng).浙江大學(xué)碩士論文,2004
3 李 銘.一種色度瞬態(tài)改善算法及其實(shí)現(xiàn).電視技術(shù),2003;(12):54~56

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無(wú)法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問(wèn)題,請(qǐng)及時(shí)通過(guò)電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。

相關(guān)內(nèi)容