《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 可編程邏輯 > 設(shè)計(jì)應(yīng)用 > 基于MATLAB的皮膚聽(tīng)聲器系統(tǒng)的研究
基于MATLAB的皮膚聽(tīng)聲器系統(tǒng)的研究
摘要: 為了使皮膚聽(tīng)聲器能夠辨析語(yǔ)音,設(shè)計(jì)了基于MATLAB的皮膚聽(tīng)聲器系統(tǒng)。該系統(tǒng)以MATLAB軟件為平臺(tái),在此基礎(chǔ)上實(shí)現(xiàn)了語(yǔ)音信號(hào)的錄制、播放、預(yù)處理、分段濾波、特征提取等功能,并利用特征參數(shù)辨析語(yǔ)音。
Abstract:
Key words :

為了使皮膚聽(tīng)聲器能夠辨析語(yǔ)音,設(shè)計(jì)了基于MATLAB的皮膚聽(tīng)聲器系統(tǒng)。該系統(tǒng)以MATLAB軟件為平臺(tái),在此基礎(chǔ)上實(shí)現(xiàn)了語(yǔ)音信號(hào)的錄制、播放、預(yù)處理、分段濾波、特征提取等功能,并利用特征參數(shù)辨析語(yǔ)音。本系統(tǒng)達(dá)到了辨析簡(jiǎn)單語(yǔ)音的要求,但仍有需改進(jìn)的地方,如:能否構(gòu)造更合適的特征參數(shù),能否辨析比較復(fù)雜的語(yǔ)音。
關(guān)鍵詞:皮膚聽(tīng)聲;采集;處理;語(yǔ)音辨析;MATLAB

目前,世界上有許多的耳聾患者,他們要么是皋天性耳聾,要么是后天造成的耳聾。當(dāng)前解決耳聾問(wèn)題主要通過(guò)傳統(tǒng)助聽(tīng)器和電子耳蝸,但兩者都有明顯的缺陷,前者只使用于輕度耳聾患者,而后者造價(jià)太高,不適于推廣。為徹底解決耳聾問(wèn)題,李建文教授針對(duì)全聾人的聽(tīng)覺(jué)問(wèn)題發(fā)明了變壓式皮膚聽(tīng)聲器,其實(shí)質(zhì)是利用聲-電轉(zhuǎn)換讓皮膚獲得對(duì)電流信號(hào)的感覺(jué),使全聾人通過(guò)皮膚獲得一定的聽(tīng)覺(jué),從根本上解決了聾啞人士的聽(tīng)力問(wèn)題。
但是,變壓式皮膚聽(tīng)聲器僅僅使用戶感受到電刺激,而不能辨析語(yǔ)音。為解決此問(wèn)題,本文提出了一種基于MATLAB的皮膚聽(tīng)聲器系統(tǒng)。該系統(tǒng)能夠?qū)崿F(xiàn)語(yǔ)音信號(hào)的錄制、播放、預(yù)處理、分段濾波、特征提取等功能,并能夠辨析簡(jiǎn)單的語(yǔ)音。

1 皮膚聽(tīng)聲技術(shù)與皮膚聽(tīng)聲器
皮膚聽(tīng)聲技術(shù)是一門(mén)比較前沿的技術(shù),其目韻是利用皮膚解決耳聾患者的聽(tīng)聲問(wèn)題。而皮膚聽(tīng)聲器就是通過(guò)皮膚聽(tīng)聲技術(shù)解決耳聾患者聽(tīng)覺(jué)問(wèn)題的電子工具,其特點(diǎn)類似于助聽(tīng)器并涉及醫(yī)學(xué)、電子學(xué)、聲學(xué)和生理學(xué),進(jìn)一步的發(fā)展將依賴于數(shù)學(xué)和計(jì)算機(jī)等學(xué)科,屬于典型的多學(xué)科高科技領(lǐng)域。它通過(guò)皮膚傳遞聲音信號(hào)且不依賴于人的任何殘余聽(tīng)力,實(shí)用效果明顯,容易佩戴,幾乎無(wú)副作用,任何聽(tīng)力損失的人均可使用。
由李建文教授發(fā)明并研制的第一代皮膚聽(tīng)聲器已經(jīng)達(dá)到聽(tīng)聲的效果,接下來(lái)皮膚聽(tīng)聲器要達(dá)到能夠辨析語(yǔ)音的要求。這需要將原來(lái)的模擬電路轉(zhuǎn)換為數(shù)字電路,在此基礎(chǔ)上進(jìn)行語(yǔ)音辨析。而本文就設(shè)計(jì)了一個(gè)基于MATLAB的皮膚聽(tīng)聲器系統(tǒng),該系統(tǒng)以MATLAB軟件為平臺(tái),依次實(shí)現(xiàn)語(yǔ)音信號(hào)的錄制、播放、預(yù)處理、分段濾波、特征提取和最后的辨析語(yǔ)音等功能。

2 系統(tǒng)功能介紹
2.1 主要功能
皮膚聽(tīng)聲器的作用就是解決耳聾患者的聽(tīng)聲問(wèn)題,因此是皮膚聽(tīng)聲器能量辨析語(yǔ)音是一個(gè)十分重要的技術(shù)環(huán)節(jié)。本文設(shè)計(jì)了一個(gè)皮膚聽(tīng)聲器系統(tǒng),基本能夠辨析簡(jiǎn)單的語(yǔ)音。該系統(tǒng)以MATLAB軟件為平臺(tái),主要功能有錄制語(yǔ)音、播放語(yǔ)音、預(yù)處理、分段濾波、特征提取和最后的辨析語(yǔ)音。平臺(tái)功能劃分如圖1所示。

 


2.2 核心模塊
根據(jù)本文皮膚聽(tīng)聲器系統(tǒng)的各個(gè)功能,將其分成三大核心模塊,分別是采集模塊、處理模塊和辨析模塊。
2.2.1 采集模塊
系統(tǒng)采集模塊的功能包括:錄制語(yǔ)音,播放語(yǔ)音。
1)錄制語(yǔ)音:通過(guò)麥克風(fēng)錄入聲音,并保存為.wav的格式,以備后用。
在MATLAB中,用函數(shù)wavrecord錄制語(yǔ)音。得到的是數(shù)字化的語(yǔ)音數(shù)據(jù)串,可直接作為Matlab變量參與各種運(yùn)算。然后用函數(shù)wavwrite(y,filename)將變量y中儲(chǔ)存的數(shù)據(jù)寫(xiě)入名為filename的WAVE文件中。
2)播放語(yǔ)音:播放已錄制的語(yǔ)音WAVE文件,并輸出其波形圖和語(yǔ)譜圖。
在此,用wavread和sound函數(shù)分別讀取、播放語(yǔ)音。求取波形圖和語(yǔ)譜圖時(shí),要用到length函數(shù)和FFT變換。
2.2.2 處理模塊
該模塊的功能有預(yù)處理、分段濾波和特征提取。
1)預(yù)處理:對(duì)前面錄制的語(yǔ)音信號(hào)進(jìn)行去除噪聲、預(yù)加重和端點(diǎn)檢測(cè)處理,為后續(xù)工作提供更加清晰有效的信號(hào)。
2)分段濾波:對(duì)經(jīng)預(yù)處理后語(yǔ)音信號(hào)進(jìn)行分段濾波,將不同的頻率的語(yǔ)音信號(hào)分離開(kāi),使得皮膚能夠更好地感應(yīng)語(yǔ)音信號(hào)。
3)特征提?。赫Z(yǔ)音的特征參數(shù)能有效地體現(xiàn)說(shuō)話人語(yǔ)音所包含的與其他說(shuō)話人不同的特點(diǎn),它在整個(gè)辨析過(guò)程中起著至關(guān)重要的作用。本文在語(yǔ)音濾波后,從每個(gè)頻率段內(nèi)提取一個(gè)能夠表征該段語(yǔ)音的參數(shù),在把所有參數(shù)結(jié)合在一起構(gòu)造一個(gè)特征向量,將其作為表征該語(yǔ)音信號(hào)的特征參數(shù),為后面的辨析工作提供一個(gè)較為可靠的參考數(shù)據(jù)。
2.2.3 辨析模塊
該模塊的功能包括:模板建庫(kù)、模式匹配和輸出結(jié)果。
1)模板建庫(kù):講話者多次重復(fù)語(yǔ)音單元,從原始語(yǔ)音樣本中去除冗余信息,保留關(guān)鍵數(shù)據(jù),獲得表示識(shí)別基本單元共性特點(diǎn)的標(biāo)準(zhǔn)數(shù)據(jù),以此構(gòu)成參考模板,將所有能識(shí)別的基本單元的參考模板結(jié)合在一起,建立參考模板庫(kù)。
2)模式匹配:新錄入的語(yǔ)音經(jīng)特征提取后,與庫(kù)中模板按某種原則進(jìn)行比較,找出相似度最高的參考模板所對(duì)應(yīng)的發(fā)音,即為辨析的結(jié)果。
3)輸出結(jié)果:輸出前面的辨析結(jié)果,以使用戶能夠更好的通過(guò)皮膚聽(tīng)聲器辨析語(yǔ)音。
 

 

3 系統(tǒng)設(shè)計(jì)
在MATLAB主窗口中,選擇File菜單中的New菜單項(xiàng),再選擇其中的GUI命令,就會(huì)顯示圖形用戶界面的設(shè)計(jì)模板。本文系統(tǒng)主要包含3個(gè)功能:語(yǔ)音采集、語(yǔ)音處理和和語(yǔ)音辨析。
3.1 采集模塊
系統(tǒng)將通過(guò)電腦麥克風(fēng)進(jìn)行錄音。MATLAB中用y=wavrecord(n,fs,ch,dtype)來(lái)完成錄音,式中n為采樣的點(diǎn)數(shù)。決定了錄音長(zhǎng)度;fs為采樣頻率,默認(rèn)值為11 025 Hz,還可根據(jù)要求自己選擇合適的采樣率;ch為聲道數(shù),默認(rèn)值為1,表示單聲道,如果指定為2,則采樣為雙聲道立體聲數(shù)據(jù);dtype為采樣數(shù)據(jù)的存儲(chǔ)格式,用字符串指定,可以是‘double’、‘single’、‘int16’、‘int8’,指定存儲(chǔ)格式的同時(shí)也就規(guī)定了每個(gè)采樣值量化的精度,int8對(duì)應(yīng)8位精度采樣,其他都是16位采樣精度。
錄音完成后,系統(tǒng)將把上面錄制的語(yǔ)音信號(hào)保存成WAVE文件。在此用函數(shù)wavwrite來(lái)完成。
最后將播放前面的語(yǔ)音WAVE文件,并生成其波形圖和語(yǔ)譜圖,為后續(xù)處理提高依據(jù)。
3.2 處理模塊
系統(tǒng)將對(duì)前面錄制的語(yǔ)音信號(hào)進(jìn)行預(yù)處理工作,包括:對(duì)語(yǔ)音信號(hào)去噪、預(yù)加重和端點(diǎn)檢測(cè)處理。去除噪聲就是盡量去除語(yǔ)音信號(hào)中無(wú)用信息(噪聲),而保留其中的有用信息(語(yǔ)音)。預(yù)加重的目的是提升高頻部分,使信號(hào)的頻譜變得平坦,以便于進(jìn)行頻譜分析或聲道參數(shù)分析。語(yǔ)音的端點(diǎn)檢測(cè)就是確定語(yǔ)音的起點(diǎn)和終點(diǎn),從語(yǔ)音信號(hào)中排除無(wú)聲段,為后續(xù)處理工作提供操作對(duì)象。
然后,對(duì)信號(hào)進(jìn)行濾波處理。濾波器是對(duì)輸入信號(hào)的頻率具有選擇性的一個(gè)二端口網(wǎng)絡(luò),它允許某些頻率次(通常是某個(gè)頻率范圍)的信號(hào)通過(guò),而其他頻率的信號(hào)幅值均要受到衰減,從而將不同的頻率的語(yǔ)音信號(hào)分離開(kāi),使得皮膚能夠更好的感應(yīng)語(yǔ)音信號(hào)。小波包變換將頻帶進(jìn)行多層次劃分,并能夠根據(jù)被分析信號(hào)的特征自適應(yīng)地選擇相應(yīng)的頻帶,使之與信號(hào)頻譜相匹配,從而提高了時(shí)一頻分辨率。利用小波包的此特點(diǎn),本文將語(yǔ)音信號(hào)用濾波器分成16個(gè)頻率段,每個(gè)頻率段為一個(gè)語(yǔ)音通道,每個(gè)通道連接一個(gè)電極片分別與皮膚接觸。語(yǔ)音頻率范圍劃分如表1所示。
最后,點(diǎn)擊“特征提取”按鈕提取語(yǔ)音信號(hào)的特征參數(shù)。計(jì)算上面每個(gè)頻率段的信號(hào)能量值,再將16個(gè)能量值作為分向量結(jié)合在一起構(gòu)成一個(gè)特征向量,將其作為語(yǔ)音信號(hào)的特征參數(shù)。能量值反映每個(gè)頻率段內(nèi)語(yǔ)音信號(hào)所攜帶的語(yǔ)音能量,能夠表征該段語(yǔ)音,因此可以作為特征參數(shù)。并且,每個(gè)語(yǔ)音信號(hào)的特征參數(shù)將在最下面的窗口中輸出來(lái)。
3.3 辨析模塊
首先,建立一個(gè)數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)存儲(chǔ)語(yǔ)音信號(hào)的特征參數(shù),以SOL Server2003來(lái)建庫(kù)。
然后,進(jìn)行模式匹配。建好數(shù)據(jù)庫(kù)后,對(duì)新的語(yǔ)音信號(hào)提取特征參數(shù)后,將其特征參數(shù)與庫(kù)中數(shù)據(jù)進(jìn)行匹配,如果找到相似度最接近的模板,則該模板就是待辨析的語(yǔ)音,并在下面窗口中輸出語(yǔ)音信號(hào);否則,將新信號(hào)的特征參數(shù)存入數(shù)據(jù)庫(kù),以豐富庫(kù)中數(shù)據(jù),并輸出“庫(kù)中無(wú)此語(yǔ)音!”。
最后,輸出辨析結(jié)果。

 

 

4 特點(diǎn)分析
本系統(tǒng)的目的就是通過(guò)皮膚聽(tīng)聲器使耳聾患者能夠辨析簡(jiǎn)單語(yǔ)音。它通過(guò)兩個(gè)方面來(lái)完成:1)在系統(tǒng)濾波后,語(yǔ)音信號(hào)經(jīng)一組(本文用16個(gè))電極片傳遞到皮膚。由于每個(gè)頻率段的語(yǔ)音信號(hào)能量不同,那么對(duì)皮膚的電刺激也將不同,用戶會(huì)感受到不同頻率、不同程度的刺激,在一定程度上將能分辨不同的語(yǔ)音。2)信號(hào)經(jīng)濾波后,進(jìn)行特征提取,然后按照一定算法用軟件辨析語(yǔ)音,最后輸出辨析結(jié)果。本文利用
小波包變換高分辨率的特點(diǎn),先對(duì)語(yǔ)音信號(hào)進(jìn)行分解,然后通過(guò)濾波器濾波,在此基礎(chǔ)上提取特征參數(shù),然后利用特征參數(shù)進(jìn)行語(yǔ)音辨析。
這就是從皮膚感觸和視覺(jué)效果兩個(gè)方面來(lái)辨析語(yǔ)音,勢(shì)必將提升皮膚聽(tīng)聲器辨析語(yǔ)音的能力。

5 結(jié)束語(yǔ)
本文首先介紹了皮膚聽(tīng)聲技術(shù)與皮膚聽(tīng)聲器;然后,說(shuō)明了系統(tǒng)的主要功能和模塊劃分,以及每個(gè)模塊使用方法和核心技術(shù);最后,總結(jié)了本系統(tǒng)的特點(diǎn),即從皮膚感觸和視覺(jué)效果兩個(gè)方面來(lái)辨析語(yǔ)音,將在一定程度上提高皮膚聽(tīng)聲器辨析語(yǔ)音的能力。
當(dāng)然,本系統(tǒng)有不太完善的地方,如特征參數(shù)能否更詳細(xì)、更有特點(diǎn)?能否辨析比較復(fù)雜的語(yǔ)音?這些都是亟待解決的問(wèn)題,也是今后研究工作的重點(diǎn)。
 

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。