工業(yè)自動(dòng)化最新文章

一種基于指令流水線的數(shù)據(jù)匹配算法

基于正則表達(dá)式的數(shù)據(jù)匹配技術(shù)在基礎(chǔ)數(shù)據(jù)治理和清洗方面有著重要的應(yīng)用價(jià)值。然而，在高性能計(jì)算領(lǐng)域的數(shù)據(jù)處理過程中因算法匹配吞吐率低，無法滿足大數(shù)據(jù)處理環(huán)境下對算法的高性能要求，造成其應(yīng)用范圍受限。針對此現(xiàn)象，提出一種基于指令流水線的數(shù)據(jù)匹配算法，稱之為γFA：利用Intel架構(gòu)內(nèi)置的向量指令流水式讀入若干字符段，通過大寬度向量比較函數(shù)進(jìn)行字符段與非信任字符集的流水比值處理并轉(zhuǎn)換成整型向量，通過位置定位函數(shù)累加定位出所有整型向量的首個(gè)非信任字符位置，計(jì)算出可略過的總字符數(shù)，減少正則表達(dá)式匹配引擎因處理非信任字符集導(dǎo)致訪問低速內(nèi)存而帶來巨大的時(shí)間開銷，實(shí)現(xiàn)正則表達(dá)式匹配算法的性能提升。實(shí)驗(yàn)結(jié)果表明，γFA算法的吞吐率是原始DFA算法的15.88~53.06倍，相比于ßFA算法，吞吐率提升了35.12%~63.26%，取得較好的性能加速效果。此外，通過對γFA算法進(jìn)行優(yōu)化后，性能可接近100 Gb/s，為原始DFA匹配算法性能的15.88~64.94倍，相比于γFA算法性能提升了2.15%~43.09%。

發(fā)表于：2/20/2025