《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 通信与网络 > 设计应用 > 基于时间注意力增强的电厂智能安防监控人体异常行为识别
基于时间注意力增强的电厂智能安防监控人体异常行为识别
电子技术应用
张威，许虎，尚志强
河北大唐国际张家口热电有限责任公司
摘要： 电厂厂区内强光切换或阴影交错会影响特征点稳定性，使得高帧率视频流处理时时序信息断裂，难以获取连续视频帧中人体特征点的变化方向，导致行为识别的EER均值较高。为此，开展了基于时间注意力增强的电厂智能安防监控人体异常行为识别研究。引入时间注意力增强模块，对监控视频进行短距离和长距离时间特征增强，融合后输出跨越多个视频分段的联合特征，以关联分割的视频帧信息。利用距离-转角表示法计算连续视频帧中人体特征点的变化方向，根据方向关系识别异常行为。在测试数据集上，设计方法输出跨越多个视频分段的人体特征信息。其异常行为识别的AUC达到0.92，EER均值稳定在0.15以内，处于较低水平。
中圖分類號(hào)：TN60 文獻(xiàn)標(biāo)志碼：A DOI: 10.16157/j.issn.0258-7998.257046
中文引用格式： 張威，許虎，尚志強(qiáng). 基于時(shí)間注意力增強(qiáng)的電廠智能安防監(jiān)控人體異常行為識(shí)別[J]. 電子技術(shù)應(yīng)用，2026，52(4)：78-82.
英文引用格式： Zhang Wei，Xu Hu，Shang Zhiqiang. Recognition of abnormal human behavior in intelligent security monitoring of power plants based on time attention enhancement[J]. Application of Electronic Technique，2026，52(4)：78-82.
Recognition of abnormal human behavior in intelligent security monitoring of power plants based on time attention enhancement
Zhang Wei，Xu Hu，Shang Zhiqiang
Hebei International Zhangjiakou Thermal Power Co.，Ltd.
Abstract： The switching of strong light or the interweaving of shadows within the power plant area can affect the stability of feature points, causing the temporal information to break during the processing of high frame rate video streams. It is difficult to obtain the change direction of human feature points in continuous video frames, resulting in a relatively high average EER for behavior recognition. For this purpose, research on the recognition of abnormal human behaviors in intelligent security monitoring of power plants based on temporal attention enhancement has been carried out. The temporal attention enhancement module is introduced to enhance the short-distance and long-distance temporal features of surveillance videos. After fusion, a joint feature spanning multiple video segments is output to correlate the information of the segmented video frames. The distance-rotation angle representation method is used to calculate the change direction of human feature points in consecutive video frames, and abnormal behaviors are identified based on the direction relationship. On the test dataset, the design method outputs human feature information spanning multiple video segments. The AUC for its abnormal behavior recognition reached 0.92, and the mean EER was stable within 0.15, which was at a relatively low level.
Key words : time attention enhancement；security monitoring；abnormal human behavior；short distance temporal feature enhancement；long distance temporal feature enhancement；distance corner representation method；feature points

引言

利用監(jiān)控視頻對(duì)人體異常行為進(jìn)行識(shí)別時(shí)，部分監(jiān)控設(shè)備由于硬件限制或安裝位置較遠(yuǎn)[1]，拍攝的視頻分辨率較低，導(dǎo)致人體行為細(xì)節(jié)難以清晰呈現(xiàn)，影響行為特征的提取和識(shí)別。其次，監(jiān)控?cái)z像頭可能因受到外力干擾、設(shè)備老化或拍攝環(huán)境不穩(wěn)定等因素[2]，出現(xiàn)畫面模糊或抖動(dòng)的情況。這會(huì)使視頻中的人體輪廓和行為軌跡不清晰，增加行為識(shí)別的難度。例如，戶外監(jiān)控中強(qiáng)風(fēng)可能導(dǎo)致攝像頭晃動(dòng)，畫面不穩(wěn)定[3]。除此之外，監(jiān)控視頻中正常行為占主導(dǎo)，異常行為發(fā)生頻率較低。這需要從海量正常行為數(shù)據(jù)中篩選少量異常行為，增加了數(shù)據(jù)處理難度和誤判風(fēng)險(xiǎn)[4]。

在相關(guān)研究中，張冰冰等人針對(duì)小樣本視頻行為識(shí)別方法在全局時(shí)空信息獲取和復(fù)雜行為建模方面的局限，開展了基于連續(xù)幀信息融合建模的研究[5]，在2D卷積架構(gòu)下，設(shè)計(jì)連續(xù)幀信息融合模塊位于網(wǎng)絡(luò)的輸入端，以負(fù)責(zé)捕獲并轉(zhuǎn)化低級(jí)信息，輸出了更加豐富的高級(jí)語(yǔ)義信息。將多維注意力建模模塊作為網(wǎng)絡(luò)的中間層，進(jìn)而解決時(shí)空特征信息建模不足的問題，利用模型捕捉具體的時(shí)空關(guān)系的捕捉。實(shí)驗(yàn)結(jié)果表明，所提方法在多個(gè)主流數(shù)據(jù)集上準(zhǔn)確率顯著提升，但2D卷積架構(gòu)在視頻幀分割狀態(tài)下EER較低。古學(xué)茹等人針對(duì)當(dāng)前人體骨骼動(dòng)作識(shí)別算法全局關(guān)系描述不夠詳盡、時(shí)空特征挖掘不夠充分等問題，開展了基于多流自適應(yīng)時(shí)空?qǐng)D卷積網(wǎng)絡(luò)的人體行為識(shí)別研究[6]，使用注意力機(jī)制和NTN算法求解每對(duì)關(guān)節(jié)點(diǎn)之間的連接強(qiáng)度后，構(gòu)建了全局鄰接矩陣；利用topK策略對(duì)連接強(qiáng)度標(biāo)準(zhǔn)下動(dòng)態(tài)選擇前K個(gè)鄰居節(jié)點(diǎn)，更新全局鄰接矩陣；采用混合池化模型提取全局上下文信息及時(shí)間關(guān)鍵幀特征，并進(jìn)行建模，輸出動(dòng)作表征。實(shí)驗(yàn)結(jié)果表明，該模型在人體骨骼動(dòng)作識(shí)別任務(wù)中有效提高了動(dòng)作識(shí)別的準(zhǔn)確率。但是EER的離散程度受時(shí)間關(guān)鍵幀特征的影響較為明顯。趙晨等人針對(duì)時(shí)間位移導(dǎo)致的特征破壞問題，開展了基于時(shí)空雙流特征增強(qiáng)網(wǎng)絡(luò)的視頻行為識(shí)別研究[7]，設(shè)計(jì)了空間增強(qiáng)時(shí)間位移模塊（SE-TSM）和通道增強(qiáng)時(shí)間位移模塊（CE-TSM），在每次時(shí)間位移后進(jìn)行特征增強(qiáng)，改善了特征受損問題。并針對(duì)幀差運(yùn)動(dòng)信息微弱問題，提出了運(yùn)動(dòng)增強(qiáng)模塊（SIM）增強(qiáng)運(yùn)動(dòng)特征以提高性能。實(shí)驗(yàn)結(jié)果表明，該網(wǎng)絡(luò)在公開視頻數(shù)據(jù)集UCF101和HMDB51上分別達(dá)到了96.1%和75.7%的精度。但是時(shí)間關(guān)鍵幀特征分割狀態(tài)下的異常行為識(shí)別EER較低。李一帆等人開展了面向人體異常行為識(shí)別的FDS-ABPG-GoogLeNet模型研究[8]，設(shè)計(jì)模型采用3種不同層級(jí)的改進(jìn)Inception模塊，將模塊在網(wǎng)絡(luò)深層和淺層結(jié)構(gòu)中并行連接時(shí)，在中層結(jié)構(gòu)中引入了殘差結(jié)構(gòu)，通過特征融合的方式提高網(wǎng)絡(luò)的計(jì)算效率和識(shí)別準(zhǔn)確率。針對(duì)異常行為數(shù)據(jù)集中動(dòng)作單一的問題，自建了包含多種異常動(dòng)作的數(shù)據(jù)集，將一維動(dòng)作時(shí)序數(shù)據(jù)二維圖形化處理后，實(shí)現(xiàn)精準(zhǔn)提取行為動(dòng)作特征的目的。實(shí)驗(yàn)結(jié)果表明，設(shè)計(jì)模型的準(zhǔn)確率、靈敏度和特異性分別達(dá)到99.40%、99.49%和99.93%。但是EER受時(shí)間關(guān)鍵幀特征的影響較為明顯。

綜合上述，本文開展了基于時(shí)間注意力增強(qiáng)的電廠智能安防監(jiān)控人體異常行為識(shí)別研究，并進(jìn)行了對(duì)比測(cè)試。


本文詳細(xì)內(nèi)容請(qǐng)下載：

http://www.ihrv.cn/resource/share/2000007042


作者信息：

張威，許虎，尚志強(qiáng)

（河北大唐國(guó)際張家口熱電有限責(zé)任公司，河北 張家口 075000）

2.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。