《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 人工智能 > 設(shè)計(jì)應(yīng)用 > LSTM與Transformer融合模型在時(shí)間序列預(yù)測(cè)中的應(yīng)用研究
LSTM與Transformer融合模型在時(shí)間序列預(yù)測(cè)中的應(yīng)用研究
網(wǎng)絡(luò)安全與數(shù)據(jù)治理
王首晨1,王利民2
1.河北建筑工程學(xué)院信息工程學(xué)院; 2.河北建筑工程學(xué)院理學(xué)院
摘要： 隨著可再生能源的快速發(fā)展，風(fēng)電功率預(yù)測(cè)對(duì)于電網(wǎng)穩(wěn)定運(yùn)行和能源管理具有重要意義。風(fēng)電功率預(yù)測(cè)是一個(gè)復(fù)雜的非線性問題，涉及多種氣象因素和環(huán)境條件。提出了一種基于長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）、自適應(yīng)稀疏自注意力機(jī)制（ASSA）和Transformer的融合模型，用于發(fā)電功率的時(shí)間序列預(yù)測(cè)。該模型結(jié)合了LSTM在捕捉時(shí)間序列長(zhǎng)期依賴性方面的優(yōu)勢(shì)、ASSA在處理局部特征交互稀疏性方面的高效性以及Transformer在捕捉全局依賴性方面的強(qiáng)大并行處理能力。通過實(shí)驗(yàn)驗(yàn)證，該模型在發(fā)電功率預(yù)測(cè)任務(wù)中表現(xiàn)出色，尤其是在極端波動(dòng)或拐點(diǎn)處的預(yù)測(cè)精度上有所提高。與傳統(tǒng)方法相比，該模型能夠更準(zhǔn)確地捕捉風(fēng)電功率變化的復(fù)雜性和動(dòng)態(tài)性，為風(fēng)電場(chǎng)的運(yùn)營(yíng)管理提供了有力的決策支持。
中圖分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：ADOI:10.19358/j.issn.2097-1788.2025.03.005
引用格式：王首晨,王利民. LSTM與Transformer融合模型在時(shí)間序列預(yù)測(cè)中的應(yīng)用研究［J］.網(wǎng)絡(luò)安全與數(shù)據(jù)治理，2025，44（3）：27-31,38.
Research on the application of LSTM and Transformer fusion model in time series prediction
Wang Shouchen1, Wang Limin2
1. School of Information Engineering,Hebei University of Architecture; 2. Faculty of Science,Hebei University of Architecture
Abstract： With the rapid development of renewable energy, wind power prediction is of great significance for the stable operation of the power grid and energy management. Wind power prediction is a complex nonlinear problem that involves multiple meteorological factors and environmental conditions. This article proposes a fusion model based on Long Short-Term Memory Network (LSTM), Adaptive Sparse Self-Attention Mechanism (ASSA), and Transformer for time series prediction of power generation. This model combines the advantages of LSTM in capturing long-term dependencies of time series, the efficiency of ASSA in handling local feature interaction sparsity, and the powerful parallel processing capability of Transformer in capturing global dependencies. Through experimental verification, the model performs well in power generation prediction tasks, especially in improving prediction accuracy at extreme fluctuations or inflection points. Compared with traditional methods, this model can more accurately capture the complexity and dynamics of wind power changes, providing strong decision support for the operation and management of wind farms.
Key words : Adaptive Sparse Self-Attention Mechanism (ASSA);LSTM；Transformer；time series;power prediction

引言

隨著全球?qū)稍偕茉葱枨蟮牟粩嘣鲩L(zhǎng)，風(fēng)電作為一種清潔能源，其發(fā)電量預(yù)測(cè)的準(zhǔn)確性對(duì)于電網(wǎng)的穩(wěn)定運(yùn)行和能源管理具有重要意義。風(fēng)電場(chǎng)發(fā)電功率的時(shí)間序列預(yù)測(cè)是一個(gè)復(fù)雜的非線性問題，它涉及多種氣象因素和環(huán)境條件。如果能對(duì)風(fēng)電場(chǎng)的發(fā)電功率進(jìn)行準(zhǔn)確預(yù)測(cè)，電力調(diào)度部門就可通過預(yù)先安排調(diào)度計(jì)劃，從而有效降低風(fēng)電波動(dòng)的不利影響。因此，提高風(fēng)電功率預(yù)測(cè)精度具有重要意義［1］。目前，風(fēng)電功率預(yù)測(cè)方法主要分為物理方法、統(tǒng)計(jì)方法和機(jī)器學(xué)習(xí)方法。物理方法基于數(shù)值天氣預(yù)報(bào)，通過預(yù)測(cè)未來(lái)風(fēng)速和風(fēng)向，結(jié)合風(fēng)電機(jī)組的“風(fēng)速-功率”曲線得到風(fēng)功率預(yù)測(cè)值。然而，風(fēng)速和風(fēng)向預(yù)測(cè)的誤差會(huì)傳遞到功率預(yù)測(cè)中，導(dǎo)致精度受限。統(tǒng)計(jì)方法則依賴于歷史數(shù)據(jù)，通過建立統(tǒng)計(jì)學(xué)習(xí)模型進(jìn)行預(yù)測(cè)，但難以捕捉復(fù)雜的非線性關(guān)系。

預(yù)測(cè)風(fēng)電場(chǎng)主要通過分析風(fēng)的歷史時(shí)間序列，并對(duì)其進(jìn)行統(tǒng)計(jì)為預(yù)測(cè)風(fēng)力發(fā)電功率提供指導(dǎo)，同時(shí)采用時(shí)變解釋模型變量預(yù)判和評(píng)價(jià)風(fēng)力發(fā)電功率。傳統(tǒng)的預(yù)測(cè)方法，如物理模型和統(tǒng)計(jì)模型，雖然在一定程度上能夠提供預(yù)測(cè)結(jié)果，但往往難以捕捉風(fēng)電功率變化的復(fù)雜性和動(dòng)態(tài)性［2］。近年來(lái)，機(jī)器學(xué)習(xí)方法因其強(qiáng)大的非線性映射能力得到了廣泛應(yīng)用。其中，深度學(xué)習(xí)模型，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）、長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）和門控循環(huán)單元（GRU）等，因其在處理時(shí)間序列數(shù)據(jù)方面的優(yōu)勢(shì)，成為風(fēng)電功率預(yù)測(cè)的主流方法［3-4］。研究者們不斷探索新的方法以提高風(fēng)電功率預(yù)測(cè)的精度。例如，Liu［5］等提出了一種結(jié)合LSTM和LightGBM的混合模型，用于澳大利亞陸上風(fēng)電功率的短期預(yù)測(cè)。Sun［6］等提出了一種基于時(shí)空相關(guān)性和Transformer神經(jīng)網(wǎng)絡(luò)的短期多步風(fēng)電功率預(yù)測(cè)方法，展示了Transformer在處理長(zhǎng)序列數(shù)據(jù)中的潛力。此外，還有一些研究通過改進(jìn)參數(shù)優(yōu)化算法來(lái)提高模型的預(yù)測(cè)性能。然而，這些方法在處理非常長(zhǎng)的序列時(shí)仍面臨挑戰(zhàn)。LSTM作為一種循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的變種，因能夠有效地捕捉時(shí)間序列數(shù)據(jù)中的長(zhǎng)期依賴關(guān)系而被廣泛用于風(fēng)電功率預(yù)測(cè)［7］。然而，LSTM在處理非常長(zhǎng)的序列時(shí)可能會(huì)遇到梯度消失或爆炸的問題。為了解決這一問題，研究者們開始探索結(jié)合LSTM和Transformer模型的方法。Transformer模型通過自注意力機(jī)制能夠處理序列數(shù)據(jù)中的長(zhǎng)距離依賴問題，且不受序列長(zhǎng)度的限制［8］。

為了克服LSTM和Transformer各自的局限性并發(fā)揮各自的優(yōu)勢(shì)，本文在兩者結(jié)合的基礎(chǔ)上引入自適應(yīng)稀疏自注意力機(jī)制（ASSA）［9］，通過減少注意力計(jì)算中的冗余，使得模型能夠更加專注于序列中的關(guān)鍵信息。結(jié)合LSTM、ASSA和Transformer的模型展現(xiàn)出了優(yōu)異的性能。通過LSTM捕捉長(zhǎng)期依賴性，ASSA和Transformer處理復(fù)雜的時(shí)空關(guān)系，該模型能夠提供更準(zhǔn)確的風(fēng)電功率預(yù)測(cè)。


本文詳細(xì)內(nèi)容請(qǐng)下載：

http://www.ihrv.cn/resource/share/2000006374


作者信息：

王首晨1,王利民2

（1.河北建筑工程學(xué)院信息工程學(xué)院，河北張家口075000;

2.河北建筑工程學(xué)院理學(xué)院，河北張家口075000）


Magazine.Subscription.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。