《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 人工智能 > 设计应用 > 基于深度强化学习的电动汽车协调充电算法
基于深度强化学习的电动汽车协调充电算法
信息技术与网络安全 4期
张子霖
(中国科学技术大学 自动化系，安徽 合肥230026)
摘要： 针对具有多个目标的多辆电动汽车协调充电问题，包括降低用户的充电成本并保证足够的电池电量，同时避免变压器过载，提出一种基于多智能体深度强化学习的分布式算法。该算法首先将上述问题建模为马尔可夫决策过程，然后采用一种通信神经网络模型进行信息交互，实现了全局信息在多个智能体上的分布式计算。最后，通过仿真验证了该算法在住宅充电区域的有效性和可扩展性。
中圖分類號(hào)： TP18
文獻(xiàn)標(biāo)識(shí)碼： A
DOI： 10.19358/j.issn.2096-5133.2022.04.013
引用格式： 張子霖. 基于深度強(qiáng)化學(xué)習(xí)的電動(dòng)汽車協(xié)調(diào)充電算法[J].信息技術(shù)與網(wǎng)絡(luò)安全，2022，41(4)：83-89.
A deep RL-based algorithm for coordinated charging of electric vehicles
Zhang Zilin
(Department of Automation，University of Science and Technology of China，Hefei 230026，China)
Abstract： A distributed algorithm based on multi-agent deep reinforcement learning(DRL) is proposed in this paper to solve the problem of coordinated charging of multiple electric vehicles(EVs) with multiple objectives, including reducing the charging cost, ensuring sufficient battery state of charge(SoC) for users, and avoiding the transformer overload. To this end, the above problem is formulated as a Markov Decision Process(MDP), and then a communication neural network(CommNet) model is adopted for information interaction to realize the distributed computation of global information on multiple EVs. Finally, simulations are presented to verify the effectiveness and scalability of the proposed algorithm in a residential charging area.
Key words : electric vehicle；multi-agent system；deep reinforcement learning；distributed charging scheduling

0 引言

電動(dòng)汽車作為一種新型的分布式移動(dòng)資源，已成為智能電網(wǎng)發(fā)展的重要組成部分[1]，越來越多的研究人員開始關(guān)注電動(dòng)汽車在電網(wǎng)中的社會(huì)價(jià)值。但電動(dòng)汽車的日益普及也不可避免地給用戶和電網(wǎng)帶來了一系列的問題和挑戰(zhàn)。例如，大量電動(dòng)汽車的不協(xié)調(diào)充電，將導(dǎo)致電網(wǎng)承受不可預(yù)測(cè)的負(fù)荷。因此，如何設(shè)計(jì)多輛電動(dòng)汽車在整個(gè)工作過程中的協(xié)調(diào)充電策略，以降低能源成本，保證用戶對(duì)電動(dòng)汽車荷電狀態(tài)的滿意度，并將對(duì)配電網(wǎng)的影響降到最低，是亟需解決的問題。

近年來，為了解決電動(dòng)汽車的協(xié)調(diào)充電問題，出現(xiàn)了許多分布式調(diào)度方法。例如，為了最大限度地提高電動(dòng)汽車用戶的便利性，開發(fā)了一種分散的基于交替方向乘法器的優(yōu)化算法[2]。為使電動(dòng)汽車充電成本最小化，使用電動(dòng)汽車充電概率模型建立了一個(gè)嚴(yán)格凸分散系統(tǒng)形式的多人博弈[3]。但上述研究只關(guān)注了單一的目標(biāo)，這在實(shí)際應(yīng)用中往往是受限制的。針對(duì)多目標(biāo)的協(xié)調(diào)充電問題，通過多智能體自私協(xié)同優(yōu)化的方案，除了實(shí)現(xiàn)用戶利益以外，也保證避免變壓器過載[4]，但它沒有充分考慮狀態(tài)空間泛化和值函數(shù)逼近的影響，導(dǎo)致擬合性能較差，計(jì)算開銷也不理想。針對(duì)該問題，文獻(xiàn)[5]考慮采用基于機(jī)器學(xué)習(xí)的方法，其以收斂速度快、計(jì)算效率高而被廣泛應(yīng)用于大規(guī)模數(shù)據(jù)的高維問題中。




本文詳細(xì)內(nèi)容請(qǐng)下載：http://www.ihrv.cn/resource/share/2000004104






作者信息：

張子霖

(中國(guó)科學(xué)技術(shù)大學(xué) 自動(dòng)化系，安徽 合肥230026)




微信圖片_20210517164139.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。