電動(dòng)汽車(chē)虛擬電廠(chǎng)的優(yōu)化調度

摘要：大量電動(dòng)汽車(chē)用戶(hù)的無(wú)序充電可能造成電網(wǎng)負荷劇烈波動(dòng)，危及電網(wǎng)的安全穩定。隨著(zhù)電動(dòng)汽車(chē)入網(wǎng)技術(shù)的應用，將電動(dòng)汽車(chē)充電站及其周邊的分布式新能源發(fā)電聚合為虛擬電廠(chǎng)后進(jìn)行優(yōu)化調度，有助于改善電動(dòng)汽車(chē)用戶(hù)充放電的經(jīng)濟性及滿(mǎn)意度，同時(shí)提高分布式新能源的利用率，平抑電網(wǎng)負荷波動(dòng)，但電動(dòng)汽車(chē)充電站的整體充放電負荷是大量個(gè)體電動(dòng)汽車(chē)用戶(hù)隨機行為的聚合，難以用數學(xué)模型描述。針對包含電動(dòng)汽車(chē)的虛擬電廠(chǎng)，提出一種基于深度強化學(xué)習的交互式調度框架，以虛擬電廠(chǎng)內電動(dòng)汽車(chē)用戶(hù)的總效益。虛擬電廠(chǎng)控制平臺作為智能體決策電動(dòng)汽車(chē)個(gè)體的充放電動(dòng)作，無(wú)需掌握個(gè)體詳細模型，而是通過(guò)與區域電網(wǎng)環(huán)境的交互，不斷學(xué)習和更新動(dòng)作策略，從而克服集中式優(yōu)化方法的局限性。該優(yōu)化調度框架采用深度確定性策略梯度算法進(jìn)行求解。仿真結果表明，與集中式優(yōu)化方法相比，該優(yōu)化算法提高了各電動(dòng)汽車(chē)用戶(hù)的效益，并使電動(dòng)汽車(chē)充放電負荷與分布式新能源發(fā)電協(xié)調配合實(shí)現削峰填谷，改善了虛擬電廠(chǎng)的整體運行性能。

1.為什么要搭建虛擬電廠(chǎng)

大量電動(dòng)汽車(chē)的無(wú)序充電不僅會(huì )影響電網(wǎng)的安全穩定運行，而且會(huì )給用戶(hù)造成經(jīng)濟損失。事實(shí)上，電動(dòng)汽車(chē)充電負荷不僅具有較大的調節彈性，而且可以基于電動(dòng)汽車(chē)入網(wǎng)技術(shù)實(shí)現發(fā)電和用電側的角色轉換，具備很大的優(yōu)化調度潛力。通過(guò)搭建虛擬電廠(chǎng)整合區域配電網(wǎng)中的電動(dòng)汽車(chē)充放電負荷及分布式新能源發(fā)電資源，合理引導電動(dòng)汽車(chē)用戶(hù)的充放電行為，不但可以降低電動(dòng)汽車(chē)車(chē)主的充電費用，提高充電需求滿(mǎn)足程度，同時(shí)可使電動(dòng)汽車(chē)充放電負荷與分布式新能源發(fā)電協(xié)調配合，提高新能源利用率，平抑虛擬電廠(chǎng)整體負荷的波動(dòng)。虛擬電廠(chǎng)是電力系統中智能配電網(wǎng)運行的重要技術(shù)，通過(guò)創(chuàng )建一個(gè)虛擬電廠(chǎng)控制平臺，可以將配電網(wǎng)中的電動(dòng)汽車(chē)充放電負荷與分布式新能源聚合為一個(gè)整體參與電網(wǎng)運行，更好地發(fā)掘電動(dòng)汽車(chē)充放電負荷與分布式新能源的價(jià)值和效益。

然而，在上述包含電動(dòng)汽車(chē)充放電負荷及分布式新能源的虛擬電廠(chǎng)中，電動(dòng)汽車(chē)充電站的總負荷特性是大量個(gè)體電動(dòng)汽車(chē)用戶(hù)隨機充放電行為的聚合，難以對其進(jìn)行的數學(xué)建模和準確預測，這給傳統的基于負荷預測進(jìn)行優(yōu)化計算的集中式調度模式帶來(lái)了挑戰。解決這一難點(diǎn)的一種有效途徑是采用基于強化學(xué)習方法的交互式優(yōu)化調度模式。該模式中，虛擬電廠(chǎng)控制平臺作為智能體，包含電動(dòng)汽車(chē)個(gè)體用戶(hù)及分布式新能源的區域電網(wǎng)為智能體所在的環(huán)境。虛擬電廠(chǎng)控制平臺在不掌握電動(dòng)汽車(chē)個(gè)體用戶(hù)詳細模型的情況下給出電動(dòng)汽車(chē)個(gè)體的充放電動(dòng)作決策，并通過(guò)與區域電網(wǎng)的交互評估當前決策的性能，不斷學(xué)習和更新動(dòng)作策略，直至得到令人滿(mǎn)意的優(yōu)化決策?；谥悄荏w與環(huán)境之間信息交互的強化學(xué)習方法可以在缺乏數學(xué)模型的情況下模擬順序決策問(wèn)題并獲得對環(huán)境的響應。這種基于強化學(xué)習的交互式調度模式克服了傳統集中式調度的局限性，有望在虛擬電廠(chǎng)優(yōu)化調度中得到應用。

目前，國內外針對電動(dòng)汽車(chē)充電優(yōu)化調度的研究主要關(guān)注電網(wǎng)側和用戶(hù)側的經(jīng)濟效益。第1類(lèi)文獻提出將電動(dòng)汽車(chē)充電負荷接入微電網(wǎng)：構建了一個(gè)包含風(fēng)光、基礎負荷、儲能電池以及電動(dòng)汽車(chē)代理商等對象的微電網(wǎng)，采用粒子群算法對電網(wǎng)經(jīng)濟優(yōu)化調度模型進(jìn)行求解；構建了面向工業(yè)園區的包含電動(dòng)汽車(chē)充電站的風(fēng)/光/柴獨立微電網(wǎng)模型，通過(guò)混合整數線(xiàn)性規劃算法，采用Matlab的YALMIP工具包對模型進(jìn)行求解。第2類(lèi)文獻提出了針對電動(dòng)汽車(chē)充電負荷的市場(chǎng)機制：提出了制定電力交易合約和兩級的優(yōu)化策略，通過(guò)搭建分層區塊鏈結構，提高了電網(wǎng)對區域內電動(dòng)汽車(chē)充放電行為的優(yōu)化調度；采用市場(chǎng)機制方法進(jìn)行電動(dòng)汽車(chē)充電量和本地負荷之間的協(xié)調調度，避免因負荷聚集而導致配電系統阻塞。另一類(lèi)文獻提出了消納電動(dòng)汽車(chē)充電負荷的虛擬電廠(chǎng)：采用粒子群優(yōu)化算法，通過(guò)構建虛擬電廠(chǎng)對高比例新能源、電動(dòng)汽車(chē)和可控電源的出力進(jìn)行優(yōu)化調度；構建了包含風(fēng)電、光伏、微燃氣機組、儲能、基礎負荷和電動(dòng)汽車(chē)負荷的虛擬電廠(chǎng)，制定了虛擬電廠(chǎng)與電動(dòng)汽車(chē)用戶(hù)雙方經(jīng)濟效益的主從博弈定價(jià)策略。

2構建實(shí)施

2.1 應用平臺構建

虛擬電廠(chǎng)平臺系統運行監測、系統運行管理、資源分析與建模、結算管理等功能部署于管理信息大區，交易申報與信息發(fā)布、可視化展示等功能部署于互聯(lián)網(wǎng)大區，方便外界資源接入，兩部分平臺之間通過(guò)強邏輯隔離裝置進(jìn)行信息交互，分別簡(jiǎn)稱(chēng)為外平臺與內平臺。

外平臺作為聚合商與虛擬電廠(chǎng)用戶(hù)等社會(huì )資源的接入端口與申報發(fā)布端口，主要與智慧能源服務(wù)平臺、電力交易平臺、虛擬電廠(chǎng)用戶(hù)等交互；內平臺主要與電網(wǎng)資源業(yè)務(wù)中臺、數據中臺、調度系統、虛擬電廠(chǎng)用戶(hù)等交互。虛擬電廠(chǎng)運營(yíng)平臺采用統一的虛擬電廠(chǎng)聚合商接口，各虛擬電廠(chǎng)聚合商可通過(guò)此架構基礎進(jìn)一步與所管控虛擬電廠(chǎng)進(jìn)行數據與指令交互，并可集成多類(lèi)型微服務(wù)，例如綜合能源服務(wù)公司、電動(dòng)汽車(chē)公司、第三方負荷聚合商等主體的

自建能量管理系統或管理平臺。

虛擬電廠(chǎng)運營(yíng)平臺針對不同時(shí)間尺度的調控指令與交易、運營(yíng)數據交互需求，設置不同的數據通路，包括信息上傳與需求計劃下發(fā)通路等。運營(yíng)平臺與調度系統通過(guò)多道安全防護進(jìn)行出力計劃與調節需求等數據交互，構建調控信息通路；運營(yíng)平臺與智慧能源服務(wù)平臺、交易平臺通過(guò)相關(guān)技術(shù)支持功能進(jìn)行市場(chǎng)信息、出清與結算數據等數據交互，構建市場(chǎng)信息通路。

針對輔助服務(wù)、需求響應、電能量交易等所需的數據交互類(lèi)型，運營(yíng)平臺代理進(jìn)行交易申報，接收相應上級平臺發(fā)布的市場(chǎng)出清結果、調節需求或計劃曲線(xiàn)，通過(guò)預設的協(xié)調優(yōu)化策略，將其分解下發(fā)至各虛擬電廠(chǎng)聚合商，在建設前期也可直接發(fā)送至底層虛擬電廠(chǎng)用戶(hù)，并進(jìn)行實(shí)際運行情況的監測、接收、運行評估；此外運營(yíng)平臺還通過(guò)交易數據通路，接收輔助服務(wù)市場(chǎng)的月度結算信息并分解下發(fā)至聚合商或虛擬電廠(chǎng)用戶(hù)。

2.2 試點(diǎn)應用

組織開(kāi)展虛擬電廠(chǎng)試點(diǎn)參與平臺調峰、調頻的洽談、改造及接入，并逐步拓展接入多元資源的種類(lèi)與規模，針對接入的聚合商或負荷資源開(kāi)展調控業(yè)務(wù)的模擬運行，實(shí)現電源側與負荷側靈活資源的有效耦合利用與深度互動(dòng)，以及光伏新能源棄限電量消納。

2.3 溝通推動(dòng)政策出臺

溝通相關(guān)部門(mén)推動(dòng)河北調頻輔助服務(wù)市場(chǎng)規則的出臺，確認虛擬電廠(chǎng)主體角色，鼓勵前期按照“報量不報價(jià)"的原則參與服務(wù)；后期根據電力現貨市場(chǎng)建設情況，推動(dòng)虛擬電廠(chǎng)相關(guān)補貼政策出臺。一方面，規定可再生能源發(fā)電應盡量并網(wǎng)，并進(jìn)一步完善現行的分時(shí)電價(jià)辦法，鼓勵和促進(jìn)用電高峰時(shí)用戶(hù)節電和分布式能源發(fā)電。另一方面，應區別對待不同職能的虛擬電廠(chǎng)。

3 安科瑞智慧能源管理平臺助力虛擬電廠(chǎng)快速發(fā)展

3.1安科瑞智慧能源管理平臺

AcrelEMS 智慧能源管理平臺是針對企業(yè)微電網(wǎng)的能效管理平臺，對企業(yè)微電網(wǎng)分布式電源、市政電源、儲能系統、充電設施以及各類(lèi)交直流負荷的運行狀態(tài)實(shí)時(shí)監視、智能預測、動(dòng)態(tài)調配，優(yōu)化策略，診斷告警，可調度源荷有序互動(dòng)、能源全景分析，滿(mǎn)足企業(yè)微電網(wǎng)能效管理數字化、安全分析智能化、調整控制動(dòng)態(tài)化、全景分析可視化的需求，完成不同策略下光儲充資源之間的靈活互動(dòng)與經(jīng)濟運行，為用戶(hù)降低能源成本，提高微電網(wǎng)運行效率。AcrelEMS 智慧能源管理平臺可以接受虛擬電廠(chǎng)的調度指令和需求響應，是虛擬電廠(chǎng)平臺的企業(yè)級子系統。

圖1 AcrelEMS 智慧能源管理平臺主界面

3.2平臺結構

系統覆蓋企業(yè)微電網(wǎng)“源-網(wǎng)-荷-儲-充"各環(huán)節，通過(guò)智能網(wǎng)關(guān)采集測控裝置、光伏、儲能、充電樁、常規負荷數據，根據負荷變化和電網(wǎng)調度進(jìn)行優(yōu)化控制，促進(jìn)新能源消納的同時(shí)降低對電網(wǎng)的至大需量，使之運行安全。

圖2 AcrelEMS 智慧能源管理平臺結構

3.3平臺功能

3.3.1.能源數字化展示

通過(guò)展示大屏實(shí)時(shí)顯示市電、光伏、風(fēng)電、儲能、充電樁以及其它負荷數據，快速了解能源運行情況。

3.3.2.優(yōu)化控制

直觀(guān)顯示能源生產(chǎn)及流向，包括市電、光伏、儲能充電及消耗過(guò)程，通過(guò)優(yōu)化控制儲能和可控負載提升新能源消納，削峰填谷，平滑系統出力，并顯示優(yōu)化前和優(yōu)化后能源曲線(xiàn)對比等。

3.3.3.智能預測

結合氣象數據，歷史數據對光伏、風(fēng)力發(fā)電功率和負荷功率進(jìn)行預測，并與實(shí)際功率進(jìn)行對比分析，通過(guò)儲能系統和負荷控制實(shí)現優(yōu)化調度，降低需量和用電成本。

3.3.4.能耗分析

采集企業(yè)電、水、天然氣、冷/熱量等各種能源介質(zhì)消耗量，進(jìn)行同環(huán)比比較，顯示能源流向，能耗對標，并折算標煤或碳排放等。

3.3.5.有序充電

系統支持接入交直流充電樁，并根據企業(yè)負荷和變壓器容量，并和變壓器負荷率進(jìn)行聯(lián)動(dòng)控制，引導用戶(hù)有序充電，保障企業(yè)微電網(wǎng)運行安全。

3.3.6.運維巡檢

系統支持任務(wù)管理、巡檢/缺陷/消警/搶修記錄以及通知工單管理，并通過(guò)北斗定位跟蹤運維人員軌跡，實(shí)現運維流程閉環(huán)管理。

3.4設備選型

除了智慧能源管理平臺外，還具備現場(chǎng)傳感器、智能網(wǎng)關(guān)等設備，組成了完整的“云-邊-端"能源數字化體系，具體包括高低壓配電綜合保護和監測產(chǎn)品、電能質(zhì)量在線(xiàn)監測裝置、電能質(zhì)量治理、照明控制、充電樁、電氣消防類(lèi)解決方案等，可以為虛擬電廠(chǎng)企業(yè)級的能源管理系統提供一站式服務(wù)能力。

安科瑞系統解決方案還包含電力運維云平臺、能源綜合計費管理平臺、環(huán)保用電監管云平臺、充電樁運營(yíng)管理云平臺、智慧消防云平臺、電力監控系統、微電網(wǎng)能量管理系統、智能照明控制系統、電能質(zhì)量治理系統、電氣消防系統、隔離電源絕緣監測系統等系統解決方案，覆蓋企業(yè)微電網(wǎng)各個(gè)環(huán)節，打造準確感知、邊緣智能、智慧運行的企業(yè)微電網(wǎng)智慧能源管理系統。

3.5安科瑞充電樁云平臺系統功能

3.5.1智能化大屏

智能化大屏展示站點(diǎn)分布情況，對設備狀態(tài)、設備使用率、充電次數、充電時(shí)長(cháng)、充電金額、充電度數、充電樁故障等進(jìn)行統計顯示，同時(shí)可查看每個(gè)站點(diǎn)的站點(diǎn)信息、充電樁列表、充電記錄、收益、能耗、故障記錄等。統一管理小區充電樁，查看設備使用率，合理分配資源。

3.5.2實(shí)時(shí)監控

實(shí)時(shí)監視充電設施運行狀況，主要包括充電樁運行狀態(tài)、回路狀態(tài)、充電過(guò)程中的充電電量、充電電壓電流，充電樁告警信息等。

3.5.3交易管理

平臺管理人員可管理充電用戶(hù)賬戶(hù)，對其進(jìn)行賬戶(hù)進(jìn)行充值、退款、凍結、注銷(xiāo)等操作，可查看小區用戶(hù)每日的充電交易詳細信息。

3.5.4故障管理

設備自動(dòng)上報故障信息，平臺管理人員可通過(guò)平臺查看故障信息并進(jìn)行派發(fā)處理，同時(shí)運維人員可通過(guò)運維APP收取故障推送，運維人員在運維工作完成后將結果上報。充電用戶(hù)也可通過(guò)充電小程序反饋現場(chǎng)問(wèn)題。

3.5.5統計分析

通過(guò)系統平臺，從充電站點(diǎn)、充電設施、、充電時(shí)間、充電方式等不同角度，查詢(xún)充電交易統計信息、能耗統計信息等。

3.5.6基礎數據管理

在系統平臺建立運營(yíng)商戶(hù)，運營(yíng)商可建立和管理其運營(yíng)所需站點(diǎn)和充電設施，維護充電設施信息、價(jià)格策略、折扣、優(yōu)惠活動(dòng)，同時(shí)可管理在線(xiàn)卡用戶(hù)充值、凍結和解綁。

3.5.7運維APP

面向運維人員使用，可以對站點(diǎn)和充電樁進(jìn)行管理、能夠進(jìn)行故障閉環(huán)處理、查詢(xún)流量卡使用情況、查詢(xún)充電\充值情況，進(jìn)行遠程參數設置，同時(shí)可接收故障推送

3.5.8充電小程序

面向充電用戶(hù)使用，可查看附近空閑設備，主要包含掃碼充電、賬戶(hù)充值，充電卡綁定、交易查詢(xún)、故障申訴等功能。

3.5.9系統硬件配置

.       總結

電動(dòng)汽車(chē)虛擬電廠(chǎng)是一種新興的電力系統調度模式，通過(guò)將大量分布式的電動(dòng)汽車(chē)充電站整合成一個(gè)虛擬的集中式電廠(chǎng)，實(shí)現對電動(dòng)汽車(chē)充電需求的優(yōu)化調度。強化學(xué)習是一種機器學(xué)習方法，通過(guò)與環(huán)境的交互來(lái)學(xué)習如何在給定狀態(tài)下采取合適行動(dòng)以實(shí)現目標。在基于強化學(xué)習的含電動(dòng)汽車(chē)虛擬電廠(chǎng)優(yōu)化調度中，可以采用以下步驟：

1. 狀態(tài)定義：首先需要定義系統的狀態(tài)，包括電動(dòng)汽車(chē)的當前充電狀態(tài)、電池剩余電量、電網(wǎng)負荷等。此外，還可以考慮天氣、時(shí)間等因素。

2. 動(dòng)作定義：在給定狀態(tài)下，可以定義一系列可能的動(dòng)作，如調整充電功率、切換充電站等。這些動(dòng)作會(huì )影響電動(dòng)汽車(chē)的充電需求和電網(wǎng)的運行狀況。

3. 獎勵函數設計：為了引導強化學(xué)習算法朝著(zhù)優(yōu)化調度的目標前進(jìn)，需要設計一個(gè)獎勵函數來(lái)衡量每個(gè)動(dòng)作的價(jià)值。獎勵函數可以根據系統的實(shí)際運行狀況和調度目標來(lái)設計，如降低電網(wǎng)負荷波動(dòng)、提高充電效率等。

4. 策略學(xué)習：通過(guò)與環(huán)境的交互，強化學(xué)習算法會(huì )學(xué)習到一個(gè)策略，即在給定狀態(tài)下選擇合適動(dòng)作的方法。這個(gè)策略可以用于指導電動(dòng)汽車(chē)虛擬電廠(chǎng)的優(yōu)化調度。

5. 模型訓練與驗證：為了驗證所學(xué)習到的策略的有效性，可以將訓練好的模型應用于實(shí)際的電動(dòng)汽車(chē)虛擬電廠(chǎng)系統中，觀(guān)察其調度效果。如果效果不佳，可以調整獎勵函數或策略，重新進(jìn)行訓練和驗證。

6. 實(shí)時(shí)調度：在實(shí)際應用中，電動(dòng)汽車(chē)虛擬電廠(chǎng)需要實(shí)時(shí)地根據當前的系統狀態(tài)和學(xué)習到的策略進(jìn)行調度。

總之，基于強化學(xué)習的含電動(dòng)汽車(chē)虛擬電廠(chǎng)優(yōu)化調度可以實(shí)現對電動(dòng)汽車(chē)充電需求的智能調度，降低電網(wǎng)負荷波動(dòng)，提高充電效率，為電動(dòng)汽車(chē)的大規模普及提供支持。

參考文獻

.       李明揚，竇夢(mèng)園. 基于強化學(xué)習的含電動(dòng)汽車(chē)虛擬電廠(chǎng)優(yōu)化調度

.       吳巨愛(ài)，薛禹勝，謝東亮 .電動(dòng)汽車(chē)聚合商對備用服務(wù)能力的優(yōu)化

   安科瑞企業(yè)微電網(wǎng)設計與應用手冊.2022.05版