AIがEVアグリゲーターの運営を最適化
電動車（EV）の世界は、単なる移動手段から、エネルギーインフラの重要な一部へと急速に進化している。バッテリーはもはや車両を動かすためのものにとどまらず、電力網と双方向にやり取りする「動くエネルギー貯蔵装置」としての役割を果たし始めている。この「V2G（Vehicle-to-Grid）」技術の真の力を引き出す鍵は、多数のEVを束ね、一つの大きな仮想発電所として市場に参加させる「EVアグリゲーター（EVA）」の存在にある。しかし、その運営は極めて複雑な課題を伴う。市場価格の変動、ユーザーの走行パターン、バッテリーの劣化コストなど、多くの不確実な要因を考慮しながら、最適な運用戦略を立てる必要がある。この難題に挑む画期的な研究が、孔月萍（Kong Yueping）氏と楊世海（Yang Shihai）氏ら、国网江苏省电力有限公司营销服务中心のチームによって発表された。彼らは、強化学習（Reinforcement Learning）を用いた新たなアルゴリズムを開発し、アグリゲーターの収益性と持続可能性を大幅に向上させる可能性を示した。この研究は、学術誌『Computer Engineering』に掲載され（DOI: 10.19678/j.issn.1000-3428.0068701）、EVの次世代管理技術の地平を切り開くものと期待されている。
従来のEVAの運営モデルでは、主に二つの大きな意思決定が存在する。第一に、電力市場でどのくらいの電力と予備力（リザーブ）をどの価格で売り買いするかという「市場入札戦略」がある。第二に、そのように決定された合計の充電・放電電力を、実際に接続されている数千台のEVにどのように割り当てるかという「電力分配戦略」がある。これまでの研究の多くは、この二つの問題を別々に扱うか、あるいは電力分配を「均等に割り振る」や「優先度の高い車両から割り振る」といった固定されたルールベースのシンプルな方法に頼っていた。しかし、これは大きな限界を抱えていた。市場の価格が安い夜間に均等に充電することで、各車両の柔軟性（後で放電できる余地）を保つことができるが、その分、多くの車両が部分充電を繰り返し、バッテリーの劣化が進むリスクがある。一方、放電時には、バッテリーが十分にあり、駐車時間も長い車両を優先して放電させることで劣化を最小限に抑えられるが、その戦略を常に採用すると、特定の車両ばかりが使われ、全体としての柔軟性が失われる可能性がある。つまり、二つの戦略にはそれぞれ長所と短所があり、状況に応じて最適な戦略を切り替える必要がある。しかし、その「切り替えのタイミング」を人為的に決めることは、膨大なデータと複雑な予測を要し、現実的ではなかった。
孔氏と楊氏らの研究チームは、このジレンマを解決するために、AIの一分野である「強化学習」に注目した。強化学習は、プレイヤー（エージェント）が環境と相互作用しながら、成功（報酬）を多く得られるような行動のパターン（ポリシー）を学習する技術である。この研究では、EVAそのものが「エージェント」となり、電力市場とEV群という「環境」と対話しながら、最適な運営方法を学習する。このアプローチの画期的な点は、エージェントが「連続的な行動」と「離散的な行動」の両方を同時に決定できる点にある。彼らはこれを「混合行動強化学習」と呼んでいる。
具体的には、連続的な行動とは、市場への入札量（例えば、次の時間帯に何kWhの電力を売るか）といった、細かく調整できる数値の決定を指す。一方、離散的な行動とは、電力分配戦略を「均等分配モード」にするか「優先度分配モード」にするかという、二者択一の戦略的決定を指す。従来のアルゴリズムでは、この二つを別々に処理するか、あるいは離散的な戦略の選択を学習対象から外していた。しかし、この研究では、一つのAIモデルがこの二つの意思決定を統合的に学習する。AIは、市場価格の推移、現在のEV群の総蓄電量、各車両の残り駐車時間と必要充電量といった情報を「状態」として受け取り、それに対して「入札量」と「分配戦略」の両方を出力する。そして、その結果がどれだけ収益を上げ、バッテリーを守れたかという「報酬」をフィードバックとして受け取り、次第に最適な判断を身につけていく。
このAIモデルの設計には、実用性を高めるための細やかな工夫が凝らされている。まず、EV群の持つ「柔軟性」の評価方法が革新された。従来は、物理的にどれだけ電力をずらせるかという「量」だけが重視されていた。しかし、この研究では、その柔軟性の「価値」に着目した。つまり、電力価格が高い時間帯に放電する柔軟性は、価格が安い時間帯に充電する柔軟性よりもはるかに価値が高い。AIは、この「単位柔軟性の価値」を市場価格そのものと定義し、一日を通じての「柔軟性の総価値」を最大化するように学習する。これにより、AIは単に電力を動かすのではなく、最も価値の高いタイミングで動かすよう最適化される。
また、AIが学習する「報酬関数」も、実際のビジネスに即した現実的なものになっている。報酬は、市場での取引益だけでなく、バッテリーの劣化によるコスト、ユーザーの充電ニーズを満たせなかった場合のペナルティ、そして計画通りに電力を供給できなかった場合のペナルティも含まれている。特にバッテリー劣化コストは、非線形の関数でモデル化されており、急激な充放電がもたらすダメージが適切に反映されている。このように、AIは「短期的な利益」だけでなく、「長期的な車両寿命の維持」や「ユーザー満足度」も重視する、バランスの取れた判断を学習する。
この新しいアルゴリズム（HPPO: Hybrid action Proximal Policy Optimization）の性能は、詳細なシミュレーションによって検証された。研究チームは、実際の電力卸売市場価格のデータと、数百台のEVの走行・駐車パターンをシミュレートしたデータを用いて、従来の手法との比較を行った。その結果は顕著だった。固定された「優先度分配」のみを使う手法と比較して、この新しいAIは1.9%、固定された「均等分配」のみを使う手法と比較して3.2%も、一日の運営コストを削減できた。これは、AIが状況に応じて戦略を動的に切り替えることで、各戦略の長所を最大限に活かし、短所を補い合っていることを示している。シミュレーションの詳細を観察すると、夜間の低価格帯では、AIは「均等分配」を選び、各車両のバッテリーをゆっくりと満たしながら、翌日の放電のために柔軟性を保っていた。一方、夕方から夜にかけて価格が高騰すると、AIは「優先度分配」に切り替えて、バッテリーが豊富で長時間駐車できる車両を優先的に放電させ、全体の劣化を抑制していた。このように、人間が直感的に思いつく最適戦略を、AIが自動的に学習し、実行しているのである。
この研究の意義は、技術的な進歩にとどまらない。それは、EVの未来像そのものを変える可能性を秘めている。これまでは、V2Gは技術的に可能でも、経済的に採算が取れないという壁があった。しかし、孔氏と楊氏らのAIは、その採算性を高める強力なツールとなり得る。アグリゲーターの収益が高まれば、その分、EVユーザーへのインセンティブ（報酬）も増やすことができ、より多くのユーザーがV2Gに参加するインセンティブが生まれる。これは、車両メーカー、電力会社、ユーザーの三方にとってのウィンウィンの関係を構築する。さらに、大量のEVがネットワークの安定化装置として機能すれば、再生可能エネルギーの導入を加速し、カーボンニュートラルの実現に大きく貢献する。
もちろん、課題は残っている。この研究はシミュレーション上の成果であり、実際の複雑な現実世界に適用するには、さらなる検証と調整が必要だ。例えば、ユーザーの行動の予測精度、通信の遅延、サイバーセキュリティの確保などが、実用化の鍵となる。しかし、この研究が示した方向性は明確だ。EVの管理は、固定されたルールや、人間の経験則に頼る時代から、環境の変化にリアルタイムで適応し、自ら最適解を学習する「知的なAIエージェント」の時代へと移行しつつある。孔月萍、楊世海らのこの研究は、その幕開けを告げる、重要な一歩であると言えるだろう。
孔月萍、楊世海ら、国网江苏省电力有限公司营销服务中心、Computer Engineering、DOI: 10.19678/j.issn.1000-3428.0068701