AIが革新する電力系統安定化技術：再生エネルギー時代の電圧制御に新たな道筋
電気自動車（EV）や太陽光・風力に代表される再生可能エネルギーが主流となる中、配電ネットワークは未曾有の課題に直面している。かつては稀であった電圧不安定化現象は、現在では多くのアクティブ配電システムで日常的に発生している。この問題の根源は、太陽光発電アレイや急速充電ステーションから生じる予測不可能かつ急激な電力変動にある。これらの変動は時に1分以内に定格容量の15％を超え、ノード電圧を安全限界を超えて押し上げ、系統の信頼性と機器の寿命を脅かす。
従来の電圧調整手法は、電圧調整器（VR）、開閉型容量性リアクトル（SCR）、エネルギー貯蔵システム（ESS）などの装置に依存しているが、こうした急速な変化に対応しきれなくなっている。これらの装置は動作時間軸が異なる——VRやSCRは機械的摩耗を最小限に抑えるように設計された低速作動型であるのに対し、分散型電源（DG）のインバーターや無効電力補償装置（SVC）は数秒で応答可能だ。この応答時間の不一致が複雑な協調問題を生み出す。統一された制御戦略なしに高速インバーターと低速機械装置が相互作用すると、過剰なスイッチング、制御飽和、さらには電圧崩壊に至る可能性がある。
従来の最適化モデルを用いた解決の試みは壁に直面している。この問題は本質的に非凸であり、バッテリーの連続的な充電電力や電圧調整器の離散的なタップ位置のように、連続値と離散値が混在する決定変数を扱う必要がある。大規模な混合整数非線形最適化問題としてこれを解くことは、特にリアルタイム応用において計算量的に不可能に近い。複雑さはネットワーク規模に応じて指数関数的に増大するため、NP困難問題となる。これが、データ駆動型アプローチ、特に深層強化学習（DRL）への関心を促している。DRLは系統全体の明示的な数学モデルを必要とせず、経験から最適な制御ポリシーを学習できる。
しかし、既存のDRL手法にも限界がある。例えば、Deep Q-Networks（DQN）は離散行動に有効だが、連続変数が関与すると機能しない。逆に、Deep Deterministic Policy Gradient（DDPG）などのアルゴリズムは連続行動を得意とするが、離散値を扱えない。多数の離散タップ位置を持つ複数のVRやSCRが存在するネットワークでは、DQNアプローチは次元の呪いを招き、行動空間が膨大になりすぎて学習が非効率的で不安定になる。これを緩和するためマルチエージェントDRLソリューションが提案されているが、調整と収束に新たな複雑さを導入してしまう。
この難題に対する画期的な解決策が、合肥工業大学のJian Zhang、天津大学のMingjian Cui、武漢大学のYigang Heらによる共同研究からもたらされた。彼らの研究は、権威ある学術誌『Transactions of China Electrotechnical Society』に掲載され、データ駆動型学習の強みと物理モデリングの厳密さをシームレスに融合した novel なデュアルタイムスケール電圧協調戦略を提示している。このハイブリッドアプローチは、純粋なモデルフリーまたはモデルベースの手法とは異なり、双方の根本的な限界を克服するように設計されている。
中核となる革新は、階層的な2層制御アーキテクチャにある。第1層は低速時間軸（通常は1時間単位）で動作し、低速作動装置——VRのタップ比、SCRの開閉状態、ESSの充放電電力——の長期的な動作点を設定する責任を負う。ここに、離散－連続混合行動の複雑さが集中する。これを解決するため、研究者らは改良型Deep Deterministic Policy Gradient（DDPG）アルゴリズムを開発した。鍵となる洞察は、3段階のプロセス——緩和（relaxation）、予測（forecasting）、修正（correction）——にある。
緩和フェーズでは、VRとSCRの離散タップ位置は連続変数として扱われ、DDPGのアクターネットワークが、連続値（ESS電力）と緩和された離散値（VR比率、SCR状態）の両方を含む「プロトタイプアクション」を出力できるようにする。予測フェーズでは、このプロトタイプを単一の離散行動に強制する代わりに、アルゴリズムは離散行動空間から緩和された値に最も近いK個の近傍を探索する。これにより、少数で管理可能な候補行動の集合が作成される。修正フェーズでは、これらK個の候補それぞれが、プロトタイプからの連続的なESS電力と組み合わされ、批評家ネットワーク（critic network）によってその期待される長期的価値が評価される。そして、最も高い価値を持つ行動が実装のために選択される。
この「緩和－予測－修正」メカニズムは卓見である。これにより、DDPGの滑らかな勾配ベースの学習を利用して離散空間での探索を導き、純粋なDQNアプローチの組み合わせ爆発を回避する。決定ごとにK個の候補（例えば20または40）のみを評価するため、計算負荷は低く抑えられながら、ポリシーは依然として最適に近い解に収束することができる。研究者らは、この方法が既存のマルチエージェントDQN手法よりもはるかに安定した訓練プロセスを実現し、はるかに高速に収束することを実証した。
制御システムの第2層は、高速時間軸（5～15分毎）で動作し、再生可能エネルギーやEV充電の間欠性に起因する急速な電圧変動を処理する。この層では、低速時間軸の決定（VRタップ、SCR状態、ESS電力）は固定パラメータとして扱われる。このコンテキストを与えられたシステムは、その後、すべてのDGインバーターとSVCの最適な無効電力出力を計算する。これは別のDRLエージェントではなく、配電ネットワークの分岐潮流方程式から導出された物理ベースの二次計画法（QP）モデルを解くことによって行われる。
ここで物理モデリングの真価が発揮される。QPモデルは、キルヒホッフの法則や電力潮流方程式といった物理法則を明示的に強制し、解が物理的に実行可能であり、インバーター容量制限や電圧限界などすべての運転制約を遵守することを保証する。すべてのノードにわたる電圧偏差の二乗和を最小化することにより、このモデルは現在の系統状態に対して数学的に最適な無効電力配分を生成する。低速時間軸の変数が固定されているため、このQP問題は凸となり、MOSEKのような標準ソルバーを使用してミリ秒単位で大域的最適解を得ることができる。
これら2つの層は、DRLエージェントの報酬構造を通じて緊密に結合されている。マルコフ決定過程（MDP）における各時間帯のコストは、その時間帯内のすべての高速時間軸QP最適化からの最適目的値の合計として定義される。本質的に、DRLエージェントは、電圧安定性を維持するために高速時間軸制御器が必要とする総「努力」を最小化する方法で低速時間軸変数を設定することを学習する。これにより、長期的なポリシーがその行動の短期的な物理的結果から直接情報を得るフィードバックループが形成される。
このデュアルタイムスケール戦略の性能は、2つの標準的なIEEEベンチマークシステム——33ノード平衡系統と123ノード不平衡系統——で厳密にテストされた。いずれのケースでも、結果は説得力のあるものだった。低速時間軸装置がランダムまたは固定値に設定された場合、平均時間帯電圧偏差コストは壊滅的に高く、深刻かつ頻繁な電圧違反が発生していることを示した。24時間の時間範囲で全ての装置を同時に最適化する従来のシングルタイムスケール混合整数QPモデルは、最適に近い性能のゴールドスタンダードとして使用された。このモデルは非常に低いコストを達成したが、33ノード系統で78秒以上、123ノード系統で189秒以上を要し、リアルタイム使用には遅すぎた。
提案手法は、600日分のシミュレーションデータによる訓練期間を経て、このゴールドスタンダードに驚くほど近い性能を達成した。33ノード系統では、平均コストは最適値0.0207 (pu) に対し0.0262 (pu) に収束した。123ノード系統では、最適値0.0349 (pu) に対し0.0410 (pu) に達した。しかし、真の成功は速度にあった。1日分の制御行動を計算する平均時間は、33ノード系統でわずか1.7～2.1秒、123ノードシステムで8.9～10.5秒だった。これは、従来の最適化と比較して、それぞれ36.7倍と18.0倍の高速化を意味する。さらに重要なのは、スロットごとの計算時間がわずか7.4ミリ秒と73ミリ秒であり、リアルタイム制御の要求条件に十分に適合している点である。
この研究は、アルゴリズムの実用的な調整に関する貴重な知見も提供した。最近傍の数Kは、極めて重要なハイパーパラメータであることが判明した。K=1に設定すると（本質的にプロトタイプアクションを単一の最も近い離散点に強制する）、性能が大きく変動する極めて不安定な訓練プロセスをもたらした。対照的に、33ノード系統でK=20、123ノード系統でK=40に設定すると、安定した高性能ポリシーへスムーズかつ迅速に収束した。これは、離散空間でのわずかな「探索」が堅牢な学習に不可欠であることを示している。
もう一つの重要な発見は、文献で報告されているマルチエージェントDQN手法と比較した、このシングルエージェント適応型DDPGアプローチの優れた性能であった。訓練曲線ははるかに高速で滑らかな収束を示し、著者らはこれを、大幅に縮小された実効探索空間とDDPGフレームワークの固有の安定性に起因するとしている。訓練の不安定性はアルゴリズムを実世界での展開に不向きにする可能性があるため、これは大きな利点である。
この研究の意義は広範に及ぶ。これは、現代のアクティブ配電系統における電圧制御のための実用的でスケーラブルなソリューションを提供する。この手法は本質的に柔軟性があり、平衡および不平衡の三相ネットワークの両方に適用可能で、実世界の都市部や農村部の環境に適している。時間軸の分離は、低速作動の機械装置が舞台を設定し、高速作動の電子装置が電圧プロファイルを微調整するという、系統の自然なダイナミクスを反映している。
電力事業者や系統運用者にとって、これはコストのかかるインフラアップグレードなしに、より高水準の再生可能エネルギーとEV充電を統合するための強力なツールを意味する。協調的で智能的な戦略を用いて電圧を proactive に管理することにより、過電圧や不足電圧の事象を防止し、電圧調整器のような機器の寿命を延ばし、すべての顧客に対する電力品質を維持できる。DRLの使用は、システムが時間の経過とともに変化する状態に適応し、負荷と発電の新しいパターンから学習できることも意味する。
研究者らは、現在の研究では固定の訓練データセットを使用しており、未見の条件へのアルゴリズムの汎化性能を完全にはテストしていないことを認めている。今後の研究は、動的かつ進化する系統において制御器が堅牢であり続けることを保証するため、オンライン学習とローリング検証セットを用いたテストに焦点を当てる。それにもかかわらず、彼らが築いた基盤は堅固である。人工知能の適応性と物理法則の信頼性を組み合わせることにより、彼らはより速くより効果的であるだけでなく、より信頼性の高い制御システムを創り出した。このハイブリッドアプローチは、次世代の智能的な系統管理システムの青写真となる可能性が大いにある。
張健（合肥工業大学）、崔明建（天津大学）、何怡剛（武漢大学）、Transactions of China Electrotechnical Society、DOI:10.19595/j.cnki.1000-6753.tces.222273