Une IA révolutionne la gestion des flottes de véhicules électriques
Le monde de la mobilité électrique est à un tournant décisif. Ce qui était hier un simple moyen de transport évolue aujourd’hui vers un rôle central dans la gestion intelligente de l’énergie. Les véhicules électriques (VE), autrefois perçus uniquement comme des consommateurs d’électricité, sont en passe de devenir des actifs énergétiques dynamiques, capables d’interagir de manière bidirectionnelle avec le réseau électrique. Grâce à la technologie Véhicule vers Réseau (V2G), un VE peut non seulement puiser de l’énergie pour se recharger, mais aussi, lorsqu’il est connecté à une borne, restituer de l’électricité au réseau. Ce potentiel est immense : il permet de stabiliser les réseaux face à l’intermittence des énergies renouvelables, d’effacer les pics de consommation et de créer de nouvelles sources de revenus pour les propriétaires de véhicules. Cependant, la puissance d’un seul véhicule est trop limitée pour avoir un impact significatif sur les marchés de l’énergie. C’est là qu’interviennent les agrégateurs de véhicules électriques (EVA), des entités qui regroupent des flottes de milliers de VE pour former une « centrale virtuelle » capable de participer activement à l’économie de l’énergie. Une nouvelle étude, menée par Kong Yueping et Yang Shihai du Centre de Service Marketing de State Grid Jiangsu Electric Power Co., Ltd., introduit un algorithme d’intelligence artificielle (IA) qui promet de révolutionner cette gestion, en optimisant simultanément les décisions de marché et la distribution de puissance au sein de la flotte.
Le défi auquel font face les EVA est d’une complexité redoutable. Il repose sur deux piliers étroitement liés. Le premier consiste à décider combien d’énergie et quelle capacité de réserve (la puissance disponible pour augmenter ou diminuer rapidement la production) offrir sur les marchés de l’énergie du jour suivant et sur le marché de réglage. Le second, tout aussi crucial, est de déterminer comment répartir concrètement cette charge ou cette décharge entre les véhicules individuels de la flotte. Pendant longtemps, ces deux décisions ont été traitées de manière séparée, souvent avec des approches simplistes. Les méthodes d’optimisation traditionnelles, comme la programmation linéaire mixte entière (MILP), nécessitent des modèles mathématiques précis et des prévisions fiables de variables incertaines telles que les prix de l’électricité, les horaires d’arrivée et de départ des véhicules et leurs besoins de charge. Lorsque ces prévisions s’avèrent erronées, les stratégies résultantes peuvent être inefficaces, voire contre-productives, compromettant à la fois la rentabilité de l’agrégateur et la satisfaction du conducteur.
Pour surmonter ces limites, la recherche de Kong, Yang et de leur équipe s’appuie sur une technologie de pointe : l’apprentissage par renforcement (Reinforcement Learning, RL). Contrairement aux méthodes classiques, le RL ne repose pas sur un modèle parfait du monde. Un « agent » – dans ce cas, l’algorithme de l’agrégateur – apprend par essais et erreurs en interagissant directement avec son environnement. À chaque pas de temps, l’agent observe l’état du système (prix de l’énergie, état de charge de la flotte, etc.), prend une décision (une « action »), et reçoit une « récompense » ou une « pénalité » en fonction du résultat. Au fil des interactions, l’agent apprend progressivement la politique optimale, c’est-à-dire la séquence d’actions qui maximise sa récompense cumulée à long terme. Cette approche est particulièrement adaptée aux environnements dynamiques et incertains, comme le marché de l’électricité, où les conditions changent constamment.
La véritable innovation de cette étude, publiée dans la prestigieuse revue Computer Engineering (DOI: 10.19678/j.issn.1000-3428.0068701), réside dans la conception d’un algorithme capable de gérer deux types d’actions simultanément, un concept que les auteurs appellent des « actions hybrides ». Ce n’est pas simplement une application du RL, mais une avancée architecturale qui permet une optimisation intégrée.
L’algorithme proposé, une version améliorée de l’algorithme Proximal Policy Optimization (PPO), est capable de générer deux types d’actions à chaque décision. Premièrement, des actions continues qui déterminent la magnitude des offres sur le marché. Cela inclut la quantité d’énergie (en kWh) à acheter ou à vendre sur le marché de l’énergie, ainsi que la capacité de réserve à engager pour les services de réglage. Ces valeurs sont continues, ce qui permet une optimisation fine et précise. Deuxièmement, des actions discrètes qui contrôlent une décision stratégique clé : quelle stratégie de répartition de la puissance utiliser parmi les véhicules. Ici, l’agent ne choisit pas une valeur, mais une stratégie spécifique parmi deux options principales.
La première stratégie est la répartition proportionnelle. Cette méthode attribue la charge ou la décharge de manière équitable, en fonction de la « flexibilité » actuelle de chaque véhicule. La flexibilité est définie comme la capacité d’un véhicule à augmenter ou diminuer sa puissance de charge sans compromettre son besoin d’avoir la batterie chargée à son heure de départ. Cette stratégie est excellente pour préserver la flexibilité globale de la flotte, car elle évite qu’un véhicule ne se charge complètement ou ne se décharge trop tôt. Cela maintient tous les véhicules disponibles pour de futures opportunités de marché, mais peut entraîner un plus grand nombre de cycles de charge partielle, ce qui pourrait accélérer le vieillissement de la batterie à long terme.
La seconde stratégie est la répartition par priorité. Cette approche est plus sélective et vise à minimiser l’usure de la batterie. Elle classe les véhicules selon un « indice de confort » qui combine le temps restant sur la station et l’énergie nécessaire pour atteindre l’objectif. Les véhicules avec peu de temps de stationnement et beaucoup d’énergie nécessaire (peu de confort) ont la priorité pour la charge. À l’inverse, les véhicules avec beaucoup de temps de stationnement et beaucoup d’énergie stockée (haut confort) ont la priorité pour la décharge. Cette stratégie protège les batteries des véhicules qui ont le moins de marge de manœuvre, réduisant ainsi les coûts de dégradation. Son inconvénient est qu’elle peut conduire à une utilisation inégale de la flotte, certains véhicules étant utilisés intensivement tandis que d’autres restent sous-utilisés, ce qui réduit la flexibilité totale disponible.
Le génie de l’algorithme HPPO (Hybrid PPO) réside dans sa capacité à changer dynamiquement entre ces deux stratégies. Il n’est pas figé dans une seule approche. Au lieu de cela, il apprend à évaluer le contexte en temps réel et à prendre la décision stratégique la plus pertinente. Les résultats des simulations sont éloquents. Pendant les heures nocturnes, lorsque les prix de l’électricité sont bas, l’algorithme a tendance à choisir la stratégie proportionnelle. Cela permet de charger la flotte de manière économique et, en même temps, de préserver la flexibilité de tous les véhicules, les préparant à d’éventuelles opportunités de décharge pendant la journée.
Lorsque le soleil se lève et que les prix de l’énergie atteignent leur maximum, le comportement de l’algorithme change radicalement. Il passe à la stratégie de priorité. Lorsque l’EVA décide de décharger la flotte pour vendre de l’énergie chère sur le marché, l’algorithme privilégie la décharge de ceux qui ont beaucoup d’énergie et qui resteront connectés longtemps. Cela garantit que les véhicules avec une fenêtre de charge courte ou une batterie déjà basse ne sont pas forcés de se décharger, les protégeant d’une usure excessive. Ce changement stratégique intelligent est la clé de son efficacité supérieure.
Les tests comparatifs réalisés par les chercheurs démontrent de manière écrasante l’efficacité de cette approche. L’algorithme HPPO a été comparé à plusieurs points de référence, notamment des versions de l’algorithme PPO qui n’utilisent qu’une seule stratégie fixe (proportionnelle ou par priorité) et un autre algorithme de pointe, le Soft Actor-Critic (SAC). Les résultats sont sans appel. L’HPPO a non seulement atteint la récompense cumulée la plus élevée, un indicateur direct d’une meilleure rentabilité, mais il l’a fait de manière plus stable et plus efficace.
Par rapport à un algorithme utilisant uniquement la stratégie par priorité, l’HPPO a réduit le coût opérationnel total journalier de 1,9%. Par rapport à un algorithme utilisant uniquement la stratégie proportionnelle, la réduction a été encore plus impressionnante : 3,2%. Cela signifie que le simple fait de permettre un changement dynamique entre les stratégies génère une économie économique significative. De plus, l’algorithme SAC, malgré sa sophistication, n’a pas réussi à converger dans le temps d’entraînement disponible et a montré des performances inférieures, soulignant la robustesse et l’efficacité de l’approche PPO dans ce scénario spécifique.
Un autre apport fondamental de cette recherche est la manière dont elle modélise la « flexibilité agrégée » de la flotte. La plupart des modèles précédents se concentraient uniquement sur l’aspect physique : quelle puissance peut être déplacée et pendant combien de temps. Kong et Yang introduisent un élément crucial : la valeur économique de la flexibilité. Ils définissent que la « flexibilité unitaire » à un moment donné est égale au prix de gros de l’électricité à ce moment-là. Un kilowattheure de flexibilité a beaucoup plus de valeur quand le prix est élevé que quand il est bas. Leur modèle de flexibilité ne se contente pas de calculer ce qu’on peut faire, il détermine aussi ce qu’on doit faire pour maximiser la valeur totale de la flexibilité sur l’ensemble de la journée. Ce modèle, qui tient compte des contraintes de charge de chaque véhicule et des prix du marché, permet à l’EVA de prendre des décisions non seulement techniquement faisables, mais aussi économiquement optimales dès le départ.
La fonction de récompense de l’agent est un reflet parfait des objectifs du monde réel. Il ne s’agit pas seulement de maximiser les revenus de la vente d’énergie. La récompense pénalise activement les coûts négatifs : le coût d’achat d’énergie chère, le coût de la dégradation de la batterie (modélisé comme une fonction polynomiale reflétant l’usure non linéaire), le coût de non-satisfaction de la demande de charge d’un utilisateur et le coût de non-livraison de la puissance exacte qui a été offerte sur le marché. En équilibrant tous ces facteurs, l’agent apprend une politique commerciale complète qui est durable tant du point de vue financier que de la maintenance de la flotte.
L’architecture de l’algorithme est ingénieuse. Elle utilise un réseau de neurones avec une structure en « branches ». Une couche partagée traite les informations d’état (prix, état de charge total, etc.). Ensuite, deux branches séparées prennent le relais : une pour les actions continues (l’offre de marché) et une autre pour l’action discrète (le choix de la stratégie de répartition). Les deux branches sont entraînées simultanément, ce qui permet une coordination naturelle des décisions. Un réseau de valeur partagé estime la valeur de l’état, guidant l’ensemble du processus d’apprentissage. Cette architecture évite l’inefficacité d’entraîner deux agents séparés et favorise une coopération entre les deux types de décisions.
Les implications de cette recherche sont profondes. Pour les opérateurs de parcs de recharge et les entreprises de services énergétiques, cet algorithme représente un outil puissant pour transformer leurs installations en centres de gestion énergétique active, générant des revenus supplémentaires et améliorant l’efficacité opérationnelle. Pour les propriétaires de véhicules électriques, cela signifie une participation plus rentable au marché V2G, avec l’avantage supplémentaire que leurs batteries sont gérées de manière à en minimiser l’usure, augmentant ainsi leur durée de vie et protégeant leur investissement.
Pour les réseaux électriques, l’adoption à grande échelle d’agrégateurs intelligents comme celui-ci pourrait être un catalyseur pour un réseau plus résilient et durable. La capacité de stocker l’énergie excédentaire des sources renouvelables et de la restituer lorsqu’elle est la plus nécessaire est essentielle pour décarboner le secteur énergétique. Cet algorithme n’est pas seulement une avancée technique ; c’est un pas crucial vers un avenir où les véhicules électriques ne sont plus seulement des consommateurs d’énergie, mais des citoyens énergétiques actifs et responsables.
Kong Yueping, Yang Shihai et al., Marketing Service Center of State Grid Jiangsu Electric Power Co., Ltd., Computer Engineering, DOI: 10.19678/j.issn.1000-3428.0068701