Graph Neural Network Reinforcement Learning for Autonomous Mobility-on-Demand Systems
Gammelli, Daniele et al. — 2021
Résumé (FR)
Cet article propose un cadre d’apprentissage par renforcement profond pour contrôler le rééquilibrage des systèmes de mobilité autonome à la demande (AMoD) à travers des réseaux de neurones à graphes (GNN). Les GNN permettent aux agents d’apprentissage par renforcement de récupérer des politiques comportementales significativement plus transférables, généralisables et scalables que celles apprises par d’autres approches. La structure en graphe capture les relations spatiales et la topologie du réseau de transport de manière naturelle. Les expériences montrent des améliorations substantielles en termes de transfert de politique à de nouvelles villes ou configurations. L’approche est validée sur plusieurs scénarios d’AMoD avec des demandes variables. Ce travail est l’une des premières applications des GNN à la gestion de flotte AMoD par apprentissage par renforcement. Il ouvre la voie à des systèmes de transport autonome mieux généralisables.
Summary (EN)
This paper proposes a deep reinforcement learning framework to control the rebalancing of autonomous mobility-on-demand (AMoD) systems through graph neural networks (GNNs). GNNs enable reinforcement learning agents to recover behavior policies that are significantly more transferable, generalizable, and scalable than policies learned through other approaches. The graph structure naturally captures spatial relationships and transport network topology. Experiments show substantial improvements in policy transfer to new cities or configurations. The approach is validated on multiple AMoD scenarios with varying demand patterns. This work is one of the first applications of GNNs to AMoD fleet management via reinforcement learning. It opens the way for better-generalizable autonomous transport systems.
Points clés
| Aspect | Détail |
|---|---|
| Thème | rl-fleet |
| Venue | 2021 60th IEEE Conference on Decision and Control (CDC) |
| Mots-clés | graph neural network, reinforcement learning, autonomous mobility-on-demand, fleet rebalancing, transferability |
| DOI | 10.1109/CDC45484.2021.9683135 |