La congestión del tráfico puede tener varias causas, como una capacidad insuficiente, una demanda no restringida y una programación inadecuada de las fases de los semáforos. Existen diversos esfuerzos para programar adecuadamente estas fases, algunos de ellos están basados en el transporte tradicional a través de suposiciones y otros adaptativos que permiten el aprendizaje de los datos obtenidos de diferentes fuentes. El aprendizaje por refuerzo (RL) es una técnica utilizada en varios trabajos relacionados realizados previamente, puede describirse como un proceso de control discreto y estocástico en el que los estados futuros dependen de los estados actuales y de las acciones realizadas. Esta técnica consiste en asignar una recompensa a un agente dependiendo del estado previo y posterior a la toma de una acción, dicha recompensa es un valor que depende de que tan acertada sea la acción sugerida por el agente, los estados son descripciones cuantitativas del entorno, sin embargo, determinar adecuadamente dichos estados y las recompensas es clave para obtener buenos resultados y tener una posibilidad real de implementarlo. El agente basado en RL es capaz de ganar conocimiento a través del proceso de aprendizaje. El valor agregado que proporciona la propuesta presentada en este documento (basada en RL), radica en la facilidad y bajo costo de la implementación, y la eficiencia en su ejecución y respuesta buscando resultados similares o mejores a los presentados en trabajos previos.
Este trabajo propone un sistema de control de tráfico inteligente (SCTI), presentando las siguientes etapas de desarrollo: a) Diseño de la arquitectura del Sistema Inteligente de Transporte (ITS) para el SCTI; b) Diseño y desarrollo de un prototipo del sistema, incluyendo el desarrollo de un algoritmo de RL para minimizar la cola de vehículos en las intersecciones, y la detección y cálculo de dicha cola mediante la adaptación de un algoritmo de visión por computadora; c) Diseño y desarrollo de pruebas del sistema, para validar el funcionamiento de los algoritmos y del prototipo del sistema. Los resultados presentan la arquitectura ITS propuesta, el diseño del prototipo, el desarrollo de las pruebas del módulo (visión por computadora para medir las colas de vehículos y el algoritmo RL) y las pruebas de integración en tiempo real. Finalmente, este documento presenta los resultados de una simulación del sistema a través del software SUMO, validando que el sistema propuesto permitió la reducción de colas de vehículos, tiempo de espera y tiempo de pérdida (aproximadamente 29,24%, 49,79% y 49,65 respectivamente) en comparación con los tiempos fijos en los semáforos.
Traffic congestion can have several causes, such as insufficient capacity, unconstrained demand, and inadequate scheduling of traffic signal phases. A variety of efforts have been made to properly schedule these phases, some of them are based on traditional transport through assumptions and others adaptive that allow learning from data obtained from different sources. Reinforcement learning (RL) is a technique used in several related works done previously, it can be described as a discrete stochastic control process in which future states depend on current states and actions taken. This technique consists of assigning a reward to an agent depending on the state before and after taking an action. The reward is a value that depends on how successful the action suggested by the agent is, the states are quantitative descriptions of the environment, however, properly determining these states and rewards is key to obtain good results and have a real possibility of implementing it. The RL-based agent is able to gain knowledge through the learning process. The added value provided by the proposal presented in this document (based on RL), lies in the ease and low cost of implementation, and the efficiency in its execution and response, seeking results similar or better to those presented in reviewed works.
This work proposes a traffic signal control system (TSCS), presenting the following development stages: a) Design of the Intelligent Transportation System (ITS) architecture for the ITS; b) Design and development of a prototype of the system, including the development of an RL algorithm to minimize the queue of vehicles at intersections, and the detection and calculation of such queue by adapting a computer vision algorithm; c) Design and development of system tests, to validate the performance of the algorithms and the system prototype. The results present the proposed ITS architecture, the design of the prototype, the development of the module tests (computer vision for measuring vehicle queues, and the RL algorithm) and real-time integration tests. Finally, the results of a system simulation are presented through the SUMO software, validating that the proposed system allowed the reduction of vehicle queues, waiting time, and loss time (approximately 29,24%, 49,79%, and 49,65 respectively) compared with fixed times in traffic lights.
