Traffic engineering in data center networks based on software-defined networking and machine learning

Abstract

Background. Data Centers Networks (DCN) represent the critical infrastructure for running Internet-based applications and services that demand colossal computing and storage resources. However, the most prevalent multipath routing mechanism in DCNs, Equal Cost Multiple-Path (ECMP), may degrade the performance of these applications and services while using low network capacity due to the traffic characteristics of flows in DCNs (mice and elephants). Novel multipath routing approaches tackle this problem by leveraging Software-Defined Networking (SDN) for detecting and rescheduling the elephant flows. Some SDN-based approaches have also incorporated Machine Learning (ML) techniques to improve elephant detection and predict elephant traffic characteristics. However, SDN-based multipath routing still requires finding the best trade-off between prompt elephant detection, traffic overhead, data collection accuracy, and network modifications. Moreover, SDN-based multipath routing algorithms call for finer granularity traffic characteristics of elephant flows for improving rescheduling decisions. Aims. This thesis focuses on developing a multipath routing mechanism based on ML and SDN for improving the routing function in DCNs. This objective divides into three tasks: (i) to design a multipath routing reference architecture that incorporates the capabilities of ML and SDN for improving the routing function in DCNs, (ii) to construct and evaluate a mechanism based on ML that predicts, in a fine-granularity way, flow characteristics in DCNs; and (iii) to construct and evaluate a routing mechanism based on SDN that uses predicted flow characteristics for improving the routing function in DCNs.

Antecedentes. Las Redes de Centros de Datos (DCN, Data Center Network) representan la infraestructura clave para ejecutar aplicaciones y servicios basados en la Internet que demandan grandes cantidades de recursos de procesamiento y almacenamiento. Sin embargo, el mecanismo de enrutamiento multicamino más predominante en las DCNs, Equal Cost Multiple-Path (ECMP), puede degradar el rendimiento de estas aplicaciones y servicios cuando se utiliza poca capacidad de red debido a las características de tráfico de los flujos en las DCNs (ratones y elefantes). Nuevas propuestas de enrutamiento multicamino abordan este problema aprovechando las Redes Definidas por Software (SDN, Software-Defined Networking) para detectar y redirigir los flujos elefante. Algunas propuestas basadas en SDN también han incorporado técnicas de Aprendizaje Automático (ML, Machine Learning) para mejorar la detección de elefantes y predecir características de tráfico de elefantes. Sin embargo, el enrutamiento multicamino basado en SDN aún require encontrar el mejor balance entre detección temprana de elefantes, sobrecarga de tráfico, precisión de la recolección de datos y modificaciones de red. Adicionalmente, los algoritmos de enrutamiento multicamino basado en SDN demandan características de tráfico más específicas de los flujos elefante para mejorar las decisiones de enrutamiento. Objetivos. Esta tesis se enfoca en desarrollar un mecanismo de enrutamiento multicamino basado en ML y SDN para mejorar la función de enrutamiento en las DCNs. Este objetivo se divide en tres partes: (i) diseñar una arquitectura de referencia de enrutamiento multicamino que incorpore capacidades de ML y SDN para mejorar la función de enrutamiento en las DCNs, (ii) construir y evaluar un mecanismo basado en ML para predecir, de forma muy fina, las características de los flujos en las DCNs; y (iii) construir y evaluar un mecanismo de enrutamiento basado en SDN que utilice las predicciones de las características de los flujos para mejorar la función de enrutamiento en las DCNs.