Secuencias típicas en el análisis de capacidad de un canal de comunicación digital

Abstract

El presente trabajo de grado de investigación es un estudio en torno a la obra de Claude Elwood Shannon (1916-2001)1, quien sentó las bases matemáticas y técnicas del desarrollo de la teoría de la información. C. E. Shannon en “A Mathematical Theory of Communication” [1] identificó y propuso las relaciones estadísticas que subyacen a los sistemas de comunicación, profundizando en el estudio de la transmisión de información realizado por H. Nyquist [2] y R. Hartley [3], y estableciendo los límites fundamentales de todo sistema de comunicación. La teoría de la información estableció un modelo para los sistemas de comunicación y los conceptos que permiten medir la información y la velocidad de su transmisión a través de un canal de comunicación. El modelo está formado por cinco elementos: la fuente de información, el transmisor, el canal, el receptor y el destino, los cuales están representados por entidades abstractas con un soporte matemático. La entropía de la información es una medida de la incertidumbre con la que una fuente genera informaci´on2. Existe un límite fundamental para la compresión de información en una fuente, el cual está en términos de la entropía de la información. Este límite es establecido por el teorema de codificación de fuente. Las secuencias típicas es un concepto de la teoría de la información que define la regularidad en la aleatoriedad de la información, que se obtiene considerando la Ley de los Grandes Números (LLN, Law of Large Numbers) de la teoría de la probabilidad, y que se analiza a través de la Propiedad de Equipartición Asintótica (AEP, Asymtotic Equipartition Property). La propiedad permite definir el conjunto de secuencias que tiene la mayor probabilidad de ser generadas en un transmisor o codificador. La información mutua es una medida de la dependencia mutua entre los procesos estocásticos de entrada y salida del canal. Mide la reducción de la incertidumbre sobre la información de entrada al canal dada la información a la salida del canal. Existe un límite fundamental para la cantidad de información a transmitir en un sistema de comunicación, el cual es conocido como la capacidad. Este límite está en función de la información mutua y es establecido por el teorema de codificación de canal, el cual considera las limitaciones físicas de los componentes del sistema de comunicación. Para la obtención de la capacidad del canal de comunicación es importante la aplicación del concepto de secuencias típicas y la propiedad de equipartición asintótica (AEP). El planteamiento que realizo Shannon estimuló la investigación de matemáticos e ingenieros en un amplio campo disciplinar de la ciencia y de la ingeniería que involucra e incluye la matemática, la física, la teoría de la codificación, la criptografía, el aprendizaje de máquinas (machine learning) y la teoría de la información cuántica, entre otras, que extienden y profundizan el estudio y la aplicación de la teoría de la información.