Originalmente nacida en la termodinámica como lo muestra
el libro The Information y bajo las propuestas de Maxwell enfocadas a la termodinámica
mismas que fueron postulados y en donde se mezcla varias “teorías” para sus
demostraciones como la estadística, la probabilidad, la información y trata de
dar una explicación del origen de la entropía en el ámbito de la termodinámica y
haciendo una comparación directa en la teoría de la información.
En el texto The Mathematical Theory of Communication desde mi punto de vista para poder
estar en condiciones de entender el capitulo 7 es necesario ahondar en mas apartados
del libro, ya que trata de “aterrizar” si se le puede llamar de alguna manera,
a la teoría de la información y comprobar la entropía por medio de métodos “lógicos”
(logaritmo basado en la probabilidad) haciendo coincidir la teoría inicialmente
de la termodinámica en la teoría de la información
Básicamente el video y las lecturas nos dan un panorama
de donde nace y como se llega a la entropía, como es que se articula la teoría de
la información y como el papel que juega la entropía, nos muestra su conformación
y lo importante que es en la teoría de la información y lo importante del
modelo de Shannon.
FUENTE DE INFORMACION: Selecciona el mensajedeseado de un
conjunto de mensajes posibles.
TRANSMISOR: Transforma o codifica estainformación en una
forma apropiada al canal.
SEÑAL: Mensaje codificado por el transmisor.
CANAL: Medio a través del cual las señales son transmitidas
al punto de recepción.
FUENTE DE RUIDO: Conjunto de distorsiones o adiciones no
deseadas por la fuente de información que afectan a la señal. Pueden consistir
en distorsiones del sonido (radio, teléfono), distorsiones de la imagen (T.V.),
errores de transmisión (telégrafo), etc.
RECEPTOR: Decodifica o vuelve a transformar la señal
transmitida en el mensaje original o en una aproximación de este haciéndolo
llegar a su destino.
Entropía
e información
Creo que los postulados que podemos extraer son:
- Medición de la información
- Este establece que mientras más probable sea un mensaje menos información proporcionará
- La probabilidad que tiene un mensaje de ser enviado y no su contenido, lo que determina su valor informativo
- La información es tratada como magnitud física, caracterizando la información de una secuencia de símbolos utilizando la Entropía
- De acuerdo a la teoría de la información, el nivel de información de una fuente se puede medir según la Entropía de la misma.
Para codificar los mensajes de una fuente intentaremos
pues utilizar menor cantidad de bits para los mensajes más probables y mayor
cantidad de bits para los mensajes menos probables de forma tal que el promedio
de bits utilizados para codificar los mensajes sea menor a la cantidad de bits
promedio de los mensajes originales. Siendo la base de la compresión de datos.
Salu2
