A Teoria da informação é um
ramo da teoria da probabilidade e da matemática estatística que lida com
sistemas de comunicação, transmissão de dados, criptografia, codificação,
teoria do ruído, correção de erros e compressão de dados.
Em computação, podemos definir um bit como sendo uma
vaiável que pode armazenar apenas 2 valores (estados): 0 e 1 (bit neste caso, é uma mediada de armazenamento). Em
teoria da informação, o bit é definido como uma unidade de medida para a
entropia da informação (neste caso, bit é definido como uma medida de incerteza).
O conceito de Entropia da informação
(Entropia de Shannon) é conhecido como a medida da quantidade de incerteza
contida em um determinado evento probabilístico. Quanto menor for o valor da
entropia, maior a probabilidade de se saber o resultado de um evento, antes da
sua ocorrência. Em outras palavras, a entropia pode ser definida como a
quantidade de informação contida em uma mensagem, eliminando-se as redundâncias.
Para se calcular a entropia da
informação (H), utilizamos a fórmula:
O resultado é dado em bits de Shannon; Um valor de H=0, significa conhecimento absoluto da informação e portanto não há redundância a ser eliminada. Portanto, quanto mais próximo de zero for o valor da entropia, menor será o grau de incerteza.
O conhecimento da entropia é
de grande utilidade em diversas áreas da comunicação de dados, sobretudo com
relação a compressão de dados. Basicamente, existem dói grupos nos quais
dividimos a compressão de dados: Compressão sem perda de dados e compressão com
perda de dados. Calcular a entropia de uma determinada informação significa
conhecer a quantidade de redundância a ela associada e assim, saber o potencial
de compressão sem perda de dados possível para esta informação. Dessa forma é possível pensar na entropia da informação como sendo o limite máximo para compressão de dados sem que hajam perdas de infromação.
Palavras chave: Teoria da informação, entropia da informação, compressão de dados, entropia de shannon.
Nenhum comentário:
Postar um comentário