Il concetto di entropia informativa implica il logaritmo negativo della funzione di massa di probabilità per un valore. Pertanto, quando la fonte di dati ha un valore con una probabilità inferiore (cioè, quando si verifica un evento con una probabilità bassa), l'evento contiene più "informazioni" ("sorpresa") rispetto a quando i dati di origine hanno un valore con una probabilità maggiore.
La quantità di informazioni veicolate da ciascun evento così definito diventa una variabile casuale il cui valore atteso è l'entropia dell'informazione. In generale, l'entropia si riferisce al disordine o all'incertezza e la sua definizione usata nella teoria dell'informazione è direttamente analoga a quella usata nella termodinamica statistica. Il concetto di IE è stato introdotto da Claude Shannon nel suo articolo del 1948 "A Mathematical Theory of Communication". Da qui deriva il termine "entropia informativa di Shannon".
Definizione e sistema
Il modello base di un sistema di trasmissione dati è composto da tre elementi: una sorgente dati, un canale di comunicazione e un ricevitore,e, come dice Shannon, il "problema di comunicazione di base" è che il ricevitore sia in grado di identificare quali dati sono stati generati dalla sorgente in base al segnale che riceve sul canale. Entropy fornisce un vincolo assoluto sulla lunghezza media di codifica lossless più breve possibile dei dati sorgente compressi. Se l'entropia della sorgente è inferiore alla larghezza di banda del canale di comunicazione, i dati che genera possono essere trasmessi in modo affidabile al ricevitore (almeno in teoria, forse trascurando alcune considerazioni pratiche come la complessità del sistema necessario per trasmettere i dati e la quantità di tempo necessaria per trasmettere i dati).
L'entropia dell'informazione viene solitamente misurata in bit (chiamati in alternativa "shannons") o talvolta in "unità naturali" (nats) o cifre decimali (chiamate "dits", "bans" o "hartleys"). L'unità di misura dipende dalla base del logaritmo, che viene utilizzata per determinare l'entropia.
Proprietà e logaritmo
La distribuzione di probabilità logaritmica è utile come misura dell'entropia perché è additiva per fonti indipendenti. Ad esempio, l'entropia di una scommessa equa di una moneta è 1 bit, mentre l'entropia di m-volumi è m bit. In una rappresentazione semplice, sono necessari log2(n) bit per rappresentare una variabile che può assumere uno di n valori se n è una potenza di 2. Se questi valori sono ugualmente probabili, l'entropia (in bit) è uguale a quel numero. Se uno dei valori è più probabile degli altri, l'osservazione che lo èsignificato si verifica, è meno informativo che se si verificasse un risultato meno generale. Al contrario, gli eventi più rari forniscono ulteriori informazioni sul monitoraggio.
Poiché l'osservazione di eventi meno probabili è meno frequente, non c'è nulla in comune che l'entropia (considerata come informazione media) ottenuta da dati distribuiti in modo non uniforme sia sempre minore o uguale a log2(n). L'entropia è zero quando viene definito un risultato.
L'entropia informativa di Shannon quantifica queste considerazioni quando è nota la distribuzione di probabilità dei dati sottostanti. Il significato degli eventi osservati (il significato dei messaggi) è irrilevante nella definizione di entropia. Quest'ultimo tiene conto solo della probabilità di vedere un particolare evento, quindi le informazioni che racchiude sono dati sulla distribuzione sottostante delle possibilità, non sul significato degli eventi stessi. Le proprietà dell'entropia dell'informazione rimangono le stesse descritte sopra.
Teoria dell'informazione
L'idea di base della teoria dell'informazione è che più si conosce un argomento, meno informazioni si possono ottenere su di esso. Se un evento è molto probabile, non sorprende quando si verifica e quindi fornisce poche nuove informazioni. Al contrario, se l'evento era improbabile, era molto più informativo che l'evento fosse accaduto. Pertanto, il carico utile è una funzione crescente della probabilità inversa dell'evento (1 / p).
Ora se accadono più eventi, entropiamisura il contenuto medio di informazioni che puoi aspettarti se si verifica uno degli eventi. Ciò significa che lanciare un dado ha più entropia che lanciare una moneta perché ogni risultato di cristallo ha una probabilità inferiore rispetto a ogni risultato di moneta.
Caratteristiche
Quindi, l'entropia è una misura dell'imprevedibilità di uno stato o, che è la stessa cosa, del suo contenuto informativo medio. Per ottenere una comprensione intuitiva di questi termini, si consideri l'esempio di un sondaggio politico. Di solito tali sondaggi si verificano perché, ad esempio, i risultati delle elezioni non sono ancora noti.
In altre parole, i risultati del sondaggio sono relativamente imprevedibili, e infatti, conducerlo ed esaminare i dati fornisce alcune nuove informazioni; sono solo modi diversi per dire che l'entropia precedente dei risultati del sondaggio è grande.
Ora considera il caso in cui lo stesso sondaggio viene eseguito una seconda volta poco dopo il primo. Poiché il risultato della prima indagine è già noto, i risultati della seconda indagine possono essere ben previsti ei risultati non dovrebbero contenere molte nuove informazioni; in questo caso, l'entropia a priori del secondo risultato del sondaggio è piccola rispetto al primo.
Lancio della moneta
Ora considera l'esempio di lanciare una moneta. Assumendo che la probabilità di croce sia la stessa della probabilità di testa, l'entropia del lancio di una moneta è molto alta, poiché è un esempio peculiare dell'entropia informativa di un sistema.
Questo è perchéche è impossibile prevedere che l'esito di una moneta venga lanciato in anticipo: se dobbiamo scegliere, il meglio che possiamo fare è prevedere che la moneta atterrerà croce, e questa previsione sarà corretta con una probabilità di 1 / 2. Un tale lancio di monete ha un bit di entropia, poiché ci sono due possibili esiti che si verificano con uguale probabilità e lo studio del risultato effettivo contiene un bit di informazione.
Al contrario, lanciare una moneta usando entrambi i lati con croce e senza testa ha zero entropia poiché la moneta atterrerà sempre su questo segno e il risultato può essere previsto perfettamente.
Conclusione
Se lo schema di compressione è senza perdite, il che significa che puoi sempre recuperare l'intero messaggio originale decomprimendolo, il messaggio compresso ha la stessa quantità di informazioni dell'originale, ma viene trasmesso in meno caratteri. Cioè, ha più informazioni o maggiore entropia per carattere. Ciò significa che il messaggio compresso ha meno ridondanza.
In parole povere, il teorema di codifica del codice sorgente di Shannon afferma che uno schema di compressione senza perdita di dati non può ridurre i messaggi in media per avere più di un bit di informazioni per bit di messaggio, ma è possibile ottenere qualsiasi valore inferiore a un bit di informazioni per bit.messaggi utilizzando lo schema di codifica appropriato. L'entropia di un messaggio in bit moltiplicata per la sua lunghezza è una misura di quante informazioni generali contiene.
