By prof. Camuso

By prof. Camuso

Misura del grado di incertezza (medio) dei messaggi emessi da una sorgente

By prof. Camuso

Dobbiamo prima definire il logaritmo in base 2

di un numero

By prof. Camuso

Dobbiamo prima definire il logaritmo in base 2 di un numero N, N>0

log2N è l’esponente da dare alla base 2 per ottenere quel

numero

By prof. Camuso

log20 = ???

IMPOSSIBILE!

By prof. Camuso

log21 = ???

0, infatti 20=1

By prof. Camuso

log22 = ???

1, infatti 21=2

By prof. Camuso

log28 = ???

3, infatti 23=8

By prof. Camuso

log219 = ???

4,25 infatti 24,25=19

Ma sulla calcolatrice non c’è il logaritmo in base 2… come

si fa?

By prof. Camuso

Sulla calcolatrice trovate infatti un log e un ln;

ln ve lo condono perché è impossibile capire

…

ma log, facendo qualche prova ci si può arrivare!

By prof. Camuso

By prof. Camuso

By prof. Camuso

Che esponente bisogna dare al 7 per ottenere 125 ???

By prof. Camuso

By prof. Camuso

Immaginiamo che tutti i possibili mesaggi che

possono essere emessi da una sorgente siano

rappresentati dall’insieme

ϗ = {x1, x2, x3, …, xn}.

(dado) ϗ = {1, 2, 3, 4, 5, 6}

By prof. Camuso

Chiamiamo X la variabile che rappresenta il verificarsi

di uno degli eventi

(dado) ϗ = {1, 2, 3, 4, 5, 6}

X=3 significa che è uscito il 3

By prof. Camuso

By prof. Camuso

Definiamo (Hartley) poi Entropia della variabile X su un insieme

discreto e con eventi equiprobabili

H(X) = log2N

H(X) indica il numero minimo di bit necessari a codificare

tutti i possibili stati (messaggi)

By prof. Camuso

L’Entropia misura il grado di incertezza medio dei messaggi

emessi da una sorgente.

Quindi rappresenta una stima del numero medio di bit necessari a codificare un

messaggio proveniente da quella sorgente (è dimostrato che di meglio non si può fare)

By prof. Camuso

E se la moneta è truccata ?

E se il dado è truccato?

E se non tutte le lettere in un testo hanno la stessa

probabilità di essere usate ?

By prof. Camuso

E se alcuni valori rilevati da un sensore hanno più probabilità di

verificarsi di altri ?

E se scopro che in una immagine un pixel si ripete molto più di

altri?

By prof. Camuso

By prof. Camuso

By prof. Camuso

By prof. Camuso

OTTIMALE (dimezzamento incertezza)

NON OTTIMALE

 Valore del dado

Messaggio0 = risposta no1 = risposta sì

Messaggio0 = risposta no1 = risposta sì

  123456

D1 D2 D3 D1 D2 D3 D4 D5 D6 000111

 001001

 01 01

 1 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 0 0 1

(3+3+2+3+3+2)/6 = 2,66bit (3+3+2+3+3+2)/6 = 2,66bit (1+2+3+4+5+6)/6 = 3,5bit (1+2+3+4+5+6)/6 = 3,5bit

By prof. Camuso

By prof. Camuso

By prof. Camuso

Codici INTERNI (complemento a 2, IEEE 754 ecc.)

Codici ESTERNI (ASCII, BCD, Hamming e molti altri)