politechnika gdańska wydział elektroniki, telekomunikacji ... · właściwości entropii: jest...
TRANSCRIPT
![Page 1: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/1.jpg)
1
Teoria informacji i kodowania
Politechnika Gdańska
Wydział Elektroniki, Telekomunikacji i Informatyki
Katedra Systemów i Sieci Radiokomunikacyjnych
dr inż. Małgorzata Gajewska
e-mail: [email protected]
telefon: (0-58) 347 13 50
![Page 2: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/2.jpg)
2
LITERATURA
1. Cower T.M., Element of information theory, Wiley, 2006
2. Haykin S., Communication systems, Wiley, Third Edition,
1994
3. Sobczak W., Elementy teorii informacji, Wiedza
Powszechna, Warszawa 1973
4. Marczak A.: Analiza efektywności kodowania kanałowego
w systemie UMTS, praca doktorska, Politechnika Gdańska,
2005
![Page 3: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/3.jpg)
3
KRYTERIA ZALICZENIA PRZEDMIOTU
Egzamin- do zaliczenia jest wymagane
uzyskanie minimum 50% punktów
![Page 4: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/4.jpg)
4
TEORIA INFORMACJI
Każda wiadomość, która dociera do odbiorcy, na podstawie
której on opiera swoje działanie, nazywamy informacją.
Istnieją dwa podstawowe punkty widzenia informacji
obiektywny - jest to podejście matematyczne, które opiera się na
pojęciu entropii. W tym przypadku informacja oznacza pewną
własność fizyczną lub strukturalną obiektów
subiektywny - informacja ma charakter względny i jest tym co umysł
jest w stanie przetworzyć i wykorzystać do własnych celów.
![Page 5: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/5.jpg)
5
Definicja obiektywna informacji polega na przyjęciu określonych
modeli źródeł informacji oraz ustaleniu obliczeniowej miary jej ilości.
Teoria informacji to teoria, w której stosuje się rachunek
prawdopodobieństwa oraz ogólnie matematykę do badania sposobów
przekazywania, gromadzenia i manipulowania informacjami.
![Page 6: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/6.jpg)
6
a)
Źródło
informacjiNadajnik
Kanał
fizycznyOdbiornik
Obiekt
przeznaczenia
informacji
b)
Źródło
informacjiNadajnik
Kanał
fizycznyOdbiornik
Obiekt
przeznaczenia
informacji
Odbiornik
źródła
informacji
Nadajnik obiektu
przeznaczenia
informacji
Kanał
sprzężenia
zwrotnego
Rys. 1. Schemat transmisji informacji
![Page 7: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/7.jpg)
7
U1
U5
U4U3
U2 U1
U5
U4U3
U2
Węzeł
centralny
U1
U5
U4U3
U2
a) b)
c)
Węzeł
centralny
Rys. 2 . Przykłady struktury sieci.
![Page 8: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/8.jpg)
8
Rys. 3. Schemat blokowy systemu transmisji informacji
Źródło
informacji
Koder
źródłowy
Koder
kanałowyModulator
DemodulatorDekoder
kanałowy
Dekoder
źródłowy
Obiekt
przeznaczenia
informacji
K
a
n
a
ł
Szum,
zakłócenia,
zaniki
Filtr
i wzmacniacz
wielkiej
częstotliwości
Filtr
i wzmacniacz
wielkiej
częstotliwości
Generator
sygnału nośnej
o częstotliwości
f0
Oscylator lokalny
o częstotliwości
f0
![Page 9: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/9.jpg)
9
KOMUTACJA PAKIETÓW I KANAŁÓW
Sieci radiokomunikacyjne są zbiorami terminali (ruchomych lub
nieruchomych) połączonych podsiecią komunikacyjną utworzoną
poprzez węzły komunikacyjne i kanały radiowe.
Węzły komunikacyjne sieci radiokomunikacyjnej sterują przesyłaniem
informacji w kanałach radiowych między komunikującymi się
terminalami.
![Page 10: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/10.jpg)
10
Def. Funkcjami komutacyjnymi sieci telekomunikacyjnej
(radiokomunikacyjnej) nazywamy sposoby zestawiania połączeń
fizycznych bądź logicznych między komunikującymi się
terminalami.
W cyfrowych sieciach radiokomunikacyjnych informacje są przesyłane
w formie pakietów.
![Page 11: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/11.jpg)
11
Def. Pakietem nazywamy blok informacji cyfrowych zawierający
ciąg informacyjny o ograniczonej długości uzupełniony ciągiem
synchronizującym oraz sterująco-kontrolnym, który jest
przekazywany w sieci jako pewna całość.
Cyfrowe sieci radiokomunikacyjne umożliwiają realizację dwóch
podstawowych metod komutacji:
- komutację kanałów
- komutację pakietów.
![Page 12: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/12.jpg)
12
Komutacja kanałów:
- zestawienie połączenia,
- przesyłanie informacji
- rozłączanie połączenia.
Cechą charakterystyczną komutacji kanałów jest wyłączność
użytkowania zestawionego połączenia przez parę komunikujących się
terminali.
![Page 13: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/13.jpg)
13
MODEL ON-OFF SYGNAŁÓW MOWY
Źródło: D. Rutkowski, R. Sobczak, „Usługi w systemie UMTS”, Przegląd Telekomunikacyjny i Wiadomości Telekomunikacyjne, Nr.11-12 2002
Usługa przesyłania sygnałów mowy jest modelowana w makroskali
poprzez proces zgłoszeń opisany rozkładem Poissona i rozkład
wykładniczy czasu trwania rozmów.
![Page 14: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/14.jpg)
14
State
„off”
State
„off”
State
„off”State
„on”
Poff-on
Pon-off
1-Pon-off1-Poff-on
Rys.5. Model on-off sygnałów mowy
Pon-off - prawdopodobieństwo przejścia źródła ze stanu aktywnego do
stanu nieaktywnego
Poff-on - prawdopodobieństwo przejścia źródła ze stanu nieaktywnego do stanu aktywnego
![Page 15: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/15.jpg)
15
Jeżeli więc przyjmiemy graf dwustanowy pokazany na rysunku jako
model źródła sygnałów mowy to liczbę bloków generowanych dla
jednego segmentu opisuje rozkład geometryczny o postaci
11
l
offonoffon PPlLP
gdzie:
offonP 1 - prawdopodobieństwo pozostania źródła w stanie
aktywnym. Wartość średnia dla rozkładu geometrycznego jest równa odwrotności Pon-off
![Page 16: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/16.jpg)
16
Czas przerwy w aktywności źródła sygnałów mowy (pozostania w
stanie off) może być również modelowany rozkładem geometrycznym
liczby 20-milisekundowych przedziałów czasu, tj. prawdopodobieństwo,
że liczba takich przedziałów wynosi n, jest dane wzorem
11
n
onoffonoff PPnNP
przy czym średni czas trwania przerwy wynosi:
offonPNE
1
![Page 17: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/17.jpg)
17
Możemy teraz określić prawdopodobieństwo Pa, że źródło jest w stanie
aktywnym i prawdopodobieństwo Pn, że źródło jest w stanie
nieaktywnym
:
offononoff
onoff
aPP
PP
offononoff
offon
nPP
PP
![Page 18: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/18.jpg)
18
Entropia H(X) dla dyskretnej zmiennej X jest zdefiniowana wzorem
n
i
ii ppXH1
2log)(
Entropia – w teorii informacji jest definiowana jako średnia ilość informacji,
przypadająca na znak symbolizujący zajście zdarzenia z pewnego zbioru.
Zdarzenia w tym zbiorze mają przypisane prawdopodobieństwa wystąpienia.
![Page 19: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/19.jpg)
19
p
H(p)
1
0,5
1
0,50
Właściwości entropii:
jest nieujemna,
jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,
jest równa 0, gdy stan systemu może przyjmować wartości tylko 0 albo
tylko 1
Interpretacja: Dowolna zmiana prawdopodobieństw mająca na celu ich zrównanie pociąga za sobą wzrost wartości entropii bezwzględnej. Z rysunku wynika, że entropia osiąga wartość maksymalną wtedy, gdy prawdopodobieństwa wystąpienia określonych zdarzeń są jednakowe. Przy braku nieokreśloności, entropia jest równa zeru. Wzrost poziomu nieokreśloności zdarzeń pociąga za sobą wzrost entropii.
![Page 20: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/20.jpg)
20
Def. Entropia łączna H(X,Y) pary dyskretnych zmiennych (X, Y) o
wspólnym prawdopodobieństwie p(x, y) jest zdefiniowana jako
Xx Yy
yxpyxpYXH
),(log),(),(
co może zostać wyrażone również wzorem
),(log),( YXpEYXH
![Page 21: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/21.jpg)
21
Def. Jeżeli (X, Y) ∼ p(x, y), to entropię warunkową H(Y|X) można
zdefiniować jako
Xx Yy
Xx
yxpyxp
xXYHxpXYH
),(log),(
)()(
Możliwe są również pewne przekształcenia
)()(),( XYHXHYXH
),()(),( ZXYHZXHZYXH
![Page 22: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/22.jpg)
22
KODOWANIE KANAŁOWE
Kodowanie kanałowe to celowe przekształceniem stosowane
w nadajniku polegające ogólnie na wprowadzaniu pewnej
nadmiarowości informacyjnej (redundancji) do ciągów
informacyjnych podawanych do kodera kanałowego oraz jej
wykorzystaniu w dekoderze kanałowym odbiornika do możliwie
wiernego ich odtwarzania.
![Page 23: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/23.jpg)
23
Fundamentalne prawo teorii informacji zwane twierdzeniem o
kodowaniu sformułował i udowodnił C.E.Shannon.
Twierdzenie:
Przepustowość informacyjna kanału ciągłego o pasmie
przenoszenia B [Hz], w którym występuje addytywny szum
gaussowski o średniej mocy
Hz
W 0N jest określona wzorem
s
b 1log0
2
BN
SBC (1)
gdzie S[W] jest średnią mocą sygnału odbieranego.
![Page 24: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/24.jpg)
24
Wniosek:
Przez kanał o pasmie B można przesyłać sygnały o średniej mocy S
z dowolną prędkością
s
bCR i dowolnie małym
prawdopodobieństwem błędu, jeśli zastosujemy dostatecznie złożone
kodowanie.
Twierdzenia Shannona określa granicę na szybkość transmisji
informacji w kanale, lecz nie określa granicy na prawdopodobieństwo
błędu.
![Page 25: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/25.jpg)
25
Z twierdzenia o kodowaniu wynika, że istnieje granica na stosunek
0NEb , poniżej której nie jest osiągalne dowolnie małe
prawdopodobieństwo błędu, przy żadnej szybkości transmisji. Możemy
znaleźć tę granicę i wynosi ona.
dB59,10
N
Eb !!!!!!!!!
Otrzymana wartość nazywa się granicą Shannona.
![Page 26: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/26.jpg)
26
Kod to reguła, wg. której k-wymiarowym informacjom (wiadomościom)
cyfrowym nazywanymi ciągami informacyjnymi przyporządkowane
są n-wymiarowe ciągi kodowe czyli sygnały złożone z n sygnałów
elementarnych, przy czym n>k.
Kodowanie kanałowe jest więc takim celowym przekształceniem
wiadomości cyfrowych, aby uzyskać ciągi kodowe odporne
w większym lub mniejszym stopniu na szum i zakłócenia w kanałach.
![Page 27: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/27.jpg)
27
Klasyfikacja kodów nadmiarowych:
kody blokowe - czyli takie, w których ciąg kodowy kodu
blokowego określany jest po nadejściu do kodera całego ciągu
informacyjnego
kody splotowe - czyli takie, w których ciąg kodowy kodu
splotowego tworzony jest sukcesywnie, tzn. najczęściej w
praktyce po nadejściu każdej informacji elementarnej ciągu
informacyjnego określany jest kolejny segment ciągu kodowego
![Page 28: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/28.jpg)
28
Dla danego kodu stosunek nkr liczby k informacji
elementarnych ciągu informacyjnego do liczby n sygnałów
elementarnych ciągu kodowego nazywa się względną szybkością
kodowania, a stosunek kkn nazywa się redundancją kodu.
Ciągi kodowe liniowych kodów blokowych charakteryzują się
następującymi własnościami:
wektor złożony z samych zer jest ciągiem kodowym
suma (modulo 2) dwóch dowolnych ciągów kodowych jest
również ciągiem kodowym.
![Page 29: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/29.jpg)
29
Metoda obliczania sumy modulo 2
p q p suma modulo 2 q
0 0 0
0 1 1
1 0 1
1 1 0
![Page 30: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/30.jpg)
30
Blokowe kody liniowe są powszechnie wykorzystywane w praktyce,
przy czym najczęściej są one stosowane w formie kodów
systematycznych, w których pozycje ciągu kodowego dzielą się na
informacyjne i kontrolne.
W pozycje informacyjne wpisujemy kolejne wartości binarne ciągu
informacyjnego o długości k.
Pozycje kontrolne o długości n-k i pozycje informacyjne należą do
tzw. zespołów kontrolnych, przy czym najwygodniej jest
przyporządkować jedną pozycję kontrolną dla każdego zespołu
kontrolnego i wpisać w nią taką wartość binarną 0 lub 1, aby suma
modulo 2 informacji elementarnych objętych danym zespołem była
równa zero (liczba jedynek była parzysta).
![Page 31: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/31.jpg)
31
Umownie kod blokowy systematyczny zapisujemy w formie (n,k).
k
pozycji informacyjnych
n - k
pozycji kontrolnych
n
Rys.6. Format ciągu kodowego kodu systematycznego
![Page 32: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/32.jpg)
32
Systematyczny liniowy kod blokowy (n,k) jest odwzorowaniem
k-wymiarowego ciągu informacyjnego w n-wymiarowy ciąg kodowy w
taki sposób, że część ciągu kodowego stanowi ciąg informacyjny (rys.
6).
Pozostałe (n-k) sygnały elementarne reprezentują tzw. ciąg kontrolny
(zwany potocznie bitami parzystości), z których każdy jest odpowiednio
powiązany z określonymi informacjami elementarnymi warunkiem
uzyskania parzystej liczby jedynek, przez co umożliwia uzyskanie
zdolności detekcji i/lub korekcji błędów.
![Page 33: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/33.jpg)
33
Kod umożliwiający wykrycie nieparzystej liczby
błędów elementarnych
Niech długość ciągu kodowego 1 kn , gdzie k jest długością ciągu
informacyjnego, a więc długość ciągu kontrolnego n - k=1.
Jeśli na pierwsze k pozycji ciągu kodowego wpiszemy kolejne bity
ciągu informacyjnego, to w ostatnią n-tą pozycję ciągu kodowego
powinno się wpiszać taką cyfrę binarną, która zsumowana modulo 2 z
cyframi binarnymi znajdującymi się na k pozycjach poprzedzających da
wynik 0.
Dzięki temu po stronie odbiorczej dekoder może wykryć obecność
niektórych błędów przez przeprowadzenie testowania polegającego na
![Page 34: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/34.jpg)
34
sprawdzeniu, czy suma modulo 2 sygnałów elementarnych ciągu
odebranego y jest parzysta. Jeśli tak nie jest, to ciąg odebrany zawiera
błąd (błędy). Odbiornik może wówczas podjąć decyzję, że ciągu
kodowego nie da się odtworzyć i może zażądać retransmisji.
Wówczas prawdopodobieństwo j błędów w bloku o długości n
elementów wynosi
jnj ppj
nnjP
1,
Zatem prawdopodobieństwo wdP błędnego odtwarzania wiadomości na
podstawie odebranego bloku y o długości n wyraża się wzorem
![Page 35: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/35.jpg)
35
ego)nieparzyst (dla
lub )parzystego (dla
1
222
1-n
2
n
12
n
n
j
jnj
wd ppj
nP
Prawdopodobieństwo błędnego odtwarzania wiadomości bez
zabezpieczenia kodowego wynosi
jkjk
j
w ppj
kP
1
1
![Page 36: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/36.jpg)
36
Kod umożliwiający korekcję pojedynczego błędu w stablicowanym ciągu informacyjnym
Założenia:
- wiadomość jest złożona z L bitów;
- tworzymy tablicę zawierającą W wierszy i K kolumn, gdzie L=W*K
Następnie wprowadzamy 1 bit kontrolny do każdej kolumny oraz 1 bit
kontrolny do każdego wiersza, tzn. powiększamy wymiar tablicy do
(W+1)(K+1).
![Page 37: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/37.jpg)
37
Ciąg bitów kontrolnych dla wszystkich wierszy, który tworzy kolumnę,
jest najczęściej zapisywany na końcu bloku i jest zwany znakiem
kontrolnym bloku.
Dowolny pojedynczy błąd w bloku z takim zabezpieczeniem kodowym
będzie wywoływał 2 błędy parzystości, przy czym jeden w wierszu, a
drugi w kolumnie, które przecinają się na pozycji, w której ten błąd
występuje, a więc korekcja błędu w dekoderze będzie łatwo
realizowalna.
![Page 38: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/38.jpg)
38
Jakość tego zabezpieczenia przez obliczenie prawdopodobieństwa
błędnego odtwarzania wiadomości. Jeśli t oznacza liczbę błędów, które
może korygować dany kod, to prawdopodobieństwo błędnego
odtwarzania wiadomości możemy obliczyć ze wzoru
n
1
1tj
jnj
wk ppj
nP
![Page 39: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/39.jpg)
39
Macierz generująca
Odwzorowanie k-bitowych ciągów informacyjnych w n-bitowe ciągi
kodowe można zrealizować w różny sposób. Najprościej
odwzorowanie to może być przeprowadzone za pomocą tablicy
kodowej, w której poszczególnym ciągom informacyjnym są
przyporządkowane ciągi kodowe.
Wtedy korzysta się z tzw. macierzy generującej.
![Page 40: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/40.jpg)
40
knkk
n
n
k ggg
ggg
ggg
g
g
g
G
,,,
,,,
,,,
21
22221
11211
2
1
(22)
Jeśli ciągi kodowe i ciągi informacyjne będziemy zapisywali jako
wektory wierszowe, to dla wiadomości ikiii xxxx ,,, 21 ciąg
kodowy ixs
otrzymamy jako iloczyn
Gxxs ii (23)
![Page 41: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/41.jpg)
41
Zysk kodowania
Wprowadzenie nadmiarowości do ciągu informacyjnego w celu
zabezpieczenia całego ciągu kodowego przed błędami ma tylko wtedy
sens, gdy:
- zwiększone wskutek kodowania prawdopodobieństwo błędu
elementarnego, spowodowane zmniejszoną energią sygnału
użytecznego przypadającą na sygnał elementarny ciągu kodowego, jest
skompensowane dzięki zabezpieczeniu kodowemu,
- zabezpieczenie to zapewnia zmniejszenie prawdopodobieństwa
błędnego odtwarzania wiadomości w porównaniu z sytuacją, gdy
zabezpieczenie kodowe nie jest stosowane.
![Page 42: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/42.jpg)
42
Zysk kodowania jest zdefiniowany jako wielkość redukcji
wymaganej wartości 0N
Eb wyrażonej w decybelach, która jest
niezbędna do uzyskania tego samego średniego
prawdopodobieństwa elementarnego błędu dekodowania jak
prawdopodobieństwo błędu elementarnego bez zabezpieczenia
kodowego, przy tym samym rodzaju modulacji.
dBN
EdB
N
EdBG
o
b
o
b
kodowania bezkodowaniu po
][
![Page 43: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/43.jpg)
43
Zdolność korekcyjna i detekcyjna kodów
O zdolności detekcyjnej i/lub korekcyjnej kodu decyduje
minimalna odległość Hamminga między ciągami kodowymi.
Def. Odległością Hamminga 21,ssd
między dwoma ciągami
kodowymi 1s
i 2s nazywamy liczbę pozycji binarnych, na
których oba ciągi się różnią.
Def. Minimalna odległość Hamminga kodu (n,k) jest dana wzorem
Lkissssdd kiki
kiki
,,2,1,,,:,min,
min
S (18)
![Page 44: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/44.jpg)
44
Wyznaczenie minimalnej odległości Hamminga mind dla danego
kodu wymaga określenia odległości Hamminga między każdą
parą ciągów kodowych.
O zdolności detekcyjnej i/lub korekcyjnej kodu decyduje minimalna
odległość Hamminga mind .
Z właściwości kodów liniowych wynika, że suma dwóch ciągów
kodowych jest również ciągiem kodowym, a więc odległość między
dwoma ciągami kodowymi jest równa ich odległości od ciągu
kodowego 1s
złożonego z samych zer. Zatem określenie liczby jedynek
![Page 45: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/45.jpg)
45
w każdym ciągu kodowym umożliwia znalezienie mind , które będzie
równe najmniejszej liczbie jedynek zawartych w określonym ciągu
kodowym (ciągach kodowych) danego kodu, bowiem ta liczba jedynek
będzie równocześnie wyznaczać odległość od ciągu 1s
.
Zdolność detekcyjna kodu jest określona wzorem
1min de
Zdolność korekcyjna t kodu jest zdefiniowana jako maksymalna
liczba korygowalnych błędów w ciągu kodowym:
2
1min d
t
![Page 46: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/46.jpg)
46
Kody cykliczne
Ważną w praktyce podklasą kodów liniowych są kody ilorazowe, w
których istnieje możliwość powiązania ciągów informacyjnych i ciągów
kodowych z wielomianami odpowiednich stopni o współczynnikach
binarnych, a kodowanie oraz dekodowanie można opisywać
algebraicznie jako mnożenie i dzielenie wielomianów w oparciu o
operacje modulo 2, natomiast techniczne wykonywanie mnożenia i
dzielenia można zrealizować przy zastosowaniu rejestrów
przesuwnych ze sprzężeniem zwrotnym.
Do szczególnie rozpowszechnionych w praktyce kodów ilorazowych
należą kody cykliczne, w których zakłada się, że ciąg powstały przez
![Page 47: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/47.jpg)
47
cykliczne przesunięcie ciągu kodowego s
o i pozycji w prawo, i=1,2,
,n-1, jest również ciągiem kodowym.
Jeżeli więc ciągowi n
ssss ,,,21
przyporządkujemy wielomian
12
321
n
nususussus
to cykliczna właściwość kodu ujawnia się w tym, że reszta s ui z
ilorazu
11
n
i
n
i
u
usuf
u
usu
jest również wielomianem ciągu kodowego, przy czym f u jest częścią
całkowitą ilorazu.
![Page 48: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/48.jpg)
48
Kodowanie w formie systematycznej wymaga wyznaczenia ciągu
kontrolnego tzn. obliczenia wyrażenia uxu kn modulo g(u), a więc
podzielenia wielomianu reprezentującego wiadomość przesuniętą o (n-
k) pozycji w prawo przez wielomian generujący g(u). Ciąg kontrolny
jest resztą z dzielenia zawartą w rejestrze przesuwnym.
![Page 49: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/49.jpg)
49
Kodowanie splotowe
Kodowanie splotowe charakteryzuje się tym, że może być
dokonywane w sposób ciągły, bez konieczności dzielenia ciągu
informacji elementarnych na bloki, jak to miało miejsce w
przypadku kodów blokowych.
Kodowanie splotowe można realizować za pomocą prostych układów
i przy niewielkiej liczbie elementarnych operacji przetwarzania.
Niestety, proces dekodowania ciągów odebranych kodu splotowego
wymaga znacznie większego nakładu przetwarzania niż proces
kodowania splotowego.
![Page 50: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/50.jpg)
50
Kod splotowy jest zdefiniowany przez 3 liczby (n,k,K), gdzie n
jest długością segmentu ciągu kodowego generowanego
oddzielnie dla każdego zespołu k kolejnych bitów ciągu
informacyjnego, a K jest tzw. stałą ograniczającą. W naszych
rozważaniach ograniczymy się tylko do binarnych kodów
splotowych, dla których k=1. W tym przypadku n jest długością
segmentu ciągu kodowego, a K jest wówczas liczbą stopni
rejestru przesuwnego ze sprzężeniem zwrotnym stosowanego
do kodowania.
![Page 51: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/51.jpg)
51
Rys. Schemat kodera kodu splotowego (2,1,3).
Aby zdekodować ciąg kodowy, niezbędny jest cały ciąg włącznie z
zakodowanymi bitami uzupełniającymi o wartości logicznej 0
dołączonymi do ciągu wejściowego i koniecznymi do opróżnienia
zawartości rejestru kodera.
Drugi element s2
segmentu ciągu
kodowego
+
Ciąg
informacy jny
(wiadomość)
+
Ciąg kodowy
Pierwszy element s1
segmentu ciągu
kodowego
Sumator 1
Sumator 2
![Page 52: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/52.jpg)
52
Uwagi
ciąg kodowy kodu splotowego nie ma wyraźnie określonej
długości, jak miało to miejsce w przypadku kodu blokowego,
tzn, może być dowolnie długi. Możemy oczywiście stosować
kodowanie splotowe do bloków wiadomości o zadanych
długościach, musimy jednak zawsze dołączyć (K-1) binarnych
zer na końcu każdego bloku, aby opróżnić każdorazowo
zawartość rejestru kodera, po to by nie utracić pełnej informacji
o ciągu kodowym
![Page 53: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/53.jpg)
53
względna szybkość kodowania (sprawność kodowania) jest
nieco mniejsza niż nkr , wskutek konieczności dołączania
binarnych zer do opróżniania zawartości rejestru
kod splotowy wprowadza powiązania statystyczne między
elementami ciągu kodowego, gdyż każdy segment ciągu
kodowego jest funkcją nie tylko wartości danego bitu
wejściowego, lecz również 1K wartości poprzedzających go
bitów wejściowych.
![Page 54: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/54.jpg)
54
W analizie i zastosowaniach ogromną rolę odgrywa opis kodu
splotowego za pomocą grafu kratownicowego (zwanego niekiedy
kratowym), który przedstawia możliwe w czasie zmiany stanów kodera
i pozwala w prosty sposób określić w grafie tzw. ścieżkę, określającą
generowany ciąg kodowy dla każdego ciągu wejściowego.
Każdy generowany segment ciągu kodowego jest zawsze funkcją stanu
kodera i wartości bitu podawanego na wejście przy czym przez stan
kodera rozumie się tu stan ostatnich 1K stopni rejestru
![Page 55: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/55.jpg)
55
Rys. Graf stanów kodu splotowego (2,1,3)
Stan d
11
10
01
Stan c
01
Stan b
10
Stan a
00
01
00
10
00
1111
segmenty ciągu
kodowego
Linia ciągła: xi=0
Linia przery wana: xi=1
![Page 56: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/56.jpg)
56
W procesie kodowania kolejnym dyskretnym chwilom ,2,1, iti
podawania kolejnych bitów informacyjnych o znanych wartościach
binarnych można przyporządkować nowe stany kodera w momentach
1it dla zadanych stanów w momentach i
t i otrzymać odpowiednią
ścieżkę w grafie, reprezentującą generowany ciąg kodowy, jak pokazano
to na rys.
Graf kratownicowy dzięki wykorzystaniu powtarzalnych operacji w
procesie kodowania pozwala badać ten proces dynamicznie (w czasie)
i umożliwia łatwą jego konstrukcję oraz określanie ciągu kodowego dla
dowolnie długiego ciągu informacyjnego.
![Page 57: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/57.jpg)
57
Rys. Graf kratownicowy dla omawianego kodu
Stan a
00
Stan b
10
Stan c
01
Stan d
11
t5t4t1 t2 t3
1010
111111 11
00000000
10
01 01 01
11 11
00 00
01 01
10 10
Linia ciągła: xi = 0
Linia przerywana: xi = 111
10
01
10
00
11
01
00
t6
Scieżka ciągu kodowego
dla wiadomości 1110001011s
00101x
podciąg
wyzerowujący
stan kodera
![Page 58: Politechnika Gdańska Wydział Elektroniki, Telekomunikacji ... · Właściwości entropii: jest nieujemna, jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same,](https://reader033.vdocuments.mx/reader033/viewer/2022041907/5e644b9c8bd7e0532700fda3/html5/thumbnails/58.jpg)
58
Proces dekodowania, czyli poszukiwania najbardziej prawdopodobnego ciągu
nadanego realizujemy stopniowo w wielu etapach, przez poszukiwanie w
każdym etapie bardziej prawdopodobnych gałęzi i odrzucanie innych
gałęzi oraz wyznaczanie ścieżek bardziej prawdopodobnych
(wyselekcjonowanych), wśród których nietrudno już ustalić ścieżkę
najbardziej prawdopodobną, nazywamy algorytmem Viterbiego.