10.11.2013kapitel 21 methoden des algorithmenentwurfs kapitel 2.1: deterministische online...
TRANSCRIPT
11.04.23 Kapitel 2 1
Methoden des Algorithmenentwurfs
Kapitel 2.1: DeterministischeOnline Algorithmen
Christian Scheideler
SS 2009
Übersicht
• Beispiele
• Notation
• Paging
• Scheduling
• Selbstorganisierende Suchstrukturen
11.04.23 Kapitel 2 2
Beipiele
Ski-Problem:• Ein Paar Ski kann für 500 € gekauft oder für
50 € geliehen werden. Wie lange soll geliehen werden, bevor man sich für den Kauf entscheidet, wenn nicht bekannt ist, wie lange man noch Ski fährt?
• Optimale Strategie (falls Zukunft nicht bekannt): So lange Ski leihen, bis die Leihkosten gleich den Kaufkosten sind.
11.04.23 Kapitel 2 3
Beispiele
Geldwechselproblem:
• Ein Geldbetrag (z.B. 10.000 €) soll in eine andere Währung (z.B. $) gewechselt werden. Zu welchem Zeitpunkt soll getauscht werden, wenn nicht bekannt ist, wie sich der Wechselkurs entwickelt?
11.04.23 Kapitel 2 4
Beispiele
Paging/Caching:• Es soll ein zweistufiges Speichersystem verwaltet
werden, das aus einem schnellen Speicher mit kleiner Kapazität und einem langsamen Speicher mit großer Kapazität besteht. Dabei müssen Anfragen auf Speicherseiten bedient werden. Welche Seiten hält man im Cache, um die Anzahl der Cache-Misses zu minimieren?
11.04.23 Kapitel 2 5
Hauptspeicher
Cache
Beispiele
Verteilte Systeme:• Daten sollen in einem Netzwerk dynamisch
so platziert werden, dass möglichst wenige Daten übertragen werden müssen, um die Anfragen zu bedienen.
11.04.23 Kapitel 2 6
Beispiele
Scheduling:• Jobs mit im Voraus bekannter Bearbeitungsdauer
treffen hintereinander ein und sollen von m Maschinen bearbeitet werden. Die Jobs müssen dabei unmittelbar einer bestimmten Maschine zugeordnet werden. Hier gibt es verschiedene Optimierungsziele, z.B. die Minimierung der Gesamtbearbeitungszeit.
11.04.23 Kapitel 2 7
Notation
Online Problem: • Statt einer vollständig gegebenen Eingabe I haben
wir jetzt eine Eingabesequenz =((1),(2),…,(t)) , in der die Eingabeteile (i) erst nach und nach an den Online Algorithmus übergeben werden.
• Nach jedem (i) muss der Online Algorithmus eine Entscheidung treffen, bevor er (i+1)…(t) gesehen hat. Diese Entscheidung kann (im Standard-Online-Modell) nicht wieder zurück-genommen werden (wie beim Schach).
11.04.23 Kapitel 2 8
Notation
1.1 Definition: Sei ein Optimierungs-problem und A ein Online Algorithmus für . Für eine beliebige Eingabesequenz =((1),(2),…,(t)) seien A() die Kosten von A für . A heißt c-kompetitiv, wenn es einen von t unabhängigen Parameter a gibt, so dass für alle Eingabesequenzen gilt: A() cOPT() + a
11.04.23 Kapitel 2 9
Übersicht
• Beispiele
• Notation
• Paging
• Scheduling
• Selbstorganisierende Suchstrukturen
11.04.23 Kapitel 2 10
Paging
Problem: Eine online eintreffende Folge von Seitenanfragen =(x1,…,xn) muss durch ein zweistufiges Speichersystem (Cache und Hauptspeicher) bearbeitet werden. Ist eine Seite nicht im Cache vorhanden (Cache-Miss), muss sie vom Hauptspeicher dorthin geladen werden (und verdrängt bei vollem Cache eine dort vorhandene Seite).
Ziel: minimiere die Anzahl der Cache-Misses
Offline Fall: alle Seitenanfragen im vornherein gegeben.
Offline-Algorithmus: MINEntferne stets diejenige Seite aus dem Cache, deren nächste Anfrage am weitesten in der Zukunft liegt.
11.04.23 Kapitel 2 11
Paging
1.2 Satz: MIN ist ein optimaler Offline-Algorith-mus, d.h. er erzeugt für jede Anfragesequenz die minimale Anzahl an Seitenfehlern.
Beweis:• : beliebige Anfragefolge• A: optimaler Algorithmus auf • Wir bauen A so um, dass er wie MIN arbeitet.• Die Anzahl der Seitenersetzungen wird dabei
nicht erhöht.
11.04.23 Kapitel 2 12
Paging
Beweis (Fortsetzung):• Behauptung: angenommen, A und MIN arbeiten
auf den ersten i-1 Anfragen identisch, aber auf der i-ten Anfrage verschieden. Dann kann A in Algorithmus A´ transformiert werden, so dass gilt:– A´ und MIN arbeiten auf der ersten i Anfragen
identisch– A´() A()
• Ist diese Behauptung gezeigt, dann können wir A schrittweise in MIN umformen, ohne die Kosten zu erhöhen.
11.04.23 Kapitel 2 13
PagingBeweis (Fortsetzung):• Wir beweisen nun die Behauptung• Die i-te Anfrage referenziere Seite x.• A entferne dafür die Seite u aus dem Cache und MIN die Seite v.• Algorithmus A´: arbeitet auf den ersten i-1 Anfragen wie A und
entfernt bei Anfrage i die Seite v. A´simuliert dann A, bis eines der folgenden Ereignisse eintrifft:– a) Ersetzt A die Seite v, dann ersetzt A´ zum gleichen Zeitpunkt die
Seite u. – b) u wird angefragt und A ersetzt z. In diesem Fall ersetzt A´ die Seite z
durch v.v kann nicht vor u angefragt werden, da sonst die MIN-Regel verletzt wird.
• In beiden Fällen sind A und A´ dann wieder in identischen Konfigurationen und A´ arbeitet wie A weiter. Die Anzahl der Seitenersetzungen hat sich dabei nicht erhöht.
11.04.23 Kapitel 2 14
Paging
Leider ist MIN ein offline Algorithmus (d.h. er muss die gesamte Anfragefolge im vornherein kennen). Ein oft verwendeter Online Algorithmus ist der folgende:
Algorithmus LRU (Least-Recently-Used):Entferne stets die Seite, die am längsten nicht mehr benutzt wurde.
Im worst case ist LRU allerdings recht schlecht, wie die folgenden beiden Resultate zeigen.
11.04.23 Kapitel 2 15
Paging
1.3 Satz: Für einen Cache der Größe k ist LRU k-kompetitiv.
Beweis:• Wir betrachten eine beliebige Anfragefolge .• LRU und OPT starten mit denselben Seiten im Cache.• Wir zerlegen in Phasen P(1), P(2),…, so dass LRU
in jedem P(i) mit i2 jeweils exakt k Seitenfehler hat und in der Phase P(1) höchstens einen Seitenfehler.
• Können wir zeigen, dass OPT in jeder dieser Phasen mindestens einen Seitenfehler hat, so folgt der Satz.
• Für Phase P(1) ist das sicherlich wahr, da LRU und OPT anfangs dieselben Seiten haben.
11.04.23 Kapitel 2 16
Paging
Beweis (Fortsetzung):• Seien p1,…,pk die Fehlerstellen von LRU in Phase P(i) mit i2
und q die letzte vorangegangene Anfrage. Wir unterscheiden die folgenden Fälle:
1. ij pipj und i piq: Beim Phasenwechsel hat OPT q im Cache und kann höchstens k-1 der Seiten p1,…,pk im Cache haben. Also tritt bei OPT mindestens ein Seitenfehler auf.
2. ij pi=pj: Zwischen den Anfragen pi und pj müssen mindestens k andere verschiedene Seiten angefragt worden sein, sonst hätte LRU diese Seite ja nicht aus dem Cache entfernt. Also gibt es k+1 verschiedene Seiten in dieser Phase und OPT muss mindestens einen Seitenfehler haben.
3. ij pipj, aber i pi=q: Analog zur Argumentation bei Punkt 2 müssten zwischen q und pi mindestens k andere verschiedene Seiten angefragt worden sein.
11.04.23 Kapitel 2 17
Paging
1.4 Satz: Sei A ein deterministischer online Paging-Algorithmus. Ist A c-kompetitiv, dann ist ck.
Beweis:• Wir geben eine Folge an, die k+1 verschiedene Seiten p1,
…,pk+1 verwendet. Anfangs seien die Seiten p1,…,pk im Cache.
• Der Gegner fragt nun stets diejenige Seite an, die bei A nicht im Cache vorhanden ist. Bei A tritt also bei jeder Anfrage ein Seitenfehler auf, d.h. A()=||.
• OPT muss höchstens alle k Anfragen eine Seite ersetzen, da nur k+1 Seiten vorhanden sind, und also nach einem Seitenfehler auf jeden Fall die nächsten k Seiten im Speicher sind.
• Damit ist c=A()/OPT() ||/(||/k) = k.
11.04.23 Kapitel 2 18
Paging
Bemerkung: Auch wenn LRU im worst case eine schlechte Kompetitivität hat, so gibt es dennoch keinen besseren deterministischen Algorithmus. In der Tat gibt es sogar deterministische Algorithmen mit unbeschränkter Kompetitivität:
Algorithmus MRU (Most-Recently-Used):Entferne diejenige Seite, die zuletzt gefragt wurde
• Betrachte die Sequenz =p1,…, pk, pk+1, pk, pk+1,…• Bei MRU sind die Seitenfehler unbeschränkt
während OPT nur einen Seitenfehler hat.
11.04.23 Kapitel 2 19
Übersicht
• Beispiele
• Notation
• Paging
• Scheduling
• Selbstorganisierende Suchstrukturen
11.04.23 Kapitel 2 20
Scheduling
Problem: Eine online eintreffende Folge von Jobs =(J1,…,Jn) soll auf m identischen Maschinen verteilt werden. Jeder Job Ji sei spezifiziert durch eine Ausgabezeit tiIN und Bearbeitungszeit piIN, wobei ti<ti+1 für alle i. Der Online Algorithmus muss jeden Job Ji zum Zeitpunkt ti einer Maschine zuweisen.
Ziel: minimiere den Makespan, d.h. die Zeit bis der letzte Job bearbeitet ist.
Algorithmus: Greedy-SchedulingWeise jeden Job der Maschine zu, die zurzeit am wenigsten ausgelastet ist.
11.04.23 Kapitel 2 21
Scheduling
1.5 Satz: Greedy ist 3-kompetitiv.Beweis: • Sei t der letzte Zeitpunkt, zu dem eine Maschine
unbeschäftigt ist, bevor sie bis zum Ende beschäftigt ist, und sei M diese Maschine.
• Für alle Jobs, die vor dem Zeitpunkt t generiert wurden, gilt, dass diese vor t mit der Bearbeitung begonnen haben, denn ansonsten hätte Greedy diese M zugewiesen.
11.04.23 Kapitel 2 22t
M
Scheduling
Beweis (Fortsetzung):• Sei J die Menge der Jobs, die nach t generiert
werden.• Ergänzen wir J um die nach t noch abzuarbei-
tenden Reste der Jobs, die vor t generiert worden sind, auf J´, so ergibt sich für diese Jobmenge ein Greedy Schedule wie für den Greedy Approximationsalgorithmus.
11.04.23 Kapitel 2 23t
M J´
11.04.23 Kapitel 2 24
Scheduling
Beweis (Fortsetzung): • J bestehe aus n Jobs mit Aufwand p1,…, pn
• Betrache Maschine i mit höchster Last Li.• Sei j der letzte Job in Maschine i.• Da Job j Maschine i zugeordnet wurde, hatte i vorher die
kleinste Last. Es gilt also Li – pj ≤ Lk für alle k.
vor j
j
nach j
Li - tj Lit
11.04.23 Kapitel 2 25
Scheduling
Beweis (Forsetzung):• Es gilt: Li-pj ≤ Lk für alle k{1,…,m}
und damit Lk Li – pmax.• Wir wissen: j=1
m Lj j=1n pj+(m-1) pmax
• Also ist Li+(m-1)(Li – 2pmax) j=1n pj
• Daraus folgt: mLi ≤ j=1
n pj +(m-1)2pmax
Li ≤ (1/m) j=1n pj +2((m-1)/m)pmax
≤ OPT() + 2(1-1/m)OPT() ≤ 3 OPT()
Alte Jobs vor t
11.04.23 Kapitel 2 26
Scheduling
Genauere Analyse: Greedy ist 2-1/m-kompetitiv.
Ist das scharf? Ja!
Beispiel: m Maschinen, m(m-1) Jobs der Länge L>>m(m-1), (so dass Zeit für Genierung der Jobs vernachlässigbar) ein Job der Länge mL
m=10
Makespan ~ 19L
11.04.23 Kapitel 2 27
Scheduling
Genauere Analyse: Greedy ist 2-1/m-kompetitiv.
Ist das scharf? Ja!
Beispiel: m Maschinen, m(m-1) Jobs der Länge L>>m(m-1), (so dass Zeit für Genierung der Jobs vernachlässigbar) ein Job der Länge mL
m=10
Optimaler Makespan ~ 10L
Übersicht
• Beispiele
• Notation
• Paging
• Scheduling
• Selbstorganisierende Suchstrukturen
11.04.23 Kapitel 2 28
11.04.23 Kapitel 4 29
Wörterbuch
48
18
11
3
20
11.04.23 Kapitel 4 30
Wörterbuch
48
18
11
3
20
insert(15)
15
11.04.23 Kapitel 4 31
Wörterbuch
48
18
11
3
20
delete(20)
15
11.04.23 Kapitel 4 32
Wörterbuch
48
18
11
3
lookup(8) ergibt 8
15
11.04.23 Kapitel 2 33
Suchstruktur
S: Menge von Elementen
Jedes Element e identifiziert über key(e).
Operationen:
• S.insert(e: Element): S:=S {e}
• S.delete(k: Key): S:=S\{e}, wobei e das Element ist mit key(e)=k
• S.lookup(k: Key): gibt eS aus mit key(e)=k, falls es ein solches e gibt, und sonst
11.04.23 Kapitel 2 34
Statische Suchstruktur
1. Speichere Elemente in sortiertem Feld.
lookup: über binäre Suche ( O(log n) Zeit )
1 3 10 14 195 28 31 58 60 82 89 94 9885
lookup(14)
11.04.23 Kapitel 2 35
Binäre Suche
Eingabe: Zahl x und ein sortiertes Feld A[1],…,A[n]
Binäre Suche Algorithmus:l:=1; r:=nwhile l < r do m:=(r+l) div 2 if A[m] = x then return m if A[m] < x then l:=m+1 else r:=mreturn l
11.04.23 Kapitel 2 36
Dynamische Suchstruktur
insert und delete Operationen:
Sortiertes Feld schwierig zu aktualisieren!
Worst case: (n) Zeit
1 3 10 145 19 28 31 58 60 82 85
15
11.04.23 Kapitel 2 37
Suchstruktur
2. Sortierte Liste (mit -Element)
Problem: insert, delete und lookup kosten im worst case (n) Zeit (z.B. ständig wird 19 angefragt)
Besser: sortiere Elemente nach Zugriffshäufigkeit, aber Zugriffshäufigkeit nicht von vornherein bekannt. Was ist online möglich?
31
…19
11.04.23 Kapitel 2 38
Suchstruktur
2. Sortierte Liste (mit -Element)
Zentrale Frage: für welche insert, delete und lookup Operationen weichen wir für jede gegebene Operationsfolge so wenig wie möglich ab von der Laufzeit eines optimalen Offline Algorithmus, der alle Anfragen zu Beginn an kennt und damit eine optimale Strategie für die Anordnung und Umordnung der Elemente in der Liste berechnen kann?
31
…19
Selbstorganisierende Liste• Sei eine beliebige lookup-Anfragefolge gegeben.• Bei einem Zugriff auf ein Listenelement entstehen Kosten, die
von der Position des Elements abhängen.
• Das angefragte Element kann nach seiner Anfrage an eine beliebige Position weiter vorne in der Liste bewegt werden (mit keinen Zusatzkosten).
• Außerdem ist es möglich, zwei benachbarte Elemente mit Kosten 1 zu vertauschen.
11.04.23 Kapitel 2 39
k
Kosten 7
k k
lookup(k)
Selbstorganisierende Liste
Die folgenden Online Strategien bieten sich an:• Move-to-Front (MTF): Das angefragte Element
wird an den Kopf der Liste bewegt.• Transpose: Das angefragte Element wird mit dem
Vorgänger in der Liste vertauscht.• Frequency-Count (FC): Verwalte für jedes
Element der Liste einen Zähler, der mit Null initiailisiert wird. Bei jeder Anfrage wird der Zähler um eins erhöht. Die Liste wird nach jeder Anfrage gemäß nicht steigenden Zählerständen sortiert.
Interessanterweise ist MTF die beste Strategie.
11.04.23 Kapitel 2 40
11.04.23 Kapitel 2 41
Exkurs: Amortisierte Analyse
• S: Zustandsraum einer Datenstruktur
• : beliebige Folge von Operationen Op1, Op2, Op3,…,Opn
• s0: Anfangszustand der Datenstruktur
• Zeitaufwand T() = i=1n TOpi
(si-1)
s0Op1 s1
Op2 s2Op3 sn
Opn….
11.04.23 Kapitel 2 42
Exkurs: Amortisierte Analyse
• Zeitaufwand T() = i=1n TOpi
(si-1)
• Eine Familie von Funktionen AX(s), eine pro Operation X, heißt Familie amortisier-ter Zeitschranken falls für jede Sequenz von Operationen gilt
T() A() := c + i=1n AOpi
(si-1)
für eine Konstante c unabhängig von
11.04.23 Kapitel 2 43
Exkurs: Amortisierte Analyse
1.6 Satz: Sei S der Zustandsraum einer Datenstruktur, sei s0 der Anfangszustand und sei :SIR+ eine nichtnegative Funktion. Für eine Operation X und einen Zustand s mit ss´ definiere
AX(s) := (s´) - (s) + TX(s).
Dann sind die Funktionen AX(s) eine Familie amortisierter Zeitschranken.
X
11.04.23 Kapitel 2 44
Exkurs: Amortisierte Analyse
Zu zeigen: T() c + i=1n AOpi
(si-1)
Beweis:
i=1n AOpi
(si-1) = i=1n [(si) - (si-1) + TOpi
(si-1)]
= T() + i=1n [(si) - (si-1)]
= T() + (sn) - (s0)
T() = i=1n AOpi
(si-1) + (s0) - (sn)
i=1n AOpi
(si-1) + (s0) konstant
Selbstorganisierende Liste
1.7 Satz: MTF ist 2-kompetitiv.Beweis:• Wir zeigen mit amortisierter Analyse, dass A(s)2OPT(s) ist.• Wir verwenden die Potentialfunktion , die eine Konfiguration
von A und OPT auf eine reelle Zahl abbildet, wobei für alle t (t)0 und (0)=0 gilt.
• Wir wollen zeigen, dass für alle Zeitpunkte t gilt:A((t))+(t)-(t-1) cOPT((t))
• Damit ist A c-kompetitiv, denn durch das Summieren über alle t ergibt sich:
t=1m (A((t))+(t)-(t-1)) c t=1
m OPT((t)) A()+(m)-(0) cOPT()
A() cOPT() - (m) cOPT()
11.04.23 Kapitel 2 45
Selbstorganisierende Liste
Beweis (Fortsetzung):• Wir wählen als Potentialfunktion die Anzahl
der Inversionen in der Liste, wobei eine Inversion ein geordnetes Paar (x,y) von Listenelementen ist, so dass x vor y in OPT´s Liste ist und x hinter y in MTF´s Liste ist.
11.04.23 Kapitel 2 46
1 8 5 9 4 3 7 2MTF:
2 1 5 3 8 7 9 4OPT:
Inversionen: (1,2), (2,3), (2,4), (2,5), (2,7), (2,8), (2,9), (3,4), (3,8), (3,9), (4,7), (5,8), (7,9)
Selbstorganisierende Liste
Beweis (Fortsetzung):• Sei (t)=x. x befinde sich direkt nach k in OPTs
Liste und direkt nach l in MTFs Liste. Außerdem verschiebe OPT das Listenelement x nach vorne, so dass es direkt nach dem Listenelement i eingeführt wird.
11.04.23 Kapitel 2 47
i k xOPT:
i l xMTF:
Selbstorganisierende Liste
• Durch OPTs Verschieben von x nach vorne können höchstens k-i neue Inversionen entstehen.
• Durch MTFs Verschieben von x werden anschließend l-i Inversionen aufgehoben und höchstens i neue Inversionen erzeugt.
• Also gilt: MTF((t))+DF(t)) (l+1)+(k-i)+(i-(l-i)) = k+i+1 2k+1 < 2(k+1) = 2OPT((t))
11.04.23 Kapitel 2 48
Selbstorganisierende Liste
Bemerkung: Satz 1.7 lässt sich für insert- und delete-Operationen erweitern, wenn diese wie folgt implementiert werden.
• Insert(e): Füge Element e vorne in die Liste ein.
• Delete(k): Lösche Element e mit key(e)=k aus der Liste raus.
11.04.23 Kapitel 2 49
Selbstorganisierende Liste
1.8 Satz: Sei A ein deterministischer online Algorithmus für selbstorganisierende Listen. Ist A c-kompetitiv, dann ist c2.
Beweis:• Sei eine Liste mit n Elementen gegeben.• Der Gegner erzeugt eine Anfragesequenz
, in der stets das letzte Element in A´s Liste angefragt wird. Für ||=m ist A()=mn.
11.04.23 Kapitel 2 50
Selbstorganisierende Liste
Beweis (Fortsetzung):• Wir betrachten die Offline-Strategie SL, die mit einer
statischen Liste beantwortet, in der die Elemente nach nicht-steigenden Häufigkeiten sortiert sind.
• Sei m ein Vielfaches von n. Der worst case für SL ist, dass jedes Element gleich häufig angefragt wird. Dann entstehen für i=1..n ja m/n-mal Kosten i.
• Also ist OPT() i=1
n im/n + = (n+1)m/2 + n(n-1)/2
• Daraus folgt, dass c = A()/OPT() 2n/(n+1) = 2-2/(n+1)
11.04.23 Kapitel 2 51
n2
m
Aufwand für Umsortieren
Selbstorganisierende Liste
1.9 Satz: Transpose ist für keine Konstante c c-kompetitiv.
Beweis:• Betrachte die Liste 1,…,n und die Anfragefolge
=(n,n-1,n,n-1,…,n,n-1) mit ||=m.• Dann entstehen für Transpose Kosten von
Transpose(s)=mn.• Mit MTF entstehen auf derselben Folge Kosten
von MTF(s)=n+n+2(m-2) = 2n+2m-4.• Für n>m ist also
c = Transpose(s)/OPT(s) Transpose(s)/MTF(s) m/4
11.04.23 Kapitel 2 52
Selbstorganisierende Liste
1.10 Satz: FC ist für keine Konstante c c-competitiv.
Beweis: Übung.
11.04.23 Kapitel 2 53
11.04.23 Kapitel 2 54
Suchstruktur
Selbstorganisierende Liste (mit -Element)
Problem bleibt: insert, delete und lookup kosten im worst case (n) Zeit
Einsicht: Wenn lookup effizient zu implementieren wäre, dann auch alle anderen Operationen
191
…3
11.04.23 Kapitel 2 55
Suchstruktur
Idee: füge Navigationsstruktur hinzu, die lookup effizient macht
31
…119
Navigationsstruktur
11.04.23 Kapitel 2 56
Binärer Suchbaum (ideal)
1 3 10 14 195 28 1
1 5
3
14 28
19
10lookup(14)
11.04.23 Kapitel 2 57
Binärer Suchbaum
Suchbaum-Regel:
Damit lookup Operation einfach zu imple-mentieren.
k
T1 T2
Für alle Schlüssel k´ in T1 und k´´ in T2: k´ < k < k´´
11.04.23 Kapitel 2 58
Lookup(k) Operation
Suchstrategie:• Starte in Wurzel des Suchbaums• Für jeden erreichten Knoten v:
– Falls key(v) > k, gehe zum linken Kind von v, sonst gehe zum rechten Kind
k
T1 T2
Für alle Schlüssel k´ in T1 und k´´ in T2: k´ < k < k´´
11.04.23 Kapitel 2 59
Binärer Suchbaum
Formell: für einen Baumknoten v sei• key(v) der Schlüssel in v• d(v) die Anzahl Kinder von v
• Suchbaum-Regel: (s.o.)
• Grad-Regel:Alle Baumknoten haben zwei Kinder (sofern #Elemente >1)
• Schlüssel-Regel:Für jedes Element e in der Liste gibt es genau einen Baumknoten v mit key(v)=key(e).
11.04.23 Kapitel 2 60
Lookup(10)
1 3 10 14 195 28 1
1 5
3
14 28
19
10
11.04.23 Kapitel 2 61
Insert und Delete Operationen
Strategie:• insert(e):
Erst lookup(key(e)) bis Element e´ in Liste erreicht. Falls key(e´)>key(e), füge e vor e´ ein und ein neues Suchbaumblatt für e und e´ mit key(e), so dass Suchbaum-Regel erfüllt.
• delete(k):Erst lookup(k) bis ein Element e in Liste erreicht. Falls key(e)=k, lösche e aus Liste und Vater v von e aus Suchbaum, und setze in dem Baumknoten w mit key(w)=k: key(w):=key(v)
11.04.23 Kapitel 2 62
Insert(5)
1 10 14 28 1
1
28
14
10
11.04.23 Kapitel 2 63
Insert(5)
1 10 14 28 1
1
28
14
10
5
5
11.04.23 Kapitel 2 64
Insert(12)
1 10 14 28 1
1
28
14
10
5
5
11.04.23 Kapitel 2 65
Insert(12)
1 10 12 28 1
1
28
14
10
5
5
14
12
11.04.23 Kapitel 2 66
Delete(1)
1 10 12 28 1
1
28
14
10
5
5
14
12
11.04.23 Kapitel 2 67
Delete(1)
10 12 28 1
28
14
10
5
5
14
12
11.04.23 Kapitel 2 68
Delete(14)
10 12 28 1
28
14
10
5
5
14
12
11.04.23 Kapitel 2 69
Delete(14)
10 12 28 1
28
12
10
5
5
11.04.23 Kapitel 2 70
Binärbaum
Problem: Binärbaum kann entarten!
Beispiel: Zahlen werden in sortierter Folge eingefügt
1 3 10 14 195 28 1
1
53
14
2819
10
Lookup benötigt (n)Zeit im worst case
Lösung: Splay Baum
11.04.23 Kapitel 2 71
Splay-Baum
Üblicherweise: Implementierung als interner Suchbaum (d.h. Elemente direkt integriert in Baum und nicht in extra Liste)
Hier: Implementierung als externer Such-baum (wie beim Binärbaum oben)
11.04.23 Kapitel 2 72
Splay-Baum
1 3 10 14 195 28 1
1 5
3
14 28
19
10lookup(19)
In Baum Zeiger auf Listenelement
11.04.23 Kapitel 2 73
Splay-Baum
Ideen:
1. Im Baum Zeiger auf Listenelemente
2. Bewege Schlüssel von zugegriffenem Element immer zur Wurzel
2. Idee: über Splay-Operation
11.04.23 Kapitel 2 74
Splay-Operation
Bewegung von Schlüssel x nach oben:
Wir unterscheiden zwischen 3 Fällen.
1a. x ist Kind der Wurzel:
A B
C
x
y x
A
B C
yzig
11.04.23 Kapitel 2 75
Splay-Operation
Bewegung von Schlüssel x nach oben:
Wir unterscheiden zwischen 3 Fällen.
1b. x ist Kind der Wurzel:
A B
C
y
xy
A
B C
xzig
11.04.23 Kapitel 2 76
Splay-Operation
Wir unterscheiden zwischen 3 Fällen.
2a. x hat Vater und Großvater rechts:
A B
C
x
y y
B
C D
zzig-zig
D
z x
A
11.04.23 Kapitel 2 77
Splay-Operation
Wir unterscheiden zwischen 3 Fällen.
2b. x hat Vater und Großvater links:
zig-zig
A B
C
z
y
D
x
y
B
C D
x
z
A
11.04.23 Kapitel 2 78
Splay-Operation
Wir unterscheiden zwischen 3 Fällen.
3a. x hat Vater links, Großvater rechts:
zig-zag
A B C
y
x
D
z
y
A
B C
x
z
D
11.04.23 Kapitel 2 79
Splay-Operation
Wir unterscheiden zwischen 3 Fällen.
3b. x hat Vater rechts, Großvater links:
zig-zag
A B C
z
x
D
y
B C
D
x
y
A
z
11.04.23 Kapitel 2 80
Splay-Operation
Beispiel:
1 3 10 14 195 28 1
1 5
3
14 28
19
10
x
zig-zag Operation (3a)
11.04.23 Kapitel 2 81
Splay-Operation
1 3 10 14 195 28 1
114 28
19
10
5
3
11.04.23 Kapitel 2 82
Splay-Operation
Beispiele:
zig-zig, zig-zag, zig-zag, zig zig-zig, zig-zag, zig-zig, zig
x x
11.04.23 Kapitel 2 83
Splay-Operation
Baum kann im worst-case immer noch sehr
unbalanciert werden! Aber amortisierte
Kosten sind sehr niedrig.
1 3 10 14 195 28 1
1
53
14
2819
10
11.04.23 Kapitel 2 84
Splay-Operation
lookup(k)-Operation:• Laufe von Wurzel startend nach unten, bis
k im Baumknoten gefunden (Abkürzung zur Liste) oder bei Liste angekommen
• k in Baum: rufe splay(k) auf
Amortisierte Analyse:m Splay-Operationen auf beliebigem Anfangsbaum mit n Elementen (m>n)
11.04.23 Kapitel 2 85
Splay-Operation
• Gewicht von Knoten x: w(x)• Baumgewicht von Baum T mit Wurzel x:
tw(x)= yT w(y)
• Rang von Knoten x: r(x) = log(tw(x))
• Potential von Baum T: (T) = xT r(x)
1.11 Lemma: Sei T ein Splay-Baum mit Wurzel u und x ein Knoten in T. Die amortisierten Kosten für splay(x,T) sind max. 1+3(r(u)-r(x)).
11.04.23 Kapitel 2 86
Splay-Operation
Beweis von Lemma 1.11:Induktion über die Folge der Rotationen.• r und tw : Rang und Gewicht vor Rotation• r’ und tw’: Rang und Gewicht nach Rotation1. Fall:
Amortisierte Kosten: 1+r’(x)+r’(y)-r(x)-r(y) 1+r’(x)-r(x) da r’(y) r(y) 1+3(r’(x)-r(x)) da r’(x) r(x)
A BC
xy x
AB C
yzig
Laufzeit(# Rot.)
Änderung von
11.04.23 Kapitel 2 87
Splay-Operation
2. Fall:
Amortisierte Kosten: 2+r’(x)+r’(y)+r’(z)-r(x)-r(y)-r(z) = 2+r’(y)+r’(z)-r(x)-r(y) da r’(x)=r(z) 2+r’(x)+r’(z)-2r(x) da r’(x)r’(y) und r(y)r(x)
A BC
xy y
BC D
zzig-zig
D
z x
A
11.04.23 Kapitel 2 88
Splay-Operation
2. Fall:
Behauptung: Es gilt, dass 2+r’(x)+r’(z)-2r(x) 3(r’(x)-r(x))d.h. r(x)+r’(z) 2(r’(x)-1)
A BC
xy y
BC D
zzig-zig
D
z x
Ar(x)
r’(z)
r’(x)
11.04.23 Kapitel 2 89
Splay-Operation
2. Fall:
Behauptung: Es gilt, dass r(x)+r’(z) 2(r’(x)-1)Ersetzungen: r(x) log x , r’(z) log y , r’(x) log 1.Betrachte die Funktion f(x,y)=log x + log y.Zu zeigen: f(x,y) -2 für alle x,y0 mit x+y1.
A BC
xy y
BC D
zzig-zig
D
z x
Ar(x)
r’(z)
r’(x)
11.04.23 Kapitel 2 90
Splay-Operation
1.12 Lemma: Die Funktion f(x,y)=log x + log y hat in dem Bereich x,y0 mit x+y1 im Punkt (½,½) ihr Maximum.
Beweis:• Da die Funktion log x streng monoton wachsend ist,
kann sich das Maximum nur auf dem Geradensegment x+y=1, x,y0, befinden.
• Neues Maximierungsproblem: betrachteg(x) = log x + log(1-x)
• Einzige Nullstelle von g’(x) = 1/x - 1/(1-x) ist x=1/2. • Für g’’(x)= -(1/x2 + 1/(1-x)2)) gilt g’’(1/2) < 0.• Also hat Funktion f im Punkt (½,½) ihr Maximum.
11.04.23 Kapitel 2 91
Splay-Operation
2. Fall:
Behauptung: Es gilt, dass r(x)+r’(z) 2(r’(x)-1)Ersetzungen: r(x) log x , r’(z) log y , r’(x) log 1.Es folgt: f(x,y)=log x + log y -2 für alle x,y0 mit x+y1.Die Behauptung ist also korrekt.
A BC
xy y
BC D
zzig-zig
D
z x
Ar(x)
r’(z)
r’(x)
11.04.23 Kapitel 2 92
Splay-Operation
3. Fall:
Amortisierte Kosten: 2+r’(x)+r’(y)+r’(z)-r(x)-r(y)-r(z) 2+r’(y)+r’(z)-2r(x) da r’(x)=r(z) und r(x)r(y) 2(r’(x)-r(x)) denn…
zig-zag
A B C
y
x
D
zy
AB C
x
z
D
11.04.23 Kapitel 2 93
Splay-Operation
3. Fall:
…es gilt: 2+r’(y)+r’(z)-2r(x) 2(r’(x)-r(x)) 2r’(x)-r’(y)-r’(z) 2 r’(y)+r’(z) 2(r’(x)-1) analog zu Fall 2
zig-zag
A B C
y
x
D
zy
AB C
x
z
D
11.04.23 Kapitel 2 94
Splay-Operation
Beweis Lemma 1.11:
Induktion über die Folge der Rotationen.• r: Rang vor Rotation• r’: Rang nach Rotation• Für jede Rotation ergeben sich amortisierte
Kosten von max. 1+3(r’(x)-r(x)) (Fall 1) bzw. 3(r’(x)-r(x)) (Fälle 2 und 3)
• Aufsummierung der Kosten ergibt mit Wurzel u max. 1 + Rot. 3(r’(x)-r(x)) = 1+3(r(u)-r(x))
11.04.23 Kapitel 2 95
Splay-Operation
• Baumgewicht von Baum T mit Wurzel x: tw(x)= yT w(y)
• Rang von Knoten x: r(x) = log(tw(x))• Potential von Baum T: (T) = xT r(x)
1.13 Lemma: Sei T ein Splay-Baum mit Wurzel u und x ein Knoten in T. Die amortisierten Kosten für splay(x,T) sind max. 1+3(r(u)-r(x)) = 1+3log (tw(u)/tw(x)).
1.14 Korollar: Sei W=x w(x) und wi das Gewicht von ki in i-tem lookup. Für m lookup-Operationen sind die amor-tisierten Kosten O(m+3i=1
m log (W/wi)).
11.04.23 Kapitel 2 96
Splay-Baum
1.15 Satz: Die Laufzeit für m lookup Operationen in einem n-elementigen Splay-Baum T ist höchstens
O(m+(m+n)log n).Beweis:• Sei w(x) = 1 für alle Schlüssel x in T. • Dann ist W=n und r(x) log W = log n für alle x in T.• Erinnerung: für eine Operationsfolge F ist die Laufzeit
T(F) A(F) + (s0)für amortisierte Kosten A und Anfangszustand s0
• (s0) = xT r0(x) n log n• Aus Korollar 1.14 ergibt sich Theorem 1.15.
11.04.23 Kapitel 2 97
Splay-BaumAngenommen, wir haben eine Wahrscheinlichkeitsvertei-lung für die Suchanfragen.• p(x) : Wahrscheinlichkeit für Schlüssel x• H(p) = x p(x)log(1/p(x)) : Entropie von p
1.16 Satz: Die Laufzeit für m lookup Operationen in einem n-elementigen Splay-Baum T ist höchstens
O(mH(p) + nlog n).Beweis:Folgt aus Korollar 1.14 mit w(x) = np(x) für alle x.
Bemerkung: Laufzeit (mH(p)) für jeden statischen binären Suchbaum! Es ist aber seit der Enwicklung von Splay Bäumen vor 25 Jahren immer noch ein offenes Problem, ob diese konstant kompetitiv auch gegenüber dynamischen binären Suchbäumen sind.
11.04.23 Kapitel 2 98
Splay-Baum Operationen
Bemerkung: Die amortisierte Analyse kann erweitert werden auf insert und delete, wenn diese wie folgt implementiert sind.
insert(e):• wie im binären Suchbaum• splay-Operation, um key(e) in Wurzel zu
verschieben
delete(k):• wie im binären Suchbaum
11.04.23 Kapitel 2 99
Fragen?