inleiding adaptieve systemen

Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk

Inleiding Adaptieve Systemen

Gaia & Co-evolutie


Inhoud

• Co-evolutie zonder natuurlijke selectie

– Gaia hypothese (Lovelock, 1969-e.v.)

– Daisy world (Lovelock, 1983)

• Co-evolutie met natuurlijke selectie

– Informele bespreking

– Voorbeeld uit de co-evolutionaire robotica (Floreano, Nolfi, 1997)

– Artikel “Coevolutionary Dynamics in a Minimal Substrate” (Watson, Pollack, 2001)


De Gaia (Γαια) hypothese

• James Lovelock (1919) was vanaf 1965 betrokken bij onderzoek van de NASA naar buitenaards leven.

• VRAAG: Is er leven op Mars?

Lovelock: kijk naar de samenstelling van de atmosfeer:

– geen leven chemisch evenwicht

– geen chemisch evenwicht leven

• Op basis van deze observaties bedacht Lovelock de Gaia hypothese:

Leven creëert zijn eigen ideale omstandigheden door de aardse omgeving te beïnvloeden.

De aarde leeft ook, en oefent terug invloed uit.

• Kenmerken van leven: respiratie (ademhaling), metabolisme (stofwisseling), zelf-regulering, prikkelbaarheid, feedback, voorplanting.


Daisy world

• In samenhang met de Gaia hypothese presenteerde Lovelock in 1983 het Daisyworld model (Daisy = madeliefje).

• Doel: de relatie tussen organismen en hun omgeving verkennen.

• Daisyworld is een computermodel van een denkbeeldige planeet waar witte en zwarte daisies leven.

• Daisyworld is een model zonder natuurlijke selectie.

• Daisies kunnen groeien, reproduceren, hun omgeving veranderen en sterven.

• Er is een globale variabele: de temperatuur van de planeet. Deze neemt langzaam toe door een zon.– Witte en zwarte daisies hebben elke een favoriete temperatuur waarin

ze het snelst groeien.

– De favoriete temperatuur van witte daisies is hoger dan de favoriete temperatuur van zwarte daisies.


Albedo (weerkaatsingsvermogen)

• De aarde bezit een gemiddeld albedo (zon-weerkaatsing) van 37% tot 39%

• Per type oppervlak:– Verse sneeuw of ijs : 80-95%

– Oude smeltende sneeuw : 40-70%

– Wolken : 40-90%

– Woestijnzand : 30-50%

– Grondaarde : 5-30%

– Toendra : 15-35%

– Grasland : 25-30%

– Bos : 10-20%

– Water : 10-60%


Daisy world: albedo

• Witte daisies bezitten een hoog albedo (i.e., reflecteren de zon goed) en koelen daardoor de planeet af.

• Zwarte daisies bezitten een laag albedo, absorberen de hitte van de zon, en warmen daardoor de planeet op.

• Dus:– Daisies beïnvloeden hun omgeving,

– De omgeving beïnvloedt weer de groei van daisies.

• Er is een zelf-regulerende feedback loop.

• Er is een dynamisch evenwicht: veel witte daisies koelen de planeet af, wat weer gunstig is voor de groei van zwarte daisies.


Daisy world in een CA

• We kunnen een CA gebruiken om Daisyworld te modelleren.

• Elke cel heeft een temperatuur. Elke tik wordt de waarde daarvan met 10 opgehoogd.

• Als witte daisies de gemiddelde temperatuur niet afkoelen, zal de temperatuur overal 100 graden worden en al het leven dood gaan.

• Elke cel kan een (witte of zwarte) daisy of een (wit of zwart) daisy-zaadje bevatten.

• Zwarte daisies hebben de meeste kans om te overleven bij 400. Witte daisies bij 600.

• Etc. (zie dictaat M. Wiering).


Daisy world: geen begroeiing


Daisy world: begroeiing


Daisy world (Netlogo screenshot)


Zelf-regulatie vs. natuurlijke selectie

• Het meest interessante aspect in Daisyworld is (natuurlijk) de zelf-regulatie.

• De zelf-regulatie is gunstig voor alle individuen, omdat het de temperatuur op een nivo houdt welke leven mogelijk maakt.

• In (de pure) Daisyworld is de zelf-regulatie niet betrokken in een vorm van competitie of reproductie.

I.h.b. worden daisies niet gemuteerd of gekruist.

• Vraag: hoe zou je mutatie of kruising kunnen definiëren? Op welke attributen?


Daisy world (vervolg)

• I.t.t. wat het dictaat en de handouts wellicht suggeren, behoort mutatie oorspronkelijk niet tot Daisyworld.

Cf. Peter Saunders, “Evolution without natural selection: further implications of the daisyworld parable” in: Journal of Theor. Biol., Vol. 166 (1994), pp. 365-373.

• Het is later wel voorgesteld, o.a. door Sabine Stöcker: “Regarding mutations in daisyworld models” in: Journal of Theor. Biol., Vol. 175 (1995), pp. 495-501.

Zij concludeert: “The present approach to considering evolution in Daisyworld models shows a better regulating capability than models without mutations.”


Status Gaia theorie

• Lovelock in 1980-e.v.: kijk naar pytho-plankton (zee-algen) die di-methylsulfide (DMS) uitscheiden.

• Globaal genomen is er zwakke Gaia en sterke Gaia:– Zwak: wisselwerking is metafoor om processen te begrijpen

– Sterk: “het” is er echt: de biosfeer wordt doelbewust in stand gehouden door een superorganisme, de aarde.

• Acceptatie:– Zwak: geen probleem.

– Sterk: pseudo-wetenschappelijk, niet empirisch te bewijzen en in strijd met de goed onderbouwde evolutietheorie. (Kirchner W. James, “The gaia hypotheses: are they testable? Are they usefull?,” Scientists on Gaia, The MIT Press, London England, 1991.)


Inleiding Adaptieve Systemen

Co-evolutiemet natuurlijke selectie


Co-evolutionair algoritme: definitie

• Co-evolutionair algoritme Een evolutionair algoritme waar evaluatie van individuen gebaseerd is op interactie met andere individuen.

• Een notie van absolute fitness ontbreekt.

Als er al een notie van absolute fitness bestaat, dan krijgen we hem niet te zien (“black box”).


Relatieve fitnessInformatie over fitness kun

je in sommige gevallen alleen maar krijgen door (onderlinge) competititie


Co-evoluerende populaties


Co-evolutie als kruising tussen populatiedynamiek en genetische algoritmen

Co-evolutie: soorten beconcurreren elkaar t.b.v. voorplanting

fitness = 1

fitness = 4

fitness = 8

fitness = 9.5

fitness = 3

fitness = 8fitness = 8

fitness = 9

fitness = 2

fitness = 4

Populatie-dynamiek: soorten

beconcurreren elkaar t.b.v. voedsel

Populatie-dynamiek: soorten

beconcurreren elkaar t.b.v. voedsel

GA: individuen scoren hoge fitness t.b.v. voortplanting

GA: individuen scoren hoge fitness t.b.v. voortplanting


Absolute vs. relatieve fitness

Absolute fitness– Wordt gebruikt in conventioneel evolutionair programmeren.

– Kwantitatief (typisch een reëel getal).

– Optimalisatie-oppervlak waarlangs individuen bewegen ligt vast.

– Ezelsbruggetjes: speerwerpen, hardlopen, gewichtheffen.

Relatieve fitness– Wordt gebruikt in co-evolutionair programmeren.

– Kwalitatief

– Optimalisatie-oppervlak is variabel.

– Ezelsbruggetjes: judo, schermen, tennis (voetbal, basketbal).


Absolute fitness


Typisch absolute fitness

fit-ness

generaties

best

gemiddeld

slechtst

Individuen interacteren niet. Hun prestaties

worden door een externe evaluator

beoordeeld


Typisch relatieve fitness

• Elke interactie levert informatie op

• Hoe meer interacties, hoe meer informatie

• Relatieve fitness A: 3 successen uit 5 interacties

• Genormeerde fitness: 3/5

10

1

0

1

0

1

0

1

0

A


Intra- vs. inter-populatie

Eén populatie Intra-populationele interactie

• Individuen concurreren met elkaar– Om te leren waar ze staan in

de hiërarchie

– Om zichzelf te verbeteren [maar dit speelt niet in CEA: daar komen slechte exemplaren niet meer terug]

• Schaakclub, voetbal-divisie, tennis-tournooi

Twee populaties Inter-populationele interactie

• Individuen concurreren met individuen uit andere populatie

• Vossen en konijnen:– Konijn 15 Km/h Vos 16

Km/h

– Vos 16 Km/h Konijn beter wendbaar

– Konijn beter wendbaar Vos “slimmer”


Competitieve vs.coöperatieve co-evolutie

Competitief

• Antagonistisch

• Soms: parasitair

• Co-evolutionaire wedloop

• Voorbeelden: konijnen vs. mixomatose; sorteer-algoritmen vs. sorteer-problemen

Coöperatief

• Protagonistisch

• Soms: symbiotisch

• Co-evolutionaire aanpassing

• Voorbeelden: rups van blauwe vlinder wordt beschermd tegen parasieten door mier.– Rups scheidt stof af wat mier

lekker vindt.

– Mier vertoont gedrag om parasieten af te weren.


Voorbeeld: co-evolutievan twee robot-populaties

• Floreano, D. and Nolfi, S. “God save the red queen! Competition in co-evolutionary robotics” in: Genetic Programming 1997: Proc. of the 2nd Ann. Conf. (1997), pp. 398-406.

• Twee populaties, genaamd jager en prooi zijn in competitie met elkaar.

Wordt nog verklaard


Co-evolutionaire robotica

• Jager: visueel systeem met een kijkhoek van 360

• Prooi: eenvoudige sensoren voor het ontdekken van een object tot aan 2cm, maar kan max. 2x zo snel rijden.

• De gegevens werden eerst middels simulatie verkregen: kopieën werden voor 2 min. losgelaten in een 47x47 arena (of minder als de jager de prooi ving).


Implantatie (≠ implementatie)


Parameters van experiment

• Genotype: bitvector. Elke byte (8 bits) correspondeert met een gewicht in een standaard neuraal netwerk

Ongeveer 30 gewichten in een neuraal netwerk voor de jager

– Ongeveer 20 gewichten voor prooi

• Populatiegrootte: 100 voor jager, 100 voor prooi

• Reproductie: mutatie op bits met kans 0.02; geen crossover

• Evolutielengte: 100 generaties

• Selectie: 1-1 testen tegen de top-10 van eerdere generaties

• Relatieve fitness:

– Als jager binnen 2 min. prooi vangt: jager 1, en prooi 0.

– Anders: Jager 0 en prooi 1


Ca. 20 Gen: volgen van prooi

• Ca. 20 Gen: jagers ontwikkelden de vaardigheid om prooi– te tracken

– te volgen

• Echter, omdat max. snelh. prooi = 2 x max. snelh. jager, werkt deze strategie niet altijd


• Ca. 45 Gen: jager bekeek prooi en viel uiteindelijk aan, gebaseerd op geanticipeerd traject

• Als gevolg gaat prooi zo snel langs muren bewegen dat jager geregeld prooi mist en in de muur botst

Ca. 45 Gen: traject-anticipatie


Ca 75 Gen: “spin” strategie

• Ca. 70 Gen: “spin” strategie

• In plaats van op de prooi te jagen, rijdt de jager naar de muur om daar de prooi op te wachten. De prooi rijdt zo hard langs de muren dat deze niet op tijd de jager kan detecteren om deze te vermijden


The Red Queen’s race

• Lewis Carroll: Through the Looking-Glass.

• Red Queen: “It takes all the running you can do, to keep in the same place”

• In co-evolutie moeten individuen blijven verbeteren om zinvolle informatie terug te blijven krijgen over eigen fitness.

– De absolute fitness stijgt– De relatieve fitness blijft constant

• Evolutionaire wapenwedloop

• Promovendus en ecoloog Arnoud Bruijn liet met moleculaire technieken zien dat

algen onder zware parasietendruk meer genen uitwisselen.

(“De rode koningin had gelijk.”)


Voordelen van co-evolutie

Bereikbaar doel Co-evolutie zorgt ervoor dat individuen in een populatie zich aan elkaar kunnen optrekken

“Haasje over”.

Relevant doel Co-evolutie zorgt ervoor dat verbetering zich richt op onder-ontwikkelde eigenschappen

“Anderen werken aan jouw slechtste eigenschap”.

Ongelimiteerd doel Met co-evolutie is er altijd de mogelijkheid nog beter te worden dan de beste

“The Sky is the Limit”.


Johan CruijffElk voordeel heb

z’n nadeel

Leg uit!


Nadelen van voordelen

Verlies van leerdoel De andere populatie wordt te goed. De verliezende populatie krijgt eenzijdige feedback (steeds maar verliezen). Er is dus geen informatie meer om te selecteren uit eigen populatie.

Richten op de verkeerde punten Word je er zoveel beter van door steeds maar te profiteren van andermans’ (soms onverbeterbare) zwakheden?

Relativisme Beter presteren dan de ander zegt niets over absolute kwaliteit.

• In het land der blinden …

• Het kan zelfs zijn dat A < B < C maar C < A (steen, papier, schaar)


Watson and Pollack


Fruitvlieg aanpak

• Watson, Richard A. and Pollack, Jordan B. Coevolutionary Dynamics in a Minimal Substrate. Proc. of the Genetic and Evolutionary Computation Conf. (GECCO), 2001, pp. 702-709

Java Simulaties door Dmitri David Krasik

• Doel: stel een model op voor computationele co-evolutie z.d.d.

– Zo eenvoudig mogelijk (“stripped to the bare essentials”)

– Vertoont nog wel de meest belangrijke verschijnselen van computationele co-evolutie

http://www.demo.cs.brandeis.edu/pr/number_games/


Absolute en relatieve fitness

• Individuen zijn bitstrings ter lengte 100

• Absolute fitness van individu a :

– Het aantal enen

– Ter wille van het experiment is absolute fitness onzichtbaar voor het co-evolutionaire proces.

• Relatieve fitness van individu a :

– Vergelijk met groepje S van andere individuen. Tel het aantal keren dat je wint

Ss

saSaf ),(score),(

anders.0

, als1),(score

yxyx

Notatie Watson & Pollack:

|S|

1

),(score),(i

iSaSaf


Genormeerderelatieve fitness: voorbeelden

• f(50, { 24, 45 }) = 2

fnl(50, { 24, 45 }) = 2/2 = 1.00

• f(50, { 2, 24, 45, 91 }) = 3

fnl(50, { 2, 24, 45, 91 }) = 3/4 = 0.75

• f(50, { 2, 17, 24, 45, 53, 91 }) = 4

fnl(50, { 2, 17, 24, 45, 53, 91 }) = 4/6 = 0.67

• f(50, { 2, 17, 24, 45, 51, 53, 91 }) = 4

fnl(50, { 2, 17, 24, 45, 51, 53, 91 }) = 4/7 = 0.57

• f(50, { 2, 17, 24, 45, 51, 53, 89, 91 }) = 4

fnl(50, { 2, 17, 24, 45, 51, 53, 89, 91 }) = 4/8 = 0.50


Discrepantieabsolute en relatieve fitness• Veel problemen in co-evolutie worden veroorzaakt door

de discrepantie tussen absolute fitness en relatieve fitness.

• Om te ontdekken hoe sterk je bent moet je tegen veel tegenstanders vechten. Maar wat als die tegenstanders door toeval niet representatief zijn?

• Dit voorbeeld gezet in de nu gebruikte notatie:

a = 4 en b = 5. Als a tot nu toe alleen maar { 1, 2, 3 } heeft ontmoet, en b tot nu toe alleen maar { 6, 7, 8 }, dan

– fabs(a) = 4 en fabs(b) = 5, terwijl

– fnl(a) = 3/3 en fnl(b) = 0/3Wat als a en b beiden

vergeleken worden met { 6, 7, 8 } ?


Winst (score)in meerdere dimensies

Winst (Watson: score) kan in twee (of meer) dimensies op ten minste twee manieren gedefinieerd worden:

Max-d (Watson: score2): de coördinaat waar A en B het meest verschillen

Min-d (Watson: score3): de coördinaat waar A en B het minst verschillen

3

5

A

B

4

2

C



• Volgens Max-d, of score2:A < BC < BC < AKortom: C < A < B

• Volgens Min-d, of score3:A < BC < BA < CKortom: A < C < B

3

5

A

B

4

2

C



• Volgens Max-d, of score2:A < EA < DD < EKortom: A < D < E

• Volgens Min-d, of score3:A < ED < AE < DKortom: E < D < A

3

5

A

D

4

2

E

Maar ookA < E !?

Blijkbaar is Min-d niet transitief


Intransiviteit in co-evolutie

• Absolute fitness is altijd transitief. Want:

– Absolute fitness is reëel getal

– Ordening op de reële rechte is transitief

• Relatieve fitness is niet altijd transitief.

– Rafael Nadal won van Roger Federer; Federer won van Novak Djokovic; Djokovic won van Nadal een cykel

– Steen, papier, schaar (Eng.: rock, paper, scissors)


Parameters van het experiment

• Twee populaties, genaamd rood en blauw– Verschillende competenties, bv. jagers en prooien

– Rood concurreert niet met elkaar; blauw ook niet.

• Populatiegrootte: 25 individuen (totaal 50 individuen)

• Relatieve fitness: toetsen aan 15 individuen uit de andere populatie– In sommige experimenten: toetsen aan één tegenstander

• Selectie: fitness-proportioneel (denk aan roulettewiel met ongelijke sectoren)

• Genetische operatoren:– Reproductie met 0.5% kans op mutatie

– Geen recombinatie


Mutatie biasbij unitaire representatie

Genotype 1: decimale (= normale) representatie van getal

• Een mutatie definiëren als een normaal verdeelde toevalsvariabele μ=0, σ=0.5 die in 0.5% van de gevallen bij het genotype wordt opgeteld

• Bij een goed individu, zeg met absolute fitness 99, is de kans op verslechtering bij muteren even groot als de kans op verbetering bij muteren (namelijk 0.25%)

Genotype 2: getal representeren als unitaire bitstring

• Een mutatie definiëren als 0.5% kans op een flip van een random bit

• Bij een goed individu is de kans op verslechtering bij muteren aanmerkelijk groter dan de kans op verbetering:

In latere stadia van de evolutie hebben mutaties bijna altijd een nadelig effect (R.A. Fischer, The genetical theory of natural selection,1930)

Unitair ≠ unair


Visualisatie

110….001011

010….111011

110….00000

001….111000

111….001011

000…. 011111

101….001000

001….111011

. . .

110….101111

111…. 000111

. . .

25 25

15

15


Experiment 0: negeer fitness

• Experiment met nul-condities: relatieve fitness wordt genegeerd in selectie.

• Initialisatie:– Groep rood start met 25x een nul.

– Groep blauw start met 25x een perfect individu.

• Er is geen concurrentie tussen de groepen. Nu kunnen we zien wat de gevolgen van pure mutatie zijn.– De besten zullen door random mutatie alleen maar afzakken

(Eng.: drift ) naar de middelmaat.

– De slechtsten kunnen alleen maar verbeteren, want slechter dan slecht kan niet.


Experiment 0: negeer fitness


Experiment 1: gevarieerde tegenstand (1a) of niet (1b)• Beide groepen beginnen als

nullen.

• Dan zien we dat beide populaties gestaag klimmen naar een maximum absolute fitness.

• De grote samplesize zorgt ervoor dat de relatieve fitness een redelijke benadering is van de absolute fitness.

• Relatieve fitness is dus een betrouwbaar onderscheidingscriterium.

• Er kan nu goed verhoudingsgewijs op relatieve fitness worden geselecteerd.

• Beide populaties blijven elkaar door competitie van informatie voorzien over de sterkte van elkaars individuen.

• Door voortdurende concurrentie blijft de absolute fitness hoog.


Experiment 1a, met |S| = 15


Experiment 1b, met |S| = 1

• Een voorwaarde voor goede co-evolutie is een betrouwbare relatieve fitness.

• Met |S| = 1, i.e., door maar met één tegenstander te vergelijken, ontstaat een onbetrouwbare relatieve fitness.

• Als rood nu gemiddeld goed is, en blauw gemiddeld slecht, dan is de kans groot dat een steekproef ter grootte 1 voor individuen uit rood winst (en voor individuen uit blauw verlies) oplevert.

• Als iedereen uit je groep wint (of verliest), is er geen informatie meer om te selecteren.

• Dus drijft rood dankzij mutatie naar de middelmaat toe (geldt ook voor blauw).


Experiment 1b, met |S| = 1


Experiment 2: over-specialisatie

• Nu 10 attributen (eigenschappen) en Max-d (= score2).

• Concentreren op het meest zwakke attribuut van de tegenstander is een manier om te winnen.

• Dit kan ontaarden in spelers die over-specialiseren op zwakke punten van tegenstanders, i.p.v. toe te groeien naar een eigen algemeen ontwikkelde vaardigheid.

• Voorbeeld:

– Voetbalteam A is goed in aanvallen, maar slecht in het omschakelen van aanval naar verdediging (“terugvallen”).

– Dus (?) voetballers uit B gaan specialiseren op de counter.

– Voetballers uit B verwaarlozen daarmee hun eigen aanvalsvaardigheden.

– Beide teams ontwikkelen zo geen compleet arsenaal aan vaardigheden.


Experiment 2: over-specialisatie


Experiment 3: relativisme

• Beter presteren dan de ander zegt niets (of i.i.g. nog niet alles) over je eigen absolute fitness.– Vgl. steen, papier, schaar

Als ordeningen sterk intransitief zijn (A < B < C maar C < A) dan kunnen “paarsgewijze krachtmetingen” verkeerde indrukken geven over je absolute fitness.

• In een reeks van “verkeerde” indrukken (“foute” relatieve fitness) kan de populatie zich verkeerd (t.o.v. absolute fitness) gaan aanpassen.

• Voorbeeld:– Je bent goed in duursporten (hardlopen, fietsen), maar slecht in tennis.

– Je zoekt vrienden en een sport waarbij nivo-verschillen minimaal zijn.

– Je treft drie vrienden die toevallig allemaal net nog even slechter tennissen dan jij.

– Op basis hiervan kies je voor tennis.

– Daarvan word je niet gelukkig...


Experiment 3: relativismeNegatieve pull: beide

populaties trekken elkaar naar beneden

Daling tot Abs. Fitness zelfs tot onder 50.Dit is geen normaal verval (drift), zoals in

Experiment 0, maar een actieve aanpassing in de verkeerde richting.


Vergelijken op Max-d

• In welke richting zou een blauw individu kunnen bewegen als het wordt gedomineerd door een rood individu?

• De enig mogelijke richting voor blauw om te verbeteren is ...

• ... door één van beide attributen (eigenschappen) te verbeteren.


Vergelijken op Min-d

• In welke richting zou een blauw individu kunnen bewegen als het wordt gedomineerd door een rood individu?

• Door deze merkwaardige move neemt de objectieve fitness (gedef. als de som van de twee coördinaten) af!

• Als deze ongelukkige move (lees: mutatie) bij toeval vaak in een populatie wordt uitgevoerd, ontstaat er negatieve pull.


R. Paul Wiegand

Paul Wiegand (George Mason U., Virginia) is een leidende autoriteit op het gebied van computationele co-evolutie. Hij zegt:

• Co-evolution can be useful for certain kinds of problems.

• It can also behave in complex and counterintuitive ways.

• The key to successful applications of coevolution revolves around the solution concept:– Understand your problem: What do you want to achieve?

– Understand your algorithm: To what types of solutions is it drawn?

– Match the two: Use the right tool for the right job.


Bron-materiaal

• Artikel Watson en Pollack

• Hoofdstuk 5 dictaat M. Wiering + handouts

Inclusief:

– Gaia hypothese en Daisy world

– Replicator dynamics (= Lotka-Volterra met >3 soorten).

– Spatiële co-evolutie en Pareto-front.

inleiding adaptieve systemen

Documents