Porovnanie symbolického a subsymbolického prístupu emergencie stratégie hry

Peter LackoÚstav aplikovanej informatiky

Fakulta informatiky a informačných technológií

Strojové hranie hier

Problém hrania hier je pre nás zaujímavý hlavne z nasledovných dôvodov:

hra je štruktúrovaný dobre definovaný problém pravidlá sú presne definované dá sa jednoducho rozoznať úspech alebo neúspech

ľubovoľný stav hry má presnú reprezentáciu hráč má všetky informácie o prostredí hry hráčove informácie sú presné

dobre sa dá merať úspešnosť riešenia

Porovnanie prístupov umelej inteligencie

Dnešná umelá inteligencia ponúka dva rôzne prístupy riešenia problémov: klasické prístupy v umelej inteligencii (symbolický) -

tieto presadzujú symbolickú reprezentáciu vedomostí a ich sekvenčné spracovanie

moderné prístupy v umelej inteligencii (subsymbolický) - tieto sú založené vo veľkej miere na neurónových sieťach, vo väčšine prípadov používajú nesymbolickú reprezentáciu vedomostí a sú vhodne použiteľné v oblastiach rozpoznávania vzorov.

História hrania hier

Arthur L. Samuel Pôsobil na MIT,

IBM, DOD

IBM 704 (1954) Prvý masovo

produkovaný počítač s aritmetikou pohyblivej desatinnej čiarky

cca 4000 operácií za sekundu

História hrania hier

Učenie naspamäť Zapamätávajú sa všetky pozície odohrané a

ohodnotené počas hryUčenie zovšeobecňovaním

Zlepšenie – skúsenosti zovšeobecniť a ukladať len zovšeobecnenia

Riešenie – program je schopný vyberať si sám termy ohodnocovacieho polynómu a meniť im ich koeficienty. (možných termov je 38, v polynóme ich je 16)

Algoritmus MiniMax

vygenerujú sa všetky stavy, ktoré môžu počas hry z aktuálneho stavu nastať

rozhodne sa, ktorý nasledovný stav je najlepší listy vygenerovaného stromu sa

ohodnotia bodovaciou funkciou postupne sa ohodnotia stavy na

vyšších úrovniach najlepší nasledovný ťah je ten, ktorý

maximalizuje hodnotu koreňa stromu vykoná sa ťah, ktorý vedie

k najlepšiemu nasledovnému stavu

Symbolický prístup

Veľkosti prehľadávacích stromov pre rôzne hry

Nie je možné vygenerovať celé stromy hier Orezávanie do hĺbky s heuristickou funkciou orezávanie

Tic-Tac-Toe 105 uzlov

Dáma 1031 uzlov

Šach 10123 uzlov

Go 10360 uzlov

Symbolický prístup

Výpočet časovej náročnosti vyriešenia hry šach

Počet možností 1046

Počet možností vďaka α orezávaniu 1023

Pozícií preskúmaných za sekundu 109

Vyriešenie šachu 1014 sekúnd 104 tisícročí

Hranie dámy - Chinook

Chinook zaviedol niečo úplne nové na poli počítačovej dámy – databázu koncoviek

táto dávala programu perfektné znalosti o všetkých pozíciách na šachovnici s osem a menej figúrkami vo forme víťazstvo/remíza/prehra

celá osem-figúrková databáza mala približne 6GB v komprimovanej forme a obsahovala 443 miliárd pozícií

v roku 1996 program Chinook skončil na prvom mieste amerického šampionátu

poradie najlepších hráčov sveta americkej federácie dámy bolo nasledovné: Chinook 2816 Ron King 2632 Asa Long 2631z

Hranie šachu

víťazstvo počítačového systémy Deep Blue v turnaji proti svetovému šampiónovi Garry Kasparovi v roku 1997

Deep Blue bol masívny paralelný systém navrhnutý na prehľadávanie stromov hry šach. Pri prehľadávaní do hĺbky bola rýchlosť približne od 100 do 330 miliónov ťahov za sekundu.

vyhodnocovacia funkcia bola implementovaná v hardvéri šachových čipov, čo zabezpečovalo vysoký výkon. Vyhodnocovala 8000 rôznych „vzorov“, ktorým priraďovala ohodnotenie

knižnica otvorení obsahovala približne 4000 pozícií. databáza koncoviek obsahovala všetky možné hry s 5

a menej figúrkami na šachovnici.

Subsymbolický prístup

tvorený novými prístupmi v umelej inteligencií ako neurónové siete a evolučné algoritmy.

neurónové siete štrukturálna plasticita, ktorá znamená, že sa napríklad mení počet

skrytých neurónov parametrická plasticita, ktorá zodpovedá zmene váh spojov a

prahových koeficientov skrytých a výstupných neurónov.

j

1

J

1r

y1

yj

yJ

w1

wj

wJ

x1

xi

xI

v11

v1i

v1I

vJ1vJi

vJI

...

... ...

...

TD-Gammon

Učenie s trestom a odmenou Vyžadoval len malé množstvo znalostí hry backgammon

a dokázal sa naučiť túto hru extrémne dobre Po odohraní 300000 hier, kedy TD-Gammon (so 40

skrytými neurónmi) hral sám proti sebe, bol schopný hrať asi na rovnakej úrovni ako ostatné programy

Vylepšený TD-Gammon, ktorý mal 160 skrytých neurónov a prehľadával strom hry 3 ťahy dopredu, dosahoval už majstrovské výsledky

Naučil sa hrať niektoré otvorenia inakšie ako boli dovtedajšie konvencie medzi najlepšími hráčmi. Po ďalších analýzach začali aj ľudský hráči hrať tieto otvorenia.

Evolučné princípy

Stochastická metóda optimalizácie Základnou myšlienkou je napodobnenie biologických

procesov evolúcie Genetický algoritmus prebieha nad množinou jedincov, ktorí

tvoria populáciu. Každý jedinec je ohodnotený jeho fitness Kvázináhodným výberom sa vyberú dvaja rodičovskí jedinci. Výber

zabezpečuje vyššiu pravdepodobnosť vstupu do reprodukcie jedincom s vyšším fitness.

Reprodukcia prebieha len s určitou pravdepodobnosťou. Ak jedinci neprechádzajú reprodukciou, vracajú sa nezmenení do populácie. Reprodukcia prebieha v dvoch krokoch – kríženie a mutácia.

Vrátenie nových potomkov do populácie.

Evolučné hranie dámy

Tento prístup bol založený na evolučne optimalizovaných neurónových sieťach. Neurónová sieť ohodnocovala hracie plochy. Toto ohodnotenie bolo potom spracované algoritmom MiniMax, ktorý bol zodpovedný za výber ťahu

Úprava váh prebiehala evolučne, teda populácia sietí hrala turnaje hier. Výsledok turnaja siete predstavoval jej fitness. Po odohraní turnajov sa jedinci s najväčším fitness reprodukovali. Počiatočná populácia mala váhové vektory neurónovej siete nastavené na náhodné hodnoty.

Vypočítali 100 generácií sietí, z tejto populácie vybrali najlepšiu sieť

Neurónová sieť dosiahla po 100 hrách ohodnotenie 1825 čo je dobrý výsledok, keďže počiatočné ohodnotenie siete bolo 1600. Sieť teda bola schopná poraziť živých hráčov, ktorí nevedeli, že hrajú so strojom.

Budúcnosť

Stále existujú hry, ktoré počítač nie je schopný riešiť lepšie ako človek

Príklad – GO Stavový priestor 10360

Počiatočné vetvenie 361 Komplexné stratégie Rozpoznávanie vzorov

Zhrnutie

v niektorých hrách sa dosiahli vynikajúce výsledky stále existujú problémy, ktoré nie je počítač

schopný riešiť lepšie ako človek každý z prístupov, keď je použitý správne, je

schopný hrať hru na majstrovskej úrovni pri symbolickej umelej inteligencii sa pokúšame

vytvoriť algoritmy, ktoré by priamo používali znalosti, ktoré máme o danej hre

pri subsymbolickom prístupe si tieto znalosti vytvára algoritmus akoby sám

stále sa zvyšujúci výkon počítačov a kapacity ich pamätí zlepšuje výsledky klasických algoritmov a umožňuje skúšanie nových prístupov

Ďakujem za Vašu pozornosť