lez 1 processi stocastici -  · - processi stocastici e processi markoviani - tecniche per la...

Click here to load reader

Post on 08-Aug-2020

1 views

Category:

Documents

0 download

Embed Size (px)

TRANSCRIPT

  • Enza Messina

    Metodi Computazionali

    A.A. 2009/10

    Ragionamento probabilistico nel tempo

    Il compito di prendere una decisionedipende da:

    Informazioni parziali

    Informazioni rumorose

    Incertezza sui cambiamenti dell’ambiente nelcorso del tempo

    E. Messina Metodi Computazionali

  • Metodi Computazionali

    - Processi stocastici e processi Markoviani

    - Tecniche per la generazione di numeri casuali

    . generazione di realizzazioni di variabili

    discrete

    . generazione di realizzazioni di variabili

    continue

    - Tecniche di simulazione

    o Costruzione e validazione di modelli di simulazione

    o Metodi Monte Carlo

    o Tecniche di riduzione della varianza

    o Analisi dei risultati

    - Metodi per la stima dei parametri

    Ragionamento probabilistico nel tempo

    Per descrivere un mondo mutevole siusano:

    una serie di variabili casuali

    descritte da uno stato

    in ogni istante temporale

    Le relazioni fra variabili casuali in istantitemporali diversi descrivono l’evoluzionedello stato!

    E. Messina Metodi Computazionali

  • Tempo e Incertezza

    Modelli statici:

    Il valore delle variabili non cambia nel tempo

    Modelli dinamici

    Il valore delle variabili cambia nel tempo

    Lo stato corrente dipende dalla storia

    Il processo di cambiamento e’ descritto da unaserie di “fotografie” (time slice) ognuna dellequali contiene un insieme di variabili casuali

    E. Messina Metodi Computazionali

    Metodi Computazionali

    Processi stocastici e processi Markoviani

    Tecniche per la generazione di numeri casuali generazione di realizzazioni di variabili discrete generazione di realizzazioni di variabili continue

    Tecniche di simulazioneCostruzione e validazione di modelli di simulazioneMetodi Monte CarloTecniche di riduzione della varianzaAnalisi dei risultati

    Metodi per la stima dei parametri

    E. Messina Metodi Computazionali

  • Un processo stocastico { }TttX ),(

    L’insieme T degli indici e lo spazio X degli stati possono essere continui o discreti.

    • Processi stocastici a tempo continuo

    • Processi stocastici a tempo discreto

    • Processi stocastici a stati continui

    • Processi stocastici a stati discreti

    E. Messina7

    Processo Stocasticoè:

    un insieme di variabili casuali, (per ogni t, X(t) e’ una variabile casuale)

    una variabile casuale che evolve nel tempo

    { }0),( >ttX

    { },...1,0),( =ttX

    { },...1,0, =nXn

    Metodi Computazionali

    E. Messina8

    Processo Stocastico

    Metodi Computazionali

    X(t) = Valore di una caratteristica del sistema al tempo t, ovvero valore di

    una variabile casuale che descrive lo stato del sistema al tempo t

    X(t) numero di visitatori di una pagina web al tempo t

    X(t) numero di visitatori di una pagina web fino al tempo t

    X(t) numero di prodotti venduti fino al tempo t

    X(t) valore di un portafoglio di titoli al tempo t

  • discrete-time, discrete-state

    ttt XX += 1 t=1,2,3,...

    Random Walk

    }1,1{=t

    5,0)1()1( =+=== tt pp

    where and

    -8

    -7

    -6

    -5

    -4

    -3

    -2

    -1

    0

    1

    2

    3

    0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

    9

    Esempio

    E. Messina Metodi Computazionali

    Changing p>0,5

    we obtain a random walk with drift

    0

    2

    4

    6

    8

    10

    12

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

    p=0,8

    Another way to generalize this process is to let assume continuous values

    (discrete time continuous state stochastic process)t t

    N(0,1)

    -2

    -1

    0

    1

    2

    3

    4

    5

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

    E. Messina1

    0

    Metodi Computazionali

    Esempio

  • The first order autoregressive process given by the equation

    titt baXX ++=

    where a and b are constant, with -1

  • Tale proprietà assicura che la distribuzione di probabilità per tutti i possibili

    valori futuri del processo dipende solo dal loro valore corrente non dai valori

    passati o da altre informazioni correnti

    Una importante proprietà dei processi stocastici è la

    Proprietà Markoviana

    I processi stocastici che soddisfano questa proprietà sono detti Processi di Markov

    E. Messina13

    Metodi Computazionali

    Proprietà dei Processi Markoviani

    P( Xt+1 = it+1 | Xt = it , Xt-1 = it-1 , …, X1 = i1 , X0 = i0 )

    = P( Xt+1 = it+1 | Xt = it )

    Un processo stocastico a tempi discreti è una catena di Markov se,

    per t = 1, 2, 3, … e per tutti gli stati, si ha che:

    P( Xt+1 = j | Xt = i , Xt-1 = it-1 , …, X1 = i1 , X0 = i0 )

    = P( Xt+1 = j| Xt = i )

    Se P(X0= i) = qi

    q = [q1… qi… qn] distribuzione probabilità iniziale

    Catene di Markov

    E. Messina Metodi Computazionali

  • Catene di Markov

    Se la probabilità di un certo evento è indipendente dal tempo t la

    catena di Markov si definisce stazionaria e si ha che:

    P( Xt+1 = j | Xt = i) = pij

    pij = probabilità che al tempo t+1 il sistema sarà nello stato j, essendo nello stato i al tempo t.

    Attenzione: non confondere stazionario con statico !!!!!

    E. Messina Metodi Computazionali

    Matrice delle probabilità

    p11 p12 …. p1np21 p22 …. p2n

    pn1 pn2 …. pnn

    rappresenta la probabilità di raggiungere uno stato j

    partendo da uno stato i della catena.

    pij

    0ij

    p 0, ji 10

    ==

    n

    j

    ijp

    P =

    MATRICE DI TRANSIZIONE

    (a un passo)

    E. Messina Metodi Computazionali

  • Rappresentazione grafica

    Una matrice P delle probabilità di transizione è rappresentabile

    graficamente da un grafo. Ogni nodo rappresenta uno stato e l’arco

    (i,j) rappresenta la probabilità di transizione pij .

    i kj

    pjkpij

    pii

    E. Messina Metodi Computazionali

    Esempio

    Supponiamo che un’industria produca due tipi di Cola.

    Una persona che, all’acquisto precedente, ha comprato Cola1, per il 90% di

    possibilità comprerà ancora Cola1.

    Chi ha comprato invece Cola2, per l’80% di possibilità comprerà ancora Cola2.

    Matrice di transizione:

    P =

    Cola1

    Cola2

    Cola1

    Cola2

    0.100.90

    0.800.20

    E. Messina Metodi Computazionali

  • Esercizi1. Definire la matrice di transizione dell’esempio del gioco d’azzardo

    2. Si consideri un sistema si stoccaggio nel quale la sequenza di eventi lungo

    ogni periodo e’ la seguente:

    - si osserva il livello i di magazzino all’inizio del periodo;

    - se i =2 non viene emesso

    nessun ordine.

    Le consegne degli ordini sono immediate.

    - la domanda d segue la seguente distribuzione di probabilità:

    con probabilità 1/3 d=0

    con probabilità 1/3 d= 1

    con probabilità 1/3 d=2

    - si osserva quindi il livello di magazzino all’inizio del prossimo periodo.

    Determinare la matrice di transizione che caratterizza tale sistema di

    stoccaggio.

    E. Messina Metodi Computazionali

    Esercizi

    1. In un’urna sono contenute due palline, inizialmente bianche.

    Ad ogni estrazione si procede come segue:

    - se la pallina è bianca si lancia una moneta: se esce testa la dipingo di rosso

    altrimenti la dipingo di nero.

    - se la pallina estratta è rossa la dipingo di nero

    - se la pallina estratta è nera la dipingo di rosso

    Determinare la matrice di transizione che descrive questo “gioco”.

    E. Messina Metodi Computazionali

  • Probabilità di transizione a n-passi

    Domanda: Se una catena di Markov è in uno stato i al tempo m,

    qual è la probabilità che dopo n passi sarà in uno stato j ?

    P( Xm+n = j | Xm = i) = P( Xn = j | X0 = i) =Pij(n)

    Si avrà che:

    Pij(2) = pik · pkj prodotto scalare riga i colonna j

    Pij(n) = ij-simo elemento di Pn

    Risposta

    k=1

    n

    E. Messina Metodi Computazionali

    Esempio (2)

    1. Se una persona usualmente compra Cola2, qual è la probabilità

    che compri Cola1 dopo due acquisti ?

    P( X2 = 1 | X0 = 2) =P21(2)

    P2

    = =0.100.90

    0.800.20

    0.100.90

    0.800.20

    0.170.83

    0.660.34

    E. Messina Metodi Computazionali

  • Esempio (3)

    1. Se una persona usualmente compra Cola1, qual è la probabilità

    che compri ancora Cola1 dopo tre acquisti ?

    P( X1 = 1 | X0 = 1) =P11(3)

    P3 = =

    0.100.90

    0.800.20

    0.170.83

    0.660.34

    0.2190.781

    0.5620.438

    E. Messina Metodi Computazionali

    Equazioni Chapman-Kolmogorov

    E. Messina Metodi Computazionali

    La probabilità di transizione a n-passi

    { } 0,,0| === + jiniXjXPP kknn

    ij

    può essere calcolata tramite le equazioni di Chapman-Kolmogorov

    0,,0,0

    ==

    + jimnPPPk

    m

    kj

    n

    ik

    mn

    ij

    )()()( mPnPmnP =+

  • Equazioni Chapman-Kolmogorov

    E. Messina Metodi Computazionali

    { }iXjXPP mnmn

    ij === ++

    0|

    { }= +

    ====0 0

    |,k nmn

    iXkXjXP

    { } { }= +

    ======0 00

    |,|k nnmn

    iXkXPiXkXjXP

    ==

    0k

    n

    ik

    m

    kj PP

    Probabilità di transizione

    La probabilità di essere in un certo stato j al tempo n, non

    conoscendo lo stato di una catena di Markov al tempo 0, è:

    qi Pij(n) = q · (colonna j di P n )

    dove:

    qi = probabilità che la catena sia nello stato i al tempo 0.

    i

    E. Messina Metodi Computazionali

  • Esempio (1)

    1. Supponiamo che il 60% delle persone beva Cola1 e il 40%

    beva Cola2. Dopo tre acquisti, qual è la percentuale delle

    persone che berranno Cola1?

    p = q · (colonna 1 di P3)

    p = 0.60 0.40 = 0.64380.781

    0.438

    E. Messina Metodi Computazionali

    Classificazione degli stati

    Uno stato j è raggiungibile da uno stato i se esiste un cammino

    che da i arriva a j :

    E. Messina Metodi Computazionali

    0>n

    ijP per qualche n 0

    Due stati i e j si dice che comunicano se j è raggiungibile da i e

    viceversa.

    Ogni stato comunica con se stesso per definizione e vale anche la

    proprietà transitiva.

    Una catena di Markov è detta irriducibile se tutti i suoi stati sono

    comunicanti fra loro

  • Classificazione degli stati

    Un insieme di stati S in una catena di Markov è un insieme

    chiuso se nessuno stato fuori S è raggiungibile dagli stati in S.

    Uno stato i si definisce stato assorbente se pii = 1.

    E. Messina Metodi Computazionali

    Classificazione degli stati

    • Uno stato i si definisce stato transiente se esiste uno stato j

    raggiungibile da i, ma i non è raggiungibile da j.

    E. Messina Metodi Computazionali

    •Uno stato che non è transiente viene definito stato ricorrente.

    ==1n

    n

    iiP

    <=1n

    n

    iiP

  • Classificazione degli stati

    • La ricorrenza è una proprietà di classe: se lo stato i è

    ricorrente e lo stato j comunica con i allora lo stato j è ricorrente

    E. Messina Metodi Computazionali

    • Anche essere transiente è una proprietà di classe.

    • Tutti gli stati di una catena di Markov finita (n. stati finito)

    irriducibile sono ricorrenti

    Classificazione degli stati

    •Uno stato i è periodico di periodo k>1 se k è il più piccolo

    numero tale che tutti i cammini che dallo stato i ritornano ad i

    hanno una lunghezza che è un multiplo di k.

    • Se uno stato non è periodico si definisce aperiodico.

    • Se tutti gli stati in una catena sono ricorrenti, aperiodici e

    comunicano l’uno con l’altro, la catena si definisce ergodica.

    E. Messina Metodi Computazionali

  • Esempio (catena ergodica)

    Una catena ergodica è, per esempio, la seguente:

    P =0.3 0.7 0

    0.5 0 0.5

    0 0.25 0.75

    1 320.3

    0.7

    0.5

    0.25

    0.5

    0.75

    E. Messina Metodi Computazionali

    Quali stati sono transienti e quali ricorrenti ?

    Esercizi

    0 0 1/2 1/2

    1 0 0 0

    0 1 0 0

    0 1 0 0

    E. Messina Metodi Computazionali

    0 0 0

    0 0 0

    0 0 0 0 0 0

    0 0

  • Quali di queste matrici sono associabili a catene ergodiche ?

    Esercizi (catena ergodica)

    1/3 2/3 0

    1/2 0 1/2

    0 1/4 3/4

    1/2 1/2 0 0

    1/2 1/2 0 0

    0 0 2/3 1/3

    0 0 1/4 3/4

    1/4 1/2 1/4

    2/3 1/3 0

    0 2/3 1/3

    E. Messina Metodi Computazionali

    Distribuzione d’equilibrio (steady state)

    Sia P una matrice delle probabilità per una catena ergodica di n

    stati, vale che:

    lim Pij(n) = j

    = [ 1 2 3 …. n] vettore distribuzione d’equilibrio

    Dove:

    = ·P

    n +

    E. Messina Metodi Computazionali

  • Esempio (Steady State)

    .33.67.33.6730

    .33.67.33.6740

    .33.67.33.6720

    .35.65.32.6810

    .44.56.28.725

    .56.44.22.783

    .66.34.17.832

    .80.20.10.901

    P22(n)P21(n)P12(n)P11(n)n

    STEADY STATE

    E. Messina Metodi Computazionali

    0.100.90

    0.800.20

    P=

    Esempio (Steady State)

    E. Messina Metodi Computazionali

    0.100.90

    0.800.20

    P=

    1002.09.0 +=

    1018.01.0 +=

    110=+{

  • Esercizi

    1. Una macchina è utilizzata per produrre strumenti di precisione.

    Se la macchina è in buone condizioni oggi allora lo sarà anche domani con una

    probabilità del 90%.

    Se la macchina non è in buone condizioni oggi allora sarà mal funzionante anche

    domani con una probabilità dell’80%.

    Quando la macchina è in buone condizioni produce 100 pezzi al giorno.

    Quando la macchina è mal funzionante produce 60 pezzi al giorno.

    In media quanti pezzi al giorno verrano prodotti ?

    E. Messina Metodi Computazionali

    Transitorio

    Il comportamento di una catena di Markov prima di raggiungere la

    distribuzione d’equilibrio è chiamato transitorio.

    TRANSITORIO

    E. Messina Metodi Computazionali

  • Passaggio Intermedio

    Numero di transizioni attese prima di raggiungere lo stato j

    essendo nello stato i in una catena ergodica:

    mij = pij(1)+ pik· (1+mkj)

    mij = 1+ pik· mkj

    mii =

    k j

    1

    i

    E. Messina Metodi Computazionali

    Esempio (passaggio intermedio)

    Calcolo di quante bottiglie, in media, berrà un compratore di

    Cola1 prima di cambiare a Cola2:

    • m12 = 1+ p11 · m12 = 1+ 0.90 · m12 m12 = 10

    Viceversa, per un compratore di Cola2 si avrà:

    • m21 = 1+ p22· m21 = 1+ 0.80 · m21 m21 = 5

    E. Messina Metodi Computazionali

  • Catene assorbenti (1)

    Le catene assorbenti sono catene di Markov nelle quali

    alcuni stati sono assorbenti, mentre tutti gli altri sono

    stati transienti.

    Definizione:

    Uno stato i si definisce stato assorbente se pii = 1

    E. Messina Metodi Computazionali

    Catene assorbenti (2)

    Possibili domande:

    1. Qual’è il numero di passi che intercorrono prima

    che, da uno stato transiente, venga raggiunto uno stato

    assorbente ?2. Se una catena parte da uno stato transiente, qual è la

    probabilità che termini in uno stato assorbente ?

    E. Messina Metodi Computazionali

  • Matrice di transizioneLa matrice di transizione per una catena assorbente può

    essere scritta come:

    P =

    Q matrice che rappresenta le relazioni tra gli stati transienti.

    R matrice che rappresenta le transizioni da stati transienti a

    stati assorbenti.

    Q R

    0 I

    E. Messina Metodi Computazionali

    Matrice fondamentale

    1. Se siamo in uno stato transiente i, il numero di periodi

    che si trascorreranno in uno stato transiente j prima

    dell’assorbimento è:

    ij-simo elemento della matrice (I-Q)-1

    E. Messina Metodi Computazionali

  • Esempio

    In una fabbrica le tre tipologie d’impiegati sono: junior, senior e partner.

    Ci sono inoltre due stati assorbenti che riguardano due modalità per lasciare la

    fabbrica: come non-partner o come partner. La matrice delle probabilità è la

    seguente:

    Junior

    Senior

    Partner

    Lascia NP

    Lascia P

    Junior PartnerSenior Lascia PLascia NP

    10000

    01000

    0.0500.9500

    00.100.200.700

    00.0500.150.80

    Q

    I0

    R

    E. Messina Metodi Computazionali

    Esempio (1)

    Quanto tempo passa un dipendente Junior nella fabbrica?

    (I-Q)-1

    =

    • tempo che passa come Junior : m11= 5

    • tempo che passa come Senior : m12 = 2.5 17.5 anni

    • tempo che passa come Partner : m13 = 10

    5 2.5 10

    0 3.3 13.3

    0 0 20

    TOT.

    E. Messina Metodi Computazionali

  • Probabilità d’assorbimento

    2. Se siamo in uno stato transiente i, la probabilità di

    arrivare in uno stato assorbente j è:

    ij-simo elemento della matrice (I-Q)-1·R

    E. Messina Metodi Computazionali

    Esempio (2)

    Qual è la probabilità che un dipendente Junior lasci la

    fabbrica come Partner?

    (I-Q)-1

    · R =

    m12 = 0.5

    0.5 0.5

    0.3 0.7

    0 1

    RISPOSTA

    E. Messina Metodi Computazionali

  • Esempio: The Drunkard’s walk

    Un uomo cammina lungo Park Avenue, dove abita. Per raggiungere il bar deve

    passare vicino a 3 lampioni. Ogni volta che arriva ad un lampione si appoggia e

    poi riprende il cammino proseguendo in avanti o tornardo indietro con uguale

    probabilità. Se arriva a casa o al bar si ferma.

    Home

    1

    2

    3

    Bar

    Home 21 Bar3

    10000

    1/201/200

    01/201/20

    001/201/2

    00001

    Q

    I0

    R

    E. Messina Metodi Computazionali

    Esempio: The Drunkard’s walk

    1

    2

    3

    Home

    Bar

    1 32 BarHome

    10000

    01000

    1/2001/20

    001/201/2

    01/201/20

    Q

    I0

    R

    E. Messina Metodi Computazionali

  • Quante volte passa per lo stesso lampione?

    (I-Q)= (I-Q)-1

    =

    Se parte dallo stato 2 il numero atteso di volte che passa per i

    lampioni 1 2 e 3 prima di venire “assorbito” sono 1, 2 e 1.

    3/2 1 1/2

    1 2 1

    1/2 1 3/2

    E. Messina Metodi Computazionali

    Esempio: The Drunkard’s walk

    1 -1/2 0

    -1/2 1 -1/2

    0 -1/2 1

    R = (I-Q)-1

    ·R =

    Se parte dallo stato 2 la probabilità di tornare a casa è 3/4 e quella

    di finire al bar è 1/4.

    3/4 1/4

    1/2 1/2

    1/4 3/4

    E. Messina Metodi Computazionali

    Esempio: The Drunkard’s walk

    1/2 0

    0 0

    0 1/2

  • Example: Academic Life

    A. Assistant

    Prof.: 20

    B. Associate

    Prof.: 60

    T. Tenured

    Prof.: 90

    S. Out on the

    Street: 10 D. Dead: 0

    1.0

    0.60.2

    0.2

    0.8

    0.2

    0.6

    0.2

    0.2

    0.7

    0.3

    What is the expected lifetime income of an academic?

    Courtsey of Michael Littman

    Solving for Total Reward

    L(i) is expected total reward receivedstarting in state i.

    How could we compute L(A)?

    Would it help to compute L(B), L(T), L(S),and L(D) also?

  • Solving the Academic Life

    The expected income at state D is 0

    L(T)=90+0.7x90+0.72x90+…

    L(T)=90+0.7xL(T)

    L(T)=300

    T. Tenured

    Prof.: 90

    D. Dead: 0

    0.7

    0.3

    Working Backwards

    A. Assistant

    Prof.: 20

    B. Associate

    Prof.: 60

    T. Tenured

    Prof.: 90

    S. Out on the

    Street: 10 D. Dead: 0

    1.0

    0.60.2

    0.2

    0.8

    0.2

    0.6

    0.2

    0.20.7

    0.3

    0

    300

    50

    325287.5

    Another question: What is the life expectancy of professors?

  • Stepping Stone Model

    Let A be a nxn array of squares

    Each square is initially any one of k different colors

    For each step, a square is chosen at random

    This square chooses one of its 8 neighbors at random and assumes its color

    (boundary conditions …)

    This is an example of absorbing Markov Chain: with probability 1 all the squares

    will eventually all be the same color

    Credit Rating: Typical Transition Matrix (1-Year)

    Year-End Rating Initial

    RatingAAA AA A BBB BB B CCC D

    AAA 90.81 8.33 0.68 0.06 0.12 0 0 0

    AA 0.70 90.65 7.79 0.64 0.06 0.14 0.02 0

    A 0.09 2.27 91.05 5.52 0.74 0.26 0.01 0.06

    BBB 0.02 0.33 5.95 86.93 5.30 1.17 0.12 0.18

    BB 0.03 0.14 0.67 7.73 80.53 8.84 1.00 1.06

    B 0 0.11 0.24 0.43 6.48 83.46 4.07 5.20

    CCC 0.22 0 0.22 1.30 2.38 11.24 64.86 19.79

  • Example of Rating Transition Matrix*

    * Moody’s Investors Service, July 1997. “Moody’s Rating Migration and Credit

    Quality Correlation, 1920-1996”

    Google’s Search Engine

    Assumption: A link from page A to page B is a

    recommendation of page B by the author of A

    (we say B is successor of A)

    Quality of a page is related to its in-degree

    Recursion: Quality of a page is related to

    its in-degree, and to

    the quality of pages linking to it

    PageRank [Brin and Page ‘98]

    E. Messina Metodi Computazionali

  • Definition of PageRank

    Consider the following infinite random walk

    (surf):

    Initially the surfer is at a random page

    At each step, the surfer proceeds

    to a randomly chosen web page with probability p

    to a randomly chosen successor of the current page with

    probability 1-p

    The PageRank of a page d is the fraction of

    steps the surfer spends at d in the limit.

    E. Messina Metodi Computazionali

    Random Web Surfer

    What’s the probability of a page being visited?

    E. Messina Metodi Computazionali

  • Markov Chains

    Theorem: Under certain conditions:

    There exists a unique stationary distribution q with qi > 0

    for all i

    Let N(i,t) be the number of times the Markov chain visits

    state i in t steps. Then,

    it t

    tiN=

    ),(lim

    E. Messina Metodi Computazionali

    PageRankPageRank = the probability for this Markov chain,i.e.

    where n is the total number of nodes in the graph

    p is the probability of making a random jump.

    Query-independent

    Summarizes the “web opinion” of the page

    importance

    +=

    Euv

    voutdegreevPageRankpnpuPageRank

    ),(

    )(/)()1(/)(

    E. Messina Metodi Computazionali

  • PageRank

    D

    A B

    PageRank of D is

    (1-p)* ( 1/4th the PageRank of A + 1/3rd the PageRank of B ) +p/n

    E. Messina Metodi Computazionali

    Kth-Order Markov Chain

    What we have discussed so far is the first-order

    Markov Chain.

    More generally, in kth-order Markov Chain, each

    state transition depends on previous k states.

    What’s the size of transition probability matrix?

    X2 X3 X4X1

    E. Messina Metodi Computazionali

  • Add-ins Excel

    Per la risoluzione delle operazioni relative alle catene di

    Markov sono presenti in rete add-ins free di Excel:

    Sito per il download:

    http://www.stanford.edu/~savage/software.htm

    E. Messina Metodi Computazionali