distribuzioni di probabilita' - infn cagliarigruppo3.ca.infn.it/defalco/fisica/02-pdf.pdf ·...
TRANSCRIPT
1Alessandro De Falco, INFN Cagliari 8/19/09
Distribuzioni di probabilita'
Densita' di probabilita'(p.d.f.): P(x < X < x+dx)=f(x)dx
F di distribuzione cumulativa
Media, mediana e moda:
F(xmedian) = ½
Moda: x tale che f(x)=max
Valore di aspettazione:
E e' un operatore lineare
Media:
∫Ef x dx=1
F x =∫xmin
xf x ' dx '
E g x =∫Eg x f x dx
=E x =∫Exf x dx
2Alessandro De Falco, INFN Cagliari 8/19/09
Varianza e momenti di ordine piu' alto
=E x =∫Exf x dxMedia:
2=E x−
2=∫E
x−2 f x dxVarianza:
k=E x−k=∫E
x−k f xdxMomento k-mo intorno alla media:
1=3
23 /2=
E x−3
3Coefficiente di asimmetria (skewness):
Curtosi: 2=4
22−3
Questa definizione implica un confronto con la gaussiana.2>0 (<0) implica che la distribuzione e' piu' (meno) piccata intorno alla media rispetto ad una distribuzione normale Vale la diseguaglianza di Bienamye'-Tschebycheff:che limita la probabilita' che x si allontani dal valore medio per un certo numero di deviazioni standard.
P∣x−E x ∣≥ ≤1
2
3Alessandro De Falco, INFN Cagliari 8/19/09
Distribuzioni di piu' variabili
Densita' di probabilita' congiunta: f x1, x2,. .. xn
∫
f x1, x2,. ..x ndx1 dx2 .... dxn=1
Le regole per il calcolo del valore medio di una funzione, media, varianza etc si applicano in maniera immediata
Matrice di covarianza:
V ij≡E x i−i x j− j=∫
x i−ix j− j f x1, x2,. .. xndx1 dx2 ....dx n
V e' simmetrical' elemento diagonale i-mo Vii=i
2 e' detto varianza di xi ed e' non negativo.L'elemento non diagonale Vij=cov(xi,xj) e' detto covarianza di xi e xj
Viene spesso utilizzato il coefficiente di correlazione
x i , x j=cov x i , x j
i j
−1≤≤1Si dimostra che
4Alessandro De Falco, INFN Cagliari 8/19/09
Le variabili xi sono indipendenti se la loro probabilita' congiunta e' fattorizzabile:
In questo caso gli elementi non diagonali della matrice di covarianza sono nulli. Inoltre E(xixj)=E(xi)E(xj) Una proiezione della p.d.f. In un sottospazio e' chiamato distribuzione marginale. Es.:
se le variabili sono indipendenti la p.d.f. congiunta e' fattorizzabile nelle distribuzioni marginali.
La distribuzione condizionata è definita come
Cambiamento di variabili. Nota la pdf f(x) trovare g(y)Generalizzazione a piu' variabili:
f x1, x2,. ... , xn= f 1x1 f 2 x2 ... f n xn
h1x1= ∫x
2min
x2 max
∫x
3min
x3 max
.... ∫xn min
xn max
f x1, x2,. .. x ndx2 .... dxn
f x1, x2,. .. , xn∣x j=f x1, x2,. .. x n
h jx j
y=y x g y =∣dxdy∣ f x
g y=J x1, x2,. .. , xn
y1, y2,. .. yn
f x
5Alessandro De Falco, INFN Cagliari 8/19/09
Le formule sono generalizzabili al caso di m funzioni yk di n variabili xi
Propagazione degli erroriSia con nota. Stimiamo la varianza di y.Al primo ordine:
y=y x1, x2,. .. x n= y x V x
y x ≈y ∑i=1
n
x i−i∂ y∂ xi
x=
E y x ≈ y
V y x =E y x −E y x 2≈E y x−y 2
y x −y ≈∑i=1
n
x i−i∂ y∂ xi
x=
V y x ≈∑i=1
n
∑j=1
n
∂ y∂ xi
x=
∂ y∂ x j
x=
E xi−ix j− j
V y x ≈∑i=1
n
∑j=1
n
∂ y∂ xi
x=
∂ y∂ x j
x=
V ij x Legge di propagazionedegli errori
Per variabili indipendenti V y x ≈∑i=1
n
∂ y∂ x i
x=
2
V ii x
6Alessandro De Falco, INFN Cagliari 8/19/09
Anticipazioni sul campionamento
La p.d.f. f(x) di una variabile continua x, descrive le proprieta' di una popolazione (o universo). Un esperimento consistera' di un numero finito di misure x1,x2,...xn, che costituiscono un campione. Due quantita' che caratterizzano il campione sono la media aritmetica e la varianza:
Media e varianza sono ancora variabili casuali Appartengono alla popolazione normaleSono indipendentiLa media e' distribuita come una variabile normaleS2 e' legata alla distribuzione di χ2
x= 1n∑i=1
n
x is 2=
1n−1
∑i=1
n
x i− x2Necessario perche's2 costituisca unostimatore senza bias di σ2
Gli argomenti accennati in questa trasparenza verranno approfonditi in seguito
7Alessandro De Falco, INFN Cagliari 8/19/09
Funzione caratteristicaData la densita' di probabilita' f(x), consideriamo la funzione caratteristica:
Per variabili continue, la funzione caratteristica e' la trasformata di Fourier di f(x)
(per variabili discrete: )
Se f(x) e' la convoluzione di g(x) e h(x), allora la funzione caratteristica di f(x) e' il prodotto delle funzioni caratteristiche di g(x) e h(x)
Se E(x) = 0
Inoltre
La funzione caratteristica congiunta di due variabili indipendenti e' pari al prodotto delle funzioni caratteristiche delle due variabili, ovvero e' fattorizzabile Si puo' dimostrare che f(x) e' determinata univocamente dalla sua funzione caratteristicaLa funzione caratteristica puo' essere utile nel calcolo
k ≡ f k ≡⟨eikx⟩=∫eikx f xdx
f x=∫ dx ' g x ' h x−x ' f k =g k⋅h k
funzione caratteristica di f
funzione caratteristica di g
funzione caratteristica di h
k =∑ eikx i P x=xi
d n
dkn0=in
n momento di ordine n
f x= 12∫ e−ikx
k dk
8Alessandro De Falco, INFN Cagliari 8/19/09
Generazione di numeri casuali al calcolatore
I computers svolgono i calcoli in maniera deterministica!
I numeri generati al computer hanno un numero finito di cifre. Una variabile potra' essere scritta nella forma
dove ai potra' essere uguale a 0 o ad 1, con probabilita' 1/2Una variabile cosi' costruita ammettera' 2k valori diversi possibili. Se e' possibile estrarre in maniera casuale equiprobabile i valori degli ai, x avra' una distribuzione uniforme sui 2k valori discreti; x/2k sara' distribuita tra 0 e 1.
Ogni numero (pseudo)casuale estratto da un computer sara' funzione dei numeri estratti in precedenza.
Numeri random
x=a0 20a1 21
...ak−12 k−1
xn= f xn−1 , xn−2 , .... x1
9Alessandro De Falco, INFN Cagliari 8/19/09
Una possibile funzione per la generazione di numeri random a distribuzione piatta e' data da:
In questa maniera generiamo una sequenza con periodicità m (purchè c e m non abbiano fattori comuni, a-1 sia un multiplo di tutti i fattori primi di k e a-1 sia multiplo di 4 se m è multiplo di 4)
Ovviamente se durante la sequenza si ripete uno dei numeri (interi), tutta la sequenza si ripeterà a partire da quel numero
Per ottenere una sequenza abbastanza lunga dobbiamo usare a ed m abbastanza grandi, ma non tali per cui a*m causa un overflow
Solitamente si usa m=2k
Un generatore che segue questo algoritmo è un generatore lineare congruente
Es.: routine drand48 nei sistemi AIX genera numeri random tra 0 e 1 con buone proprietà spettrali. Drand48 usa k=48, c=B(hex), a=5DEECE66D(hex)
Metodo lineare congruente
xn=mod ax n−1c , m
xn=mod ax n−1c , 2k
10Alessandro De Falco, INFN Cagliari 8/19/09
DOPO 150 EVENTI
DOPO 4096 EVENTI
DOPO 40960 EVENTI
(Il contatore in ascisseviene riazzerato ogni 4096 eventi)
Esercizio: scrivere un generatore di numeri casuali con a=5, c=13, k=12 verificare che la periodicita' e' 4096. verificare che la distribuzione e' piatta
11Alessandro De Falco, INFN Cagliari 8/19/09
Effetto MarsigliaAttenzione alle correlazioni!!!!
Uso il generatore col setting dell'esercizio precedente, estraggo 3 numeri random in sequenza, r1,r2,r3, e calcolo r3 vs r2-r1
Osserviamo delle evidenti correlazioni
Random numbers fall mainly in the planes:n-ple successive di numeri generati da un MCG si dispongono su (n!2nbits)1/n iperpiani di uno spazio n dimensionale (effetto Marsiglia)
Provate con a=4097, c=10515, k=18
Il meglio che si può fare è aumentare il numero di iperpiani con una scelta accortadi a,c,k
Risultato per il generatore di Root
12Alessandro De Falco, INFN Cagliari 8/19/09
Numeri casuali con distribuzione dataCalcolo analitico
E' possibile estrarre numeri casuali x con distribuzione f(x) a partire da un set di numeri casuali y a distribuzione piatta g(y)=1
Se sappiamo integrare f(x), possiamo ricavare X in funzione di Y. Estraendo Y con distribuzione piatta tra 0 e 1 otterremo le X corrispondenti distribuite come f(x)
Esercizio: generare dei numeri random con distribuzioni:
f xdx=g ydy=dy Y=∫0
Y
dy=∫xmin
X
f x dx=F X
f x= 1cosh2
ax Distribuzione simile ad una gaussiana
f x= 11x2
13Alessandro De Falco, INFN Cagliari 8/19/09
Se non sappiamo integrare f(x) possiamo ancora estrarre numeri casuali distribuiti secondo f(x) in un intervallo (a,b) procedendo in due modi:
Metodo 1: Calcoliamo numericamente la funzione integrale a passi discreti e per ogni y ricaviamo la x corrispondente
Metodo 2: ✔ Determino fmax nell'intervallo (a,b)✔ Estraggo x con distribuzione uniforme, in modo che a<= x < b✔ Estraggo y con distribuzione uniforme, in modo che 0<=y<fmax✔ Tengo x se y<f(x)✔ Le x cosi' ottenute sono distribuite secondo la distribuzione f
Calcolo numerico
Normalizzo e integro f(x) tra -∞ e X
Estraggo una Y=F(X) con distribuzione piatta...
...Ed ottengo la X corrispondente distribuita come f(x)
Nota: la funzione in questo esempio puo' essere integrata analiticamente
14Alessandro De Falco, INFN Cagliari 8/19/09
Estraggo N coppie (x,y) di numeri random a distribuzione piattaConto il numero K di coppie per cui y<=g(x)Stimo l'integrale come K/NPosso generalizzare facilmente il calcolo al caso xmin<x<xmax mediante la trasformazionex = xmin + (xmax-xmin) x0-1 0<x0-1<1ed eseguire un'analoga trasformazione per y
Il metodo e' inefficiente per funzioni di singola variabile, ma diventa potente per funzioni di piu' variabili.
Metodo Monte Carlo per l'integrazione di una funzione
Vogliamo determinare l'integrale I 0=∫
0
1
g xdx 0g x1 per 0x1
x
y
(xi,yi)
(xj,yj)
15Alessandro De Falco, INFN Cagliari 8/19/09
Distribuzione binomialePrendo un esperimento che puo' dare due soli risultati A e A' (E=A+A')
Ripetiamo n volte l'esperimento
La probabilita' che il risultato dei primi k esperimenti sia A e quello dei restanti n-k sia A' e'
Si puo' ottenere k volte l'evento A in n esperimenti in un numero di combinazioni pari a
La probabilità P di ottenere k volte A in n esperimenti è dunque data data dalla:
Valore medio
Varianza
La statistica binomiale si applica nel calcolo dell'efficienza
Pk , n , p= n!k !n−k !
pk1− pn−k
=⟨k ⟩=∑ k Pk =np
2=⟨k−2 ⟩=⟨k2
⟩−⟨k ⟩2=np1−p
P A= p P A' =1−p
pk1−pn−k
n! /[k ! n−k !]
Distribuzione binomiale
16Alessandro De Falco, INFN Cagliari 8/19/09
Esempi di distribuzioni binomialip
n
17Alessandro De Falco, INFN Cagliari 8/19/09
Esercizio: l'efficienza di uno scintillatore S viene determinata ponendolo tra due scintillatori S1 e S2 e contando il numero k di eventi in cui S,S1 e S2 hanno dato simultaneamente un segnale ed il numero n di eventi in cui S1 e S2 hanno dato simultaneamente un segnale (indipendentemente da S).
Eseguendo la misura si ottiene k=97, n=100.
Quale e' il valore dell'efficienza?
Quale e' l'errore?
Esercizio 2: efficienza di scanning
Vengono eseguiti due scanning indipendenti su un campione di dati.
Siano ε1 ed ε2 le efficienze di scanning, che supponiamo gia' determinate
Quale e' l'efficienza dell'OR dei due scanning e quale e' il suo errore?
raggio cosmico
S S2 S1
18Alessandro De Falco, INFN Cagliari 8/19/09
Generalizzazione della statistica binomiale. Se i risultati possibili sono m,
la probabilita' di ottenere k1 volte A1,.... km volte Am in n esperimenti e'
Valore medio per 'i-mo evento
Elementi della matrice di covarianza: oss: gli elementi di matrice non diagonali non sono nulli (gli eventi non sono indipendenti)
Statistica multinomiale
E=A1A2...Am P Ai=pi ∑i=1
m
pi=1
P k1, k2,. .. , km , n= n!
∏i=1
m
k i !∏i=1
m
pik i
Distribuzione multinomiale
⟨ x i⟩=npi
cij=npi ij−p j
19Alessandro De Falco, INFN Cagliari 8/19/09
Statistica di Poisson
Es. conteggi in uno scintillatore dovuti ad una sorgente radioattiva
Valore medio
Varianza
Per piccoli λ la distribuzione poissoniana e' molto asimmetrica ed e' caratterizzata da una coda a destra del valore medio
skewness:
Pk ,=e− k
k !
=⟨k ⟩=∑ k Pk =
2=⟨k−2 ⟩=⟨k2
⟩−⟨k ⟩2=
3=1
20Alessandro De Falco, INFN Cagliari 8/19/09
Esempi di distribuzioni poissoniane
21Alessandro De Falco, INFN Cagliari 8/19/09
=0.5=5 =25
=0.5 =1=0.5 =1
22Alessandro De Falco, INFN Cagliari 8/19/09
Statistica poissoniana: assunti fondamentali
Si puo' ricavare la statistica poissoniana in maniera del tutto generale sulla base di alcuni assunti. Otteniamo la formula a partire da un esempio:
Tracciamento in camera a bolle:Sia g il numero medio di bolle per unita' di lunghezza in una traccia consideriamo un tratto (piccolo) ∆l della tracciaIpotesi:
✔ g e' costante✔ C'e' al massimo una bolla nel tratto di lunghezza ∆l ✔ La probabilita' di trovare una bolla lungo questo tratto e' proporzionale a ∆l ✔ La presenza di una bolla tra l e l+∆l e' indipendente dalla presenza di bolle in
altri intervalli ad esso non sovrapposti
p1 l =g l
p0 l =1−g l
probabilita' di avere una bolla in ∆l
probabilita' di avere zero bolle in ∆l
p0l l =p0 l p0 l =p0 l 1−g l
p0 l l −p0 l
l=−gP0 l p0l =e−gl
23Alessandro De Falco, INFN Cagliari 8/19/09
pnl l =pn l p0 l pn−1 l p1 l probabilita' di avere n bolle in l+∆l
n bolle in l e 0 in ∆l n-1 bolle in l e 1 in ∆l
pnl l =pn l 1−g l pn−1l g l
pn l l −pnl
l=−g Pnl −pn−1l
Pn l =e−gl gl n
n!
Esercizio: nella ricerca di correnti neutre deboli, vengono osservati 9 candidati per le reazioni indotte da neutrini
fondo:
Identificando gli eventi di tipo si stima un fondo di 4.9 ev.Supposto che il n. di ev. di fondo sia distribuito con statistica poissoniana con valore medio pari a 4.9, quale e' la probabilita' che 9 o piu' ev. siano di fondo?
pp0
pn
np np0
np nn
np pp−
24Alessandro De Falco, INFN Cagliari 8/19/09
Statistica binomiale e poissoniana
Esercizio (dalle lezioni di R. Barlow al CERN)
Uno studente fa l'autostop a bordo della strada. Le automobili transitano con la frequenza di una al minuto, seguendo la statistica poissoniana. La probabilità che un'automobile dia un passaggio allo studente è dell'1%. Quale è la probabilità che lo studente non ottenga un passaggio:
✔ 1- Dopo il transito di 60 automobili (0.5472)✔ 2- Dopo un'ora (0.5488)
25Alessandro De Falco, INFN Cagliari 8/19/09
Confronto tra la statistica binomiale e poissoniana
Confrontiamo una distribuzione poissoniana con λ=3 con due distribuzioni binomiali per cui np= λ
Al diminuire di p e al crescere di n (fissato il prodotto) la statistica binomiale approssima con precisione crescente quella poissoniana
26Alessandro De Falco, INFN Cagliari 8/19/09
Sovrapposizione di due sorgenti poissoniane
I decadimenti di due sorgenti radioattive, governati dalla statistica di Poisson, sono caratterizzati dai valori medi e
Si puo' mostrare che i campioni possono essere combinati mediante una convoluzione
e che la distribuzione ottenuta e' ancora una poissoniana con valore medio
1 2
P r =∑r '
Pr ' ,1P r−r ' ,2
12
27Alessandro De Falco, INFN Cagliari 8/19/09
Distribuzione uniformeConsideriamo una variabile casuale continua x che puo' assumere un qualunque valore entro un intervallo x1 ≤ x < x2 con la stessa densita' di probabilita':
Poiche' la distribuzione deve essere normalizzata a 1,
Esercizio: le dimensioni dei pixel di un rivelatore sono 0.04 mm. Non viene registrata l'informazione sull'ampiezza del segnale e un solo pixel viene acceso dal passaggio della particella. Quale e' la risoluzione spaziale del rivelatore a pixel?
La distribuzione uniforme e' usata estensivamente nelle simulazioni Monte Carlo, dove si trasformano numeri casuali a distribuzione piatta in numeri casuali con qualsivoglia distribuzione
f x =c x1≤xx2
f x=0 xx1, x≥x2
f x= 1x2−x1
x1≤xx2
f x =0 xx1, x≥x2
E x= 1x2−x1
∫x1
x2
x dx=x1x2
2
2x= 1
12 x2−x1
2
28Alessandro De Falco, INFN Cagliari 8/19/09
Distribuzione gaussiana
f x= 1
2exp−1
2x−2
2
La distribuzione gaussiana (o normale) e' data da:
µ=valore medioσ2=varianza La gaussiana e' simmetrica intornoal valore medio
0.68
0.95
0.997
=0=1
∫−
f xdx=0.683
∫−2
2
f xdx=0.955
∫−3
3
f xdx=0.997
Esercizio: calcolare il rapporto tra FWHM e σ(FWHM= larghezza a meta' altezza)
29Alessandro De Falco, INFN Cagliari 8/19/09
Funzione caratteristica della gaussiana
t =E eitx=e
i t−12
2 t2
30Alessandro De Falco, INFN Cagliari 8/19/09
Teorema di addizione per variabili con distribuzione gaussiana
E' spesso utile conoscere la distribuzione di una grandezza che e' funzione di variabili con distribuzione gaussiana.
In particolare, possiamo essere interessati ad una combinazione lineare di variabili distribuite normalmente.
Siano x1 e x2 due variabili casuali con distribuzione normale N(µ1,σ12) e
N(µ2,σ22)
e y=a1x1+a2x2. Calcoliamo le funzioni caratteristiche
Se le variabili sono indipendenti la f. caratteristica e' fattorizzabile
Dunque, una combinazione lineare di due variabili casuali x1 e x2 con
distribuzione normale N(µ1,σ12) e N(µ2,σ2
2), y=a1x1+a2x2 e' anch'essa distribuita con distribuzione normale
a1 x1t =e
a1
1it− 1
2a
12
12 t2
a2 x2t =e
a2
2it−1
2a
22
22 t2
y t =a1 x1t a2 x2
t =ea
1
1a
2
2 it−1
2a
12
12a
22
22 t2
N a11a22, a121
2a2
22
2
31Alessandro De Falco, INFN Cagliari 8/19/09
Teorema del limite centraleSupponiamo di avere n variabili indipendenti xi (i=1,...n) generate
da una distribuzione qualunque avente media µ e varianza σ2.
Per n→∞ la loro media aritmetica tende ad una gaussiana avente media µ e varianza σ2/n.
x=∑i=1
n x i
nf x∝exp−1
2x−2
2/n
32Alessandro De Falco, INFN Cagliari 8/19/09
Somma di n numeri distribuiti uniformemente
Tiriamo un dado. Il valore risultante sara' una variabilecasuale a valori interi distribuita uniformemente tra 1 e 6
Lanciamo il dado n volte e facciamo la media dei risultati. Eseguiamo l'operazione per un certo numero di volte e mettiamo in un istogramma la distribuzione dei valori ottenuti
I grafici riportati sono le distribuzioni ottenute per diversi valori di n
33Alessandro De Falco, INFN Cagliari 8/19/09
Una nota sulla programmazioneMacro di root che produce il grafico della slide precedente
void CLT(Int_t nev=300000){ TCanvas *c1= new TCanvas("c1","c1"); c1>Divide(3,3); for (Int_t n=1; n<=9; n++) { c1>cd(n); THF *h1=new TH1F("h1","",7*n*4,0,7); for (Int_t iev=0; iev<nev; iev++){ Float_t average = 0; for (Int_t isum=0; isum<n; isum++) {
Int_t x = Int_t(gRandom>Rndm()*6) + 1; average += Float_t(x);
} average /=n; h1>Fill(average); } h1>Draw(); char txt[20]; sprintf(txt,"n=%d",n); TText *text = new TText (0.2,h1>GetMaximum()*0.9,txt); text>SetTextSize(0.1); text>Draw(); c1>Update(); }}
}nota: se anziche' sommare tutti gli addendi e poi dividere per n avessi calcolato direttamente la media con average += Float_t(x)/n; il risultato sarebbe stato quello riportato in figura
Esercizio: scrivere un programma che calcola media aritmetica e deviazione standard per ciascuna delle distribuzioni ottenute al variare di n
34Alessandro De Falco, INFN Cagliari 8/19/09
Distribuzioni normali multivariateUna funzione di due variabili indipendenti con distribuzione normale sara' distribuita secondo la:
Se le variabili non sono indipendenti, la distribuzione sara':
f x , y= 12 x y
e−
12
x−x2
x2
e−
12
y−y 2
y2
f x , y= 12 x y1−2
e−
12 1−2
x−x
2
x2
y−y
2
y2
−2 x−x y− y
x
y
35Alessandro De Falco, INFN Cagliari 8/19/09
Distribuzione del χ2
Se {x1, x2, x3, ...xn} sono n variabili distribuite con pdf gaussiana, la quantita'
e' distribuita secondo la:
2=∑
i=1
n xi−i2
i2
f z ,n= zn/2−1 e−z /2
2n /2n /2
Dove la funzione Gamma di Eulero e' definita come:
x1=∫0
∞
t x e−t dt x1=xx 12= 1=1
36Alessandro De Falco, INFN Cagliari 8/19/09
Il numero n e' detto numero di gradi di liberta'.
La distribuzione della somma di due differenti distribuzioni di χ2 con n1 e n2 gradi di liberta'
e' ancora un χ2 con n=n1 + n2
gradi di liberta'
Il valore di aspettazione di un χ2 con n d.o.f. e' pari ad n
La varianza e' pari a 2n.
Densita' di probabilita' del χ2
χ2
χ2
Distribuzione cumulativa del χ2
Ndf = 1,3,5,7,9