counterfactuals and causal inference – ii

Counterfactuals and Causal Inference – II

by Stephen Morgan & Christopher Winship

Barbara Befani & Alessandra Decataldopresentano

Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009

Introduzione

Logica della valutazione o metodo di attribuzione causale utile quando si devono gestire grandi numeri?

Concentrazione del valore dell’intervento su un’unica variabile risultato quantitativa

Logica di base dell’attribuzione causale

LOPC (Lista di cause possibili)

GEM (Metodo generale di eliminazione)


Introduzione (2)

Per attribuire la causalità ci sono almeno otto metodi tutti altrettanto validi che si applicano a seconda delle diverse situazioni:

(i) osservazione diretta (visiva, tattile)

(ii) osservazione riportata (studi di caso)

(iii) inferenza eliminativa (autopsia, guasto meccanico)

(iv) inferenza teorica, basata sull'uso di una teoria o di un'analogia, es. fisica, geologia, astronomia

(v) manipolazione diretta (es. in cucina o in laboratorio)

(vi) esperimenti naturali (metereologia, epidemiologia)

(vii) quasi-esperimenti (medicina, pedagogia)

(viii) RCTs randomizzazione, assegnazione casuale (farmacologia)


Le cose di Patton

But from a philosophy of science perspective, which is where the notion of counterfactuals originated, a counterfactual does not mean a control group or an RCT. So, for example, the General Elimination Method of examining different explanations and seeing which best matches the evidence trail (e.g., forensic or epidemiological science) can still employ counterfactual reasoning. Thus, it is important not to treat RCTs as equivalent to using counterfactual logic. Most counterfactual arguments in philosophy are entirely logical, without data. And it is important to know that counterfactual reasoning is controversial in philosophy of science with both adherents and critics.

Conditional counterfactual reasoning, if x then y, is a form of logic that works well with discretely identifiable and measurable causes and effects within relatively short time periods. In my view, the if x, then y, and if not x, then not y logic of counterfactual conditionality does not work well in complex, dynamic interventions because such logical reductionism can actually distort and misrepresent actual complex system dynamics. Thus, in the philosophical literature on counterfactual reasoning, you will find that most of the examples are specific events and actions with immediate consequences (John shot Robert. Did the shot cause Robert's death? But John was told to shoot Robert by James. Is the primary cause James' command or Robert's shot? And why did James give the command? And why did Robert follow the command? Philosophers can quickly get entangled in sorting out these causal links -- and they use counterfactual reasoning to test out the viability of various causal attributions and links. One sees, however, that if the simple causal question of whether John's shot caused Robert's death becomes a philosophical quagmire, how much more difficult is it to formulate definitive causal chains for complex development interventions?)


Commenti a Veronica

L'obiettivo generale è quello di individuare (misurare l'entità di) l'effetto netto dell'intervento, che può essere letto come il tentativo di individuare le cause del risultato post-intervento (da cosa dipende? Dall'intervento o da altro?). Per essere utilizzato richiede moltissima informazione, moltissima teoria, prevedere gli effetti inattesi, etc. Devi fare un sacco di ipotesi che non sempre sono verificate. Secondo alcuni questo è un limite, secondo altri è un fatto positivo perché "ti spinge" a cercare tutte queste informazioni in altri modi e con altri metodi.

Se serve fare analisi controfattuale piuttosto che qualcos'altro, dipende secondo me da due cose: 1) il tipo di domanda valutativa e 2) il tipo e la qualità delle informazioni / conoscenze disponibili o che si possono raccogliere. E' cmq importante distinguere da logica controfattuale (che è una variante della logica generale dell'attribuzione causale, come ci dice Patton nelle cose che ci ha inviato Nicoletta) e metodi quantitativi per la ricostruzione del controfattuale (di cui parlano Morgan & Winship).


La logica del controfattuale

Voglio stimare l’effetto netto dell’intervento su una popolazione che è più ampia di quella dei trattati

Ipotizzo che i trattati non siano rappresentativi della popolazione per la quale io voglio ottenere informazioni

Opero una netta divisione fra trattati e non trattati e il grosso del lavoro è capire come queste due popolazioni si differenziano

Nel caso pre-post, invece di popolazione parlo di CONTESTO trattato e contesto non trattato


Lo stimatore ingenuo

lo stimatore ingenuo sottrae cavoli a patate, ossia confronta due valori riferiti a entità diverse

δNAIVE -> E(Y1|D=1) – E(Y0|D=0) = la differenza tra il valore osservato sui trattati e il valore osservato sui non trattati

Mancano dei pezzi: il valore che mi interessa è l’effetto netto sull’intera popolazione, composta da (individui simili a i) trattati e (i.s. a i) non trattati = media ponderata tra due effetti: l’effetto sulla popolazione simile ai trattati e l’effetto sulla popolazione simile ai non trattati. L’effetto è (la media di) una differenza tra due valori

δ = π*(δ|D=1) + (1-π)*(δ|D=0)

(Y1-Y0) = π*(Y1-Y0|D=1) + (1-π)*(Y1-Y0|D=0) =

= π*[(Y1|D=1)-(Y0|D=1)] + (1-π)*[(Y1|D=0)-(Y0|D=0)]

E(δ) = π*E[(Y1|D=1)-(Y0|D=1)] + (1-π)*E[(Y1|D=0)-(Y0|D=0)]


La scomposizione dell’effetto netto

E(δ) = δNAIVE + π*E[(Y1|D=1)-(Y0|D=1)] + (1-π)*E[(Y1|D=0)-(Y0|D=0)] – [E(Y1|D=1) - E(Y0|D=0)] =

E(Y1|D=1) - E(Y0|D=0) (differenze empiricamente osservate) -

- [E(Y0|D=1) - E(Y0|D=0)] (differenze di partenza) -

(1-π)*[E(δ|D=1) - E(δ|D=0)] (differenze di progresso durante l’intervento, indip. dalle differenze di partenza)

Se la differenza finale è pari alla differenza di partenza, l’intervento non ha avuto nessun effetto!

Oppure potrebbe aver avuto effetto perché si suppone che senza intervento il gruppo dei trattati sarebbe arretrato

Alle differenze empiricamente osservate devo sottrarre quelle di partenza e la differenza tra le dinamiche proprie di ciascun gruppo durante l’intervento


Randomizzazione (RCTs)

I due gruppi sono equivalenti per costruzione, e ognuno di essi rappresenta l’intera popolazione

Le differenze di partenza sono nulle

Le differenze di dinamica interna durante l’esperimento sono nulle

Quindi la differenza di arrivo mi riflette effettivamente l’effetto

Dinamica durante l’esperimento

Il campione può non essere più casuale per:

Possono cambiare le caratteristiche dei gruppi durante l’esperimento

Uscita dal gruppo (diversa tra i due gruppi - differential attrition) (anche per il matching)

Cross-contamination (i non trattati imitano i trattati)

Hawthorne effect (la consapevolezza di appartenere a un certo gruppo modifica il comportamento)

Doppio cieco (ignoranza del partecipante e di chi somministra) (certo questo è molto più facile in farmacologia…)


Regressione

Stimo il valore della differenza di partenza

E(Y0|D=1) - E(Y0|D=0)

E il valore della differenza tra le dinamiche interne / velocità di progresso durante l’esperimento

(π-1)*[E(δ|D=1) - E(δ|D=0)]

Che poi vado a sottrarre alla differenza tra i valori osservati


Esempi Regressione


Serie StoricheInterventi in cui tutta la popolazione è esposta all’intervento (dati PRE/POST)

I due gruppi sono due contesti, quello PRE e quello POST intervento; devo capire in cosa si differenziano

Dinamica spontanea dei fenomeni fa sì la che il contesto di arrivo non sia lo stesso rispetto a quello di partenza; il contesto cambia.

Devo attribuire la situazione del contesto di arrivo all’intervento o ad altro

Ho due contesti: contesto di partenza (Cp) e contesto di arrivo (Ca)

Il dato in assenza di intervento (non trattati) è riferito a Cp

Il dato in presenza di intervento (trattati) è riferito a Ca

E(δ) = E(Y1|Ca) - E(Y0|Cp) (differenze empiricamente osservate) –

[E(Y0|Ca) - E(Y0|Cp)] (differenze di partenza) –

(1-π)*[E(δ|Ca) - E(δ|Cp)] (differenze di sensibilità all’intervento dei due contesti, indip. dalle differenze di partenza)


Esempi Serie Storiche


Costruire un gruppo di controllo tramite

matchingPer rendere comparabili i due gruppi si costruisce un gruppo di controllo in cui ogni componente ha un corrispondente nel gruppo sperimentale

Matching rispetto a cosa? Come faccio a sapere quali sono le variabili causalmente rilevanti?

Mi serve tanta teoria

Il gruppo di controllo somiglia ai trattati!

Non mi stima né le differenze di baseline (perché non ho informazioni sui non trattati, cioè sul totale o su un campione rappresentativo dei non trattati) né le differenze di velocità di crescita, perché mi manca sempre uno dei due gruppi

Mi serve per stimare E(Y0|D=1), quindi E(δ|D=1), ovvero l’effetto netto medio sulla popolazione di cui sono rappresentativi i trattati, non su tutta

Funziona solo se i trattati sono rappresentativi di tutta la popolazione a cui si vuole generalizzare l'intervento

A volte non riesco a fare il matching neanche dei trattati perché non esistono individui comparabili con tutti i trattati (vedi esempio Trivellato)


counterfactuals and causal inference – ii

Documents