naturlige eksperimenter: hvorfor, hvornår og hvordan...

Velkommen Eksperimenter Begrænsninger Naturlige eksperimenter John Snow RDD Eksempel Afrunding

Naturlige eksperimenter: Hvorfor, Hvornår og Hvordan?Dansk Evalueringsselskab, 19. september 2013

Asmus Leth Olsen

Institut for Statskundskab, Københavns Universitet

Asmus Leth Olsen (Københavns Universitet) Naturlige Eksperimenter: Hvorfor, Hvornår og Hvordan? Dansk Evalueringsselskab 2013 1 / 52

Dagens program:• Hvem er jeg? Hvem er i?• Dagens program• Den eksperimentelle metode• Eksperimentets begrænsninger• Design vs. model• Naturlige eksperimenter• Eksempler• Regressionsdiskontinuitetsdesignet

Hvem er Asmus Leth Olsen

1 Ph.D. fra Institut for Statskundskab,KU og ansat samme sted somadjunkt

2 Forsker i den offentlige sektor ogoffentlige politik med fokus påkognitiv psykologi og socialpsykologi

3 Fokus på kausale effekter viaekspeirmenter og naturligeeksperimenter

4 Kommer med populærvidenskabeligbog 21. oktober: www.poligak.dk

Min egen forskning

Studier af den offentlige sektor med afsæt i psykologiske teori og eksperimentelle metoder:

1 Hvordan kan politiske og administrative eliter bruge tal strategisk?

2 Hvilke systematisk fejl opstår, når borgerne danner holdning og handler på bagrund af tal?

3 Hvordan påvirker sociale og historiske sammenligner borgernes/politikernes opfattelse afperformance?

4 Hvad sker der i hovedet på folk i forbindelse med gode/dårlige oplevelser med detoffentlige?

Min egen forskning

Studier af den offentlige sektor med afsæt i psykologiske teori og eksperimentelle metoder:

1 Hvordan kan politiske og administrative eliter bruge tal strategisk?

2 Hvilke systematisk fejl opstår, når borgerne danner holdning og handler på bagrund af tal?

3 Hvordan påvirker sociale og historiske sammenligner borgernes/politikernes opfattelse afperformance?

4 Hvad sker der i hovedet på folk i forbindelse med gode/dårlige oplevelser med detoffentlige?

Mit håb for de næste 3 timer

1 At vise at det traditionelle eksperiment kun er en meget abtrakt guldstandard

2 At forklare hvorfor naturlige eksperimenter kan bruges som erstatning

3 At vise hvornår vi skal tænke på naturlige eksperimenter i praksis

4 At klargøre hvordan naturlige eksperimenter kan bruges (herunderregressionsdiskontinuitetsdesignet)

Det er forbandet svært at vise kausale effekter i samfundsvidenskaberne...

Eksperimenter

Guldstandarden“Experiment is the sole source of truth. It alone can teach us something new; it alone can giveus certainty.” — Henri Poincare, 1902

Måder at tænke på data

Det “gamle” syn:

1 Data kan være eksperimentelle eller observationelle2 Eksperimentelle er de eneste egnet til at studere kausale forhold

Det “nye2 syn:

1 Data placerer sig på en skala fra mere til mindre egnet til måle kausale effekter2 Naturlige eksperimentelle design er formelt set observationelle, men kan være at

foretrække til kausale spørgsmål pga. højere ekstern validitet

Måder at tænke på data

Det “gamle” syn:

1 Data kan være eksperimentelle eller observationelle2 Eksperimentelle er de eneste egnet til at studere kausale forhold

Det “nye2 syn:

1 Data placerer sig på en skala fra mere til mindre egnet til måle kausale effekter2 Naturlige eksperimentelle design er formelt set observationelle, men kan være at

foretrække til kausale spørgsmål pga. højere ekstern validitet

Brush-up: Hvad gør eksperimentet “godt”

1 Vi bestemmer hvem der modtager interventionen og hvem der ikke gør.

2 Med andre ord: Vi bestemmer sammensætningen af interventions- og kontrolgruppe

3 Vi gør dette ved udfra et tilfældighedsprincip

4 Med andre ord: Vi sikrer, at alle har sammen sandsynlighed for at modtage interventionen

5 Hermed kan vi forvente, at kontrol- og interventionsgruppen er ens mht. alt andet endderes interventionsstatus

6 Vi kan nu opfatte forskelle i outcomes mellem kontrol- og interventionsgruppen som dengennemsnitlige effekt af vores intervention

Eksperimenters eksterne validtet

1 Personer: I hvilket omfang undersøges personer, der minder om dem, der almindeligvismodtager stimuli?

2 Kontekster/tid: I hvilket omfang tildeles interventionen i en kontekst/tid, der afspejlerden virkelige verden, vi er interesserde i?

3 Interventioner: I hvilket omfang afspejler interventionen den stimuli fra den virkeligeverden, vi er interesserde i?

4 Outcomes: I hvilket omfang udgøre outcome-målet en relevant indikator for de udfald, viønsker at studere?

Jeres erfaringer

I den bedste af alle verdner“what experiment would you run if you were dictator and has infinite resources?”

— Dorn, 1953

Hvilket eksperiment ville I lave inden for jeres område, hvis iHELT selv kunne bestemme og havde alle ressourcer i verden?

Jeres erfaringer

I den bedste af alle verdner“what experiment would you run if you were dictator and has infinite resources?”

— Dorn, 1953

Hvilket eksperiment ville I lave inden for jeres område, hvis iHELT selv kunne bestemme og havde alle ressourcer i verden?

Eksperimentets begrænsninger

“(a) the cost of performing the equivalent randomized experiment to test all treatments is prohibitive(e.g., 100 reading programs under study); (b) there are ethical reasons why the treatments cannot berandomly assigned (e.g., estimating the effects of heroin addiction on intellectual functioning); or (c)estimates based on results of experiments would be delayed many years (e.g., effect of childhood intakeof cholesterol on longevity).” — Donald P. Rubin, 1974

• Økonomiske hensyn• Etiske hensyn• Tidspres hensyn• Politiske hensyn (“under the cloak of ignorance”)• Eksterne validitetshensyn

“(a) the cost of performing the equivalent randomized experiment to test all treatments is prohibitive(e.g., 100 reading programs under study); (b) there are ethical reasons why the treatments cannot berandomly assigned (e.g., estimating the effects of heroin addiction on intellectual functioning); or (c)estimates based on results of experiments would be delayed many years (e.g., effect of childhood intakeof cholesterol on longevity).” — Donald P. Rubin, 1974

• Økonomiske hensyn• Etiske hensyn• Tidspres hensyn• Politiske hensyn (“under the cloak of ignorance”)• Eksterne validitetshensyn

Jeres erfaringer

Hvilke typer af begrænsninger vil der være for at anvendeeksperimenter inden for jeres område?

Svære spørgsmål for et eksperiment

Hver er den kausale effekt af ideologi?• Eks.: Er socialdemokratiske regeringer mere økonomisk ansvarlige end borgerligeregeringer?

Hver er den kausale effekt af resultatmålinger?• Eks.: Sikrer negativ omtale af offentlige organisationer bedre performance?

Hver er den kausale effekt af størrelsen på politisk-administrative enheder?• Eks.: Giver større kommuner mere tilfredse borgere?

Hver er den kausale effekt af uddannelse?• Eks.: Giver uddannelse mere politisk deltagelse?

Hvad gør vi så?

Hvad gør vi, når guldstandarden ikke kan komme i spil?“Clear, manipulable treatments and rigorous designs are essential. And the only designsI know of that can be mass produced with relative success rely on random assignment.Rigorous observational studies are important and needed. But I do not know how tomass produce them. — Jaseet Sekhon, 2009

Når eksperimentet er udelukket:1 Opgive kausalitet med observationelle data. NEJ! Samfundsmæssigt utilfredsstillende!2 Modellere os ud af problemerne (f.eks. regressionsmodeller). NEJ! For svage teorier og

for dårlige data!3 Finde et egnet naturligt eksperiment. JA! Men hvordan?

Hvad gør vi så?

Når eksperimentet er udelukket:1 Opgive kausalitet med observationelle data.

NEJ! Samfundsmæssigt utilfredsstillende!2 Modellere os ud af problemerne (f.eks. regressionsmodeller). NEJ! For svage teorier og

Hvad gør vi så?

Når eksperimentet er udelukket:1 Opgive kausalitet med observationelle data. NEJ! Samfundsmæssigt utilfredsstillende!

2 Modellere os ud af problemerne (f.eks. regressionsmodeller). NEJ! For svage teorier ogfor dårlige data!

3 Finde et egnet naturligt eksperiment. JA! Men hvordan?

Hvad gør vi så?

Når eksperimentet er udelukket:1 Opgive kausalitet med observationelle data. NEJ! Samfundsmæssigt utilfredsstillende!2 Modellere os ud af problemerne (f.eks. regressionsmodeller).

NEJ! For svage teorier ogfor dårlige data!

Hvad gør vi så?

for dårlige data!

Hvad gør vi så?

for dårlige data!3 Finde et egnet naturligt eksperiment.

JA! Men hvordan?

Hvad gør vi så?

Design vs. model til kausale slutninger

Vi bruger statistiske modeller, når vi er i kausale problemer.“If your result needs a statistician then you should design a better experiment.”

— Ernest Rutherford

Bedre tjent med at løse problemer i designfasen end i modelleringsfasen.“You can’t fix by analysis what you bungled by design.”

— Light, Singer, and Willett, 1990

Statistiske modeller kan aldrig i sig selv bære den kausale bevisbyrde.“no amount of econometric or statistical modeling can make the move from correlation tocausation persuasive.”

— Jaseet Sekhon, 2009

Naturlige eksperimenter

“In the first place, our customs and laws limit the extent to which human beings can be usedin deliberate experiments which may endanger their health and well-being. Consequently, oneoften must await the outcome of natural uncontrolled experiments to obtain data to answer aparticular question.” — Harold F. Dorn, 1953

Naturlige eksperimenter – nogle definitioner

“A quasi-experiment is a study that takes place in a field setting and involves a change in akey independent variable of interest but relaxes one or both of the defining criteria oflaboratory and field experiments: random assignment to treatment conditions and controlledmanipulation of the independent variable” — Adam M. Grant and Toby D. Wall, 2008

“a study in which the assignment of treatments to subjects is haphazard and possibly random”— Jasjeet S. Sekhon and Rocio Titiunik, 2012

“a situation in which an intervention of ”nature” approximates the property of a controlledexperiment..” — Gregory Robinson, John E. McNulty, and Jonathan S. Krasno, 2009

“observational data generated by acts of nature that are close to the types of interventions ormanipulations that an experimentalist would choose if he or she could.” — Morton og Williams,2010Asmus Leth Olsen (Københavns Universitet) Naturlige Eksperimenter: Hvorfor, Hvornår og Hvordan? Dansk Evalueringsselskab 2013 20 / 52

Eksperimenter vs. naturlige eksperimenter

Det unaturlige eksperiment:1 intervention foretaget af undersøgeren2 forskerrolle: designe interventioner3 klare kontrol- og forsøgsgrupper4 random assignment5 Mange forskellige designs:

Labeksperimenter, surveyeksperimenter,felteksperimenter.

Det naturlige eksperiment:1 intervention fra “naturens” hånd2 forskerrolle: afsøge interventioner3 ofte uklare kontrol- og forsøgsgrupper4 “as if” random assignment5 Mange forskellige designs: RDD, IV,

matching, Diff-in-diff, Interupted timeseries mv.

Eksperimenter vs. naturlige eksperimenter

Det unaturlige eksperiment:1 intervention foretaget af undersøgeren2 forskerrolle: designe interventioner3 klare kontrol- og forsøgsgrupper4 random assignment5 Mange forskellige designs:

Labeksperimenter, surveyeksperimenter,felteksperimenter.

Det naturlige eksperiment:1 intervention fra “naturens” hånd2 forskerrolle: afsøge interventioner3 ofte uklare kontrol- og forsøgsgrupper4 “as if” random assignment5 Mange forskellige designs: RDD, IV,

matching, Diff-in-diff, Interupted timeseries mv.

Eksperimenter og naturlige eksperimenter:Tre-dimensionelt-vurderingskriterium

“All statistical studies for causal effects are seeking the same type of answer, and real worldrandomized experiments and comparative observational studies do not form a dichotomy, butrather are on a continuum, from well-suited for drawing causal inferences to poorly suited.” —Donald B. Rubin, 2008

1 Hvor troværdig er antagelsen om tilnærmelsesvis tilfældig tildeling af intervetionen?2 Hvor relevant er interventionen (for den teoretiske effekt vi ønsker at belyse)?3 Hvor troværdig er den anvendte statistiske model?

Eksperimenter og naturlige eksperimenter:Tre-dimensionelt-vurderingskriterium

“All statistical studies for causal effects are seeking the same type of answer, and real worldrandomized experiments and comparative observational studies do not form a dichotomy, butrather are on a continuum, from well-suited for drawing causal inferences to poorly suited.” —Donald B. Rubin, 2008

1 Hvor troværdig er antagelsen om tilnærmelsesvis tilfældig tildeling af intervetionen?2 Hvor relevant er interventionen (for den teoretiske effekt vi ønsker at belyse)?3 Hvor troværdig er den anvendte statistiske model?

Hvad er “naturen” i naturlige eksperimenter?

“Unlike true experiments, the data used in natural experiments come from naturally occurringphenomena – actually, in the social sciences, from phenomena that are often the product ofsocial and political forces.” — Dunning, 2008

Eksempler:1 Lodtrækninger i den virkelig verden (Lotto, militærtjeneste, forsøgsordninger, osv.)2 Naturen (Variationer i vejr, jordskælv, tørke, osv.)3 Regeringsinterventioner (Rygeforbud, efterlønsindgreb, dagpenge, osv.)4 Politiske og økonomiske forandriger (Valg, oprør, kriser, osv.)

Eksempler:1 Lodtrækninger i den virkelig verden (Lotto, militærtjeneste, forsøgsordninger, osv.)

2 Naturen (Variationer i vejr, jordskælv, tørke, osv.)3 Regeringsinterventioner (Rygeforbud, efterlønsindgreb, dagpenge, osv.)4 Politiske og økonomiske forandriger (Valg, oprør, kriser, osv.)

Eksempler:1 Lodtrækninger i den virkelig verden (Lotto, militærtjeneste, forsøgsordninger, osv.)2 Naturen (Variationer i vejr, jordskælv, tørke, osv.)

3 Regeringsinterventioner (Rygeforbud, efterlønsindgreb, dagpenge, osv.)4 Politiske og økonomiske forandriger (Valg, oprør, kriser, osv.)

Eksempler:1 Lodtrækninger i den virkelig verden (Lotto, militærtjeneste, forsøgsordninger, osv.)2 Naturen (Variationer i vejr, jordskælv, tørke, osv.)3 Regeringsinterventioner (Rygeforbud, efterlønsindgreb, dagpenge, osv.)

4 Politiske og økonomiske forandriger (Valg, oprør, kriser, osv.)

Eksempler:1 Lodtrækninger i den virkelig verden (Lotto, militærtjeneste, forsøgsordninger, osv.)2 Naturen (Variationer i vejr, jordskælv, tørke, osv.)3 Regeringsinterventioner (Rygeforbud, efterlønsindgreb, dagpenge, osv.)4 Politiske og økonomiske forandriger (Valg, oprør, kriser, osv.)

Fordele ved det perfekte naturlige eksperiment:

1 Ingen etiske problemer: ’Naturen’ er jo designeren.

2 Ingen politiske problemer: Ingen kan forhindre en i at undersøge dem.

3 Høj ekstern validitet: Komplekse og realistiske treatment: ’rigtige’ treatments — fra denvirkelige verden

4 Færre logistiske/økonomiske problemer: Retrospective studier

5 Kausale effekter fra fortiden: Historien som datagrundlag - ikke kun fremtiden

Det eksperimentelle design i baghovedet“It is essential that we always keep in mind the model of a controlled experiment, even ifin pratice we may to deviate from an ideal model.....an ideal to keep in the forefront ofour minds even when by necessity some cells are missing from our design....Though wecannot always design neat experiments when we want to, we can at least keep theexperimental model in front of our eyes and behave cautiously.” — Stouffer, 1950

• Tænke altid kausale spørgsmål ud fra et eksperimentelt design.• Selv når eksperimentet ikke er muligt.• Hvilket eksperiment ville have være det ideelle?• Hvordan adskiller mine observationelle data sig fra det ideelle experiment?

Det eksperimentelle design i baghovedet“It is essential that we always keep in mind the model of a controlled experiment, even ifin pratice we may to deviate from an ideal model.....an ideal to keep in the forefront ofour minds even when by necessity some cells are missing from our design....Though wecannot always design neat experiments when we want to, we can at least keep theexperimental model in front of our eyes and behave cautiously.” — Stouffer, 1950

• Tænke altid kausale spørgsmål ud fra et eksperimentelt design.• Selv når eksperimentet ikke er muligt.• Hvilket eksperiment ville have være det ideelle?• Hvordan adskiller mine observationelle data sig fra det ideelle experiment?

Hvad gør man så i praksis?

“Outcomes are compared across treatment and control groups, and both a priorireasoning and empirical evidence are used to validate the assertion of randomization.” —Dunning, 2008

Hvordan?• Tålmodighed: Søge og finde egnede observationel datakilder• Forstå data-genereringsprocessen; selvselektion og confounders• Finde en passende kontrolgruppe (oftest observerer vi interventionen)• Vise at “treatment-” og “kontrolgrupperne” er ens på observerbare variable

Okay. Hvor er vi endt op?

“True experimentation should almost always be preferred to quasi-experiments where both areavailable. Only occasionally are the threats to external validity so much greater for the trueexperiment that one would prefer a quasi-experiment.” — Campbell, 1973

1 Strengt formelt er eksperimentet stadig guldstandarden

2 Men: Strengt formelt = vi er gud og har ingen moral

3 Defor: I praksisk kan et naturligt eksperiment godt være at fortrække sammenlignet meddet bedste mulige og etiske acceptable eksperiment

Okay. Hvor er vi endt op?

“True experimentation should almost always be preferred to quasi-experiments where both areavailable. Only occasionally are the threats to external validity so much greater for the trueexperiment that one would prefer a quasi-experiment.” — Campbell, 1973

1 Strengt formelt er eksperimentet stadig guldstandarden

2 Men: Strengt formelt = vi er gud og har ingen moral

3 Defor: I praksisk kan et naturligt eksperiment godt være at fortrække sammenlignet meddet bedste mulige og etiske acceptable eksperiment

John Snow - Fyldte 200 år den 15. marts 2013

John Snow - “det naturlige eksperiments fader”

• Har en kausal hypotese om at kolera smitter gennem beskidt vand.

• Praktiske, etiske, og politiske hensyn umuliggør et eksperiment.• Et kolera udbbrud i August 1853 i London giver et naturligt eksperiment• Vandværket Lambeth har i 1852 flyttet deres vandkilde• Servicerer samme område som Southwark and Vauxhall, der ikke har flyttet vandkilde

• Har en kausal hypotese om at kolera smitter gennem beskidt vand.• Praktiske, etiske, og politiske hensyn umuliggør et eksperiment.

• Et kolera udbbrud i August 1853 i London giver et naturligt eksperiment• Vandværket Lambeth har i 1852 flyttet deres vandkilde• Servicerer samme område som Southwark and Vauxhall, der ikke har flyttet vandkilde

• Har en kausal hypotese om at kolera smitter gennem beskidt vand.• Praktiske, etiske, og politiske hensyn umuliggør et eksperiment.• Et kolera udbbrud i August 1853 i London giver et naturligt eksperiment

• Vandværket Lambeth har i 1852 flyttet deres vandkilde• Servicerer samme område som Southwark and Vauxhall, der ikke har flyttet vandkilde

• Har en kausal hypotese om at kolera smitter gennem beskidt vand.• Praktiske, etiske, og politiske hensyn umuliggør et eksperiment.• Et kolera udbbrud i August 1853 i London giver et naturligt eksperiment• Vandværket Lambeth har i 1852 flyttet deres vandkilde

• Servicerer samme område som Southwark and Vauxhall, der ikke har flyttet vandkilde

• Har en kausal hypotese om at kolera smitter gennem beskidt vand.• Praktiske, etiske, og politiske hensyn umuliggør et eksperiment.• Et kolera udbbrud i August 1853 i London giver et naturligt eksperiment• Vandværket Lambeth har i 1852 flyttet deres vandkilde• Servicerer samme område som Southwark and Vauxhall, der ikke har flyttet vandkilde

John Snow - “det naturlige eksperiments fader” II

Overbevisende “as if”-random argument for “data generating process”“The districts supplied by the Lambeth Company are, how ever, also supplied, to a certain extent, by the Southwark andVauxhall Company, the pipes of both companies going dow n every street, in the places where the supply is mixed, as was previously stated. In consequence of this intermixing of the water supply, the effect of the alteration made by theLambeth Company on the progress of cholera was not so evident, to a cursory observer, as it would otherwise have been.”

— John Snow, 1855

Ekstern validitet og selv-selektion“The experiment, too, was on the grandest scale. No few er than three hundred thousand people of both sexes, of everyage and occupation, and of every rank and station, from gentlefolks down to the very poor, were divided into tw o groupswithout their choice, and, in most cases, without their know ledge; one group being supplied w ith water containing thesew age of London, and, amongst it, whatever might have come from the cholera patients, the other group having waterquite free from such impurity.” — John Snow, 1855

John Snow - “det naturlige eksperiments fader” II

Overbevisende “as if”-random argument for “data generating process”“The districts supplied by the Lambeth Company are, how ever, also supplied, to a certain extent, by the Southwark andVauxhall Company, the pipes of both companies going dow n every street, in the places where the supply is mixed, as was previously stated. In consequence of this intermixing of the water supply, the effect of the alteration made by theLambeth Company on the progress of cholera was not so evident, to a cursory observer, as it would otherwise have been.”

— John Snow, 1855

Ekstern validitet og selv-selektion“The experiment, too, was on the grandest scale. No few er than three hundred thousand people of both sexes, of everyage and occupation, and of every rank and station, from gentlefolks down to the very poor, were divided into tw o groupswithout their choice, and, in most cases, without their know ledge; one group being supplied w ith water containing thesew age of London, and, amongst it, whatever might have come from the cholera patients, the other group having waterquite free from such impurity.” — John Snow, 1855

John Snow - “det naturlige eksperiments fader” III

Empirisk vise at kontrol og treatment er ens på observerbare forhold“In many cases a single house has a supply different from that on either side. Each company supplies both rich and poor,both large houses and small; there is no difference either in the condition or occupation of the persons receiving the waterof the different Companies. Now it must be evident that, if the diminution of cholera, in the districts partly supplied withthe improved water, depended on this supply, the houses receiving it would be the houses enjoying the whole benefit ofthe diminution of the malady, whilst the houses supplied with the water from Battersea Fields would suffer the samemortality as they would if the improved supply did not exist at all...As there is no difference whatever, either in the housesor the people receiving the supply of the two Water Companies, or in any of the physical conditions with which they aresurrounded, it is obvious that no experiment could have been devised which would more thoroughly test the effect ofwater supply on the progress of cholera than this, which circumstances placed ready made before the observer.”

— John Snow, 1855

Regressionsdiskontinuitetsdesignet: Tærskelvariable og tærskelværdier

Hvis vi kunne modellere selektion

“if the selection process could be completely known and perfectly measures, then one couldadjust for differences in selection to obtain an unbiased estimate of treatment effect. In theorythese conditions are met in both RD and the randomized expriment, and so both designs canbe viewed as special (succesfull) cases of selection bias modelling.”

— Shadish, Cook, Campbell 2007: 224

Tærskelvariable og tærskelværdier

Politisk magt• Nyup vandt valget i 1998 med lidt over 176 stemmer.• Helle Thorning-Schmidt fik 38 mere end John Iversen ved Europaparlamentet 1999

Uddannelsesmuligheder• Alle med et snit på 10.9 kunne læse statskundskab på KU i 2013 – alle andre kunne ikke.

Offentlig ydelser• Folk født før 1. juli 1954 pensioneres et halvt år tidligere end alle andre.

Offentlig regulering• Hvis en by har under 200 indbyggere, må den ikke længere kalde sig for “by”.

Jeres erfaringer

Er der lignende skarpe målbare regler eller kriterier inden for jeresarbejdsområder?

Regressionsdiskontinuitetsdesignet (RDD)

• RDD er et eksempel på et naturligt eksperimentelt design

• Intiuitivt nemt at forstå (mormor og morfar forstår det)

• Kan være relativt “nemt” at modellere statistisk

• Kan give resultat, der ligger tæt ved eksperimentelle benchmarks

Men overraskende lidt brugt....“Waiting for Life to Arrive”: A history of the regression-discontinuity design in Psychology,Statistics and Economics” — Cook 2008

Regressionsdiskontinuitetsdesignet (RDD): Centrale begreber

• Tærskelvariabel: en observerbar variabel, der deterministisk opdeler observationer iforsøgs- og kontrolgrupper

• Tærskelværdi: punkt på tærskelvariablen, hvor treatment deterministisk “slås til”

• For Tærskelvariablen x er tærskelværdien givet ved punktet x0

Assignment ={Kontrol: x<x0Treatment: x≥x0

• Eksempel for simpelt almindelig flertalsvag med to kandidater:

Vaglsejr ={Kontrol(0): Stemmeandel<50%Treatment (1): Stemmeandel ≥ 50%

Regressionsdiskontinuitetsdesignet (RDD): Antagelser

• Omkring tærskelværdien er det “as if” random om observatiner er havnet på den ene elleranden side

• Dvs. Ingen mulighed for selvselektion eller aktiv selektion fra andre ud fra tærskelværdier

• Det betyder i praksis: At dem lige over og under tærskelværdien er ens på allefør-interventionsvariable

Regressionsdiskontinuitetsdesignet (RDD): Modellering

• Stadig ingen best practice eller quick-fix for modellering

• I den bedste af alle verdner kan vi sammenligne forskelle i outcomes omkringtærskelværdien

• Typisk modellerer man forskellige funktionelle former for tærskelvariablen

Eksperimenter vs. RDD

Det unaturlige eksperiment:1 intervention af forsker2 forskerrolle: designe interventioner3 random assignment4 “lykkelig uvidenhed” om assignment5 Sammenligning af kontrol og

treatment-grupper

Regression discontinuity design :1 intervention fra “naturens” hånd / eller

fra forsker2 forskerrolle: afsøge tærskevariable / bruge

tærskelvariable til fordeling af treatments3 “as if” random assignment omkring

tærkelværdier4 “deterministisk” perfekt viden om

assignment5 Sammenligne observationer tæt ved

tærskelværdien / modelleretærskelvariablen

Eksperimenter vs. RDD

Det unaturlige eksperiment:1 intervention af forsker2 forskerrolle: designe interventioner3 random assignment4 “lykkelig uvidenhed” om assignment5 Sammenligning af kontrol og

treatment-grupper

Regression discontinuity design :1 intervention fra “naturens” hånd / eller

fra forsker2 forskerrolle: afsøge tærskevariable / bruge

tærskelvariable til fordeling af treatments3 “as if” random assignment omkring

tærkelværdier4 “deterministisk” perfekt viden om

assignment5 Sammenligne observationer tæt ved

tærskelværdien / modelleretærskelvariablen

Olsen 2013: RDD og resultatmålinger

• Resultatmålinger har et indbygget trade-off mellem validitet/reliabilitet vs.forståelighed/tilgængelighed

• Derfor: Komplekse resulatatmålinger oversættes til simple præsentationer for borgere ogbeslutningstagere

• Denne "oversættelse" giver mulighed for at bruge RDD

●●

●●●

●●

●●●

●●

0 20 40 60 80 100

School league table placement (t−1)

●●

Placement inside top 50

Placement outside top 50

Olsen 2013: RDD og resultatmålinger

• Resultatmålinger har et indbygget trade-off mellem validitet/reliabilitet vs.forståelighed/tilgængelighed

• Derfor: Komplekse resulatatmålinger oversættes til simple præsentationer for borgere ogbeslutningstagere

• Denne "oversættelse" giver mulighed for at bruge RDD

●●

●●●

●●

●●●

●●

0 20 40 60 80 100

School league table placement (t−1)

●●

Placement inside top 50

Placement outside top 50

Effect af ’Naming og Shaming’ via resultatmålinger?

• Eksempel: De danske ligestillingsrapporter fra www.ligestillingidanmark.dk:

• Rød: Få initiativer/dårlige resultater, Gul: nogle initiativer/resultater, Grøn: mangeinitiativer/gode resultater

Anvendelsen

Ligestillingsscore =

Rød label: ≤ 29.99Gul label: ≥ 30 ; ≤ 54.99Grøn label: ≥ 55

0 20 40 60 80

Gender Equality Score 2003

Red Label

Yellow Label

Green Label

Anvendelsen

Ligestillingsscore =

Rød label: ≤ 29.99Gul label: ≥ 30 ; ≤ 54.99Grøn label: ≥ 55

0 20 40 60 80

Gender Equality Score 2003

Red Label

Yellow Label

Green Label

●●

●●●

●●

● ●

●●

● ●●

●●

● ●

●●

● ●

●●

● ●

●●

● ●

●●

● ●

●●

●●●

●●

0 20 40 60 80

Gender Equality Policy 2003

3−20

05 Red Yellow Green

●●

●●●

●●

● ●

●●

● ●●

●●

● ●

●●

● ●

●●

● ●

●●

● ●

●●

● ●

●●

●●●

●●

0 20 40 60 80

3−20

05 Red Yellow Green

●●

●●●

●●

● ●

●●

● ●●

●●

● ●

●●

● ●

●●

● ●

●●

● ●

●●

● ●

●●

●●●

●●

0 20 40 60 80

3−20

05 Red Yellow Green

●●

●●●

●●

● ●

●●

● ●●

●●

● ●

●●

● ●

●●

● ●

●●

● ●

●●

● ●

●●

●●●

●●

0 20 40 60 80

3−20

05 Red Yellow Green

●●

●●●

●●

● ●

●●

● ●●

●●

● ●

●●

● ●

●●

● ●

●●

● ●

●●

0 20 40 60 80

Gender Policy Score 2003

3−20

05 Red Yellow Green

●●

● ●

●●

●●●

●●

0 20 40 60 80

3−20

05 Red Yellow Green

• Naming og shaming via ligestillingsrapporterne har ikke haft effekter på den efterfølgendemålte ligestilling

• Resultatmålinger kan også være virkningsløse i forhold til målbare forbedringer

●●

●●●

●●

● ●

●●

● ●●

●●

● ●

●●

● ●

●●

● ●

●●

● ●

●●

0 20 40 60 80

3−20

05 Red Yellow Green

●●

● ●

●●

●●●

●●

0 20 40 60 80

3−20

05 Red Yellow Green

• Resultatmålinger kan også være virkningsløse i forhold til målbare forbedringer

●●

●●●

●●

● ●

●●

● ●●

●●

● ●

●●

● ●

●●

● ●

●●

● ●

●●

0 20 40 60 80

3−20

05 Red Yellow Green

●●

● ●

●●

●●●

●●

0 20 40 60 80

3−20

05 Red Yellow Green

• Resultatmålinger kan også være virkningsløse i forhold til målbare forbedringerAsmus Leth Olsen (Københavns Universitet) Naturlige Eksperimenter: Hvorfor, Hvornår og Hvordan? Dansk Evalueringsselskab 2013 45 / 52

●●

●●●

●●

● ●

●●

● ●●

●●

● ●

●●

● ●

●●

● ●

●●

● ●

●●

0 20 40 60 80

3−20

05 Red Yellow Green

●●

● ●

●●

●●●

●●

0 20 40 60 80

3−20

05 Red Yellow Green

• Resultatmålinger kan også være virkningsløse i forhold til målbare forbedringerAsmus Leth Olsen (Københavns Universitet) Naturlige Eksperimenter: Hvorfor, Hvornår og Hvordan? Dansk Evalueringsselskab 2013 45 / 52

Studier med sammme RDD-logik• Rankings for universiteter og hospitaler (Pope et al. 2011)

• YELP-stjerner og restaurantomsætning (Anderson et al. 2011)

Studier med sammme RDD-logik• Rankings for universiteter og hospitaler (Pope et al. 2011)

• YELP-stjerner og restaurantomsætning (Anderson et al. 2011)

Hopkins 2011: Translating into Votes: The Electoral Impacts ofSpanish-Language Ballots

Ludwig & Miller 2007: Does Head Start Improve Childrens’s LifeChances? Evidence From A Regression Discontinuity Design

Kritik af RDD

• Effekterne er kun observationer tæt ved tærskelværdien (Local average treatment effect)

• Lav “power” – kræver meget data

• Gaming: aktørerne mulighed for at komme på den rigtige side af tærskelværdierne

• Manglende viden om tærskelvariablen (hemmelige eller uformelle)

Kritik af RDD

Hvad var de vigtigste pointer?

1 Eksperimenter er guldstandarden i en verden uden etiske, politiske og økonomiske grænser— men med en stærk gud

2 Naturlige eksperimenter ikke kun sølvstandard men ofte faktisk de-facto guldstandardp.g.a. eksperimentets begrænsninger

3 Naturlige eksperimenter kræver fantasi og hårdt arbejde fra undersøgers side

4 RDD er et eksempelt på et stærkt men også meget underudnyttet naturligteksperimentelt design

Mine slides byggede bl.a. på

1 Campbell, D. T., & Stanley, J. L. (1966). Experimental and quasi-experimental designsfor research. Chicago: Rand McNally

2 Druckman et. al (2011). Cambridge Handbook of Experimental Political Science.

3 Dunning, T. (2008). Improving Causal Inference: Strengths and Limitations of NaturalExperiments. Political Research Quarterly, 61 (2), 282–293.

4 Freedman, D. A. (1991). Statistical Models and Shoe Leather. Sociological Methodology,21, 291-313.

5 Grant, A. M. and T. D. Wall (2009). The Neglected Science and Art ofQuasi-Experimentation Why-to, When-to, and How-to Advice for OrganizationalResearchers. Organizational Research Methods, 12 (4), 653-686.

Tak for i dag...læs mere på:

www.poligak.dkwww.asmusolsen.com

naturlige eksperimenter: hvorfor, hvornår og hvordan...

Documents