experiment och fältexperiment - kth · 1 experiment och fältexperiment eva-lotta sallnäs ph.d....

34
1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan [email protected] Hypotetisk-deduktiv metod Positivism Utgår från en teori för att formulera en hypotes. Hypotesprövande: testa om en utsaga om en relation mellan två el. flera fenomen stämmer med observationer. Kunskap ackumuleras genom att många studier görs i vilka olika hypoteser testas som ringar in ett problemområde samt genom replikation. Nackdelar Resultaten förklarar ett väldigt smalt problemområde. Svårigheter med att definiera och operationalisera variabler. Fördelar Generell kunskap genom att testa en fokuserad fråga (stort urval personer). Testa kausala samband i kontrollerade experiment.

Upload: others

Post on 27-Feb-2021

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

1

Experiment och fältexperiment

Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Hö[email protected]

Hypotetisk-deduktiv metod Positivism

Utgår från en teori för att formulera en hypotes.

Hypotesprövande: testa om en utsaga om en relation mellan två el. flera fenomenstämmer med observationer.

Kunskap ackumuleras genom att många studier görs i vilka olika hypoteser testassom ringar in ett problemområde samt genom replikation.

NackdelarResultaten förklarar ett väldigt smalt problemområde.Svårigheter med att definiera och operationalisera variabler.

FördelarGenerell kunskap genom att testa en fokuserad fråga (stort urval personer).Testa kausala samband i kontrollerade experiment.

Page 2: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

2

Vad är en teori?

En samling satser som beskriver vad som finns i världen samt vilka samband som rådermellan olika företeelser.

Existenssatser är påståenden om vad som finns eller vad som har inträffat i världen.

Relationssatser uttalar sig om relationer mellan händelser och föremål.

Korrelationssatser är relationssatser som säger att det råder en samtidighet mellan tvåeller flera slags företeelser.

Orsakssatser är relationssatser som säger att det finns ett orsaksamband mellan enhändelse och en annan. Kräver att ett experiment gjorts.

Vad har man en teori till?

Problemspecificering

Tumregler:

1. Formulera problemet som en fråga.

2. Uttryck problemet som en relation mellan två eller flerabegrepp (variabler).

3. Gör begreppen klara och entydiga (väldefinierade).

4. Formulera problemet så att det går att testa empiriskt d.v.s.att de går att undersöka eller t.o.m mäta (operationalisering).

Page 3: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

3

Uppfyller frågeställningen följande krav?

Är målgruppen specificerad?

Är kontexten d.v.s. situationen specificerad?

Är frågeställningen av en rimlig omfattning?

Är frågeställningen för allmänt hållen, är den tillräckligt specifik?

Är det en känslig frågeställning?

Är det realistiskt att undersöka detta, få tag på deltagare, resursåtgång?

Frågeställlning

Hur påverkas samarbetet i en 3D/VR- miljö av att

kommunikationen sker antingen via videokonferens,telefon eller text-chat när det gäller effektivitet samt

upplevd social närvaro.

Vad fattas i denna frågeställning?

Hur kan den bli tydligare?

Page 4: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

4

Experiment innebär att…

- man formulerar hypoteser om orsakssamband.

- man aktivt påverkar/manipulerar den oberoende variabeln.

- man har en kontrollgrupp som jämförs med en experimentgrupp.

-fördelningen mellan experimentgrupp och kontrollgrupp är slumpmässigtgjord från urvalet så att grupperna blir likvärdiga.

-man har operationaliserat en el. flera beroende variabler.

-noggrann mätning görs av beroende variabler.

-man kontrollerar störande variabler.

Definition av variabler

En variabel är en egenskap som antar olika värden.

Definitioner får inte vara för vida eller snäva.

Variabler måste definieras så att de är entydiga.

Definitioner ska vara så väl specificerade att anomalier undviks.

Undvik cirkulära resonemang.

Page 5: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

5

Begrepp i teori

Nominaldefinition

Operationell definition

Mättillfället

Babbie, E. (1992). The practice of social research.

Definition av variabler

1. Realdefinition: ange de egenskaper den naturliga företeelsen har.

2. Nominaldefinition: namnge eller beskriv med ord specifikaobservationer eller händelser.

- Definiera i termer av de egenskaper som

företeelsen ska ha.

- Definiera i termer av en företeelses funktion

- Uppräknande definition

3. Lexikal, stipulati eller explikativ definition

4. Operationell definition

Hypoteser

Ett påstående om relationen mellan två el. flera begrepp som är empirisktprövbar.

En hypotes kan vara en intuitiv känsla att ett samband föreligger,

men rättfärdigandet av en hypotes måste göras så att kraven påvetenskaplighet uppfylls.

En hypotes liknar en teori men täcker bara en företeelse eller ett samband.

Begrepp (variabler) måste vara väldefinierade.

- oberoende variabeln påverkar beroende variabler- beroende variabler är effekter av den/de oberoende variablerna

Page 6: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

6

Hypotesers innehåll

Hypotesen ska vara en lösning på problemet.

Man ska kunna genomföra en studie som antingen verifierar ellerfalsifierar hypotesen.

Praktiska skäl får inte göra det omöjligt att testa hypotesen.

Att testa hypotesen får inte riskera att skada någon fysiskt ellerpsykiskt.

Att hypotesen är väl grundad i tidigare forskningsresultat eller teori.

Hypotesprövning

Sannolikheten för att ett uppfattat samband är en rentillfällighet = signifikansnivå = p

0-hypotes = inget samband finns

Om p < 0,05 = sambandet statistiskt signifikant

Verificationsprincipen, en sats är vetenskaplig om det i princip är möjligt att verifieraden genom observation.

Falsifierbarhet, det ska i princip vara möjligt att genom observation visa att en sats är falsk.

Att vi har ett resultat med signifikansnivån p, betyder att sannolikheten är högstp att vårt resultat är inkorrekt (beror på slump).

Ofta väljer man nivån p = 0.05.

Page 7: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

7

Ignaz Semmelweis arbetade 1844-48 som förlossningsläkare i Wien. Han märkte att dödligheten ibarnsängsfeber var större på hans avdelning än på sjukhusets andra avdelning och han ville ta reda påorsaken till detta. Han satte upp åtta hypoteser som han prövade en efter en:1. Luften är sämre på min avdelning2. Min sjukavdelning är överbelagd3. Sämre diet på min avdelning gör kvinnorna svagare4. Kvinnorna får sämre vård på min avdelning5. Kvinnorna undersöks hårdhäntare hos mig6. Kvinnorna blir skrämda av prästen som kommer för att ge döende kvinnor sista smörjelsen7. Felaktiga födelseställningar8. Överförande av ”likstoff” från döda människor

Han började sedan försöka falsifiera (visa att hypoteserna var fel) så många av hypoteserna som möjligt.Hypotes 1-5 var lätta att falsifiera eftersom förhållandena var lika på avdelningarna. Prästen som komtill de döende kvinnorna var tvungen att passera igenom alla sjukrummen på Semmelweis avdelning såatt alla kvinnorna såg honom och blev påminda om att de också kunde dö medan han kunde gå direkt intill de döende kvinnorna på den andra avdelningen. Semmelweis lät då prästen gå genom en bakdörr påhans avdelning så att kvinnorna ej såg honom, men dödligheten sjönk ej. Kvinnorna födde i olikaställningar på de olika avdelningarna och Semmelweis gjorde experimentet att låta kvinnorna på sinavdelning föda i samma positioner som på den andra avdelningen men inte heller detta påverkadedödstalen. När en av Semmelweis kollegor dog i symptom som liknade barnsängsfeber efter att haskurit sig under en obduktion kom Semmelweis på hypotesen med likstoff. På hans avdelning fanns ettantal medicinstudenter som deltog i obduktioner varje morgon innan de undersökte kvinnorna. Denandra avdelningen hade inga läkarkandidater. Semmelweis lät studenterna tvätta händerna medklorvatten efter obduktionen och dödligheten sjönk drastiskt! © Jenny Comstedt

Feltyper

Fel av typ I:

Vi finner stöd för H1, trots att H0 gäller.

Fel av typ II:

Vi utesluter H1, trots att den gäller.

Page 8: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

8

Hypotesers form

Enkla hypoteser och komplexa hypoteser

Forskningshypoteser: att det finns ett samband H1

Nollhypoteser: att det inte finns ett samband H0

Orsakshypoteser säger att den oberoende variabeln påverkar den beroende.

En orsakshypotes påstår mer än en korrelationshypotes som inte utesluter att detfinns en annan variabel som orsakar en/flera variabler.

Korrelationshypoteser säger endast att två eller flera variabler samvarierar.När den ena variabel är närvarande är den andra också det.

En korrelation mellan två variabler

innebär att de samvarierar.

Korrelationen kan vara positiv eller negativ.

En korrelation mellan den oberoende och den beroendevariabeln indikerar inte nödvändigtvis ett orsakssamband.

Korrelation

Page 9: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

9

Kvasiexperiment

- Inte slumpmässig fördelning från urvalet vilket ger icke ekvivalenta grupper, bekvämlighetsurval

- Kontrollgrupp saknas, man har istället jämförelsegrupp

Icke experimentella studier

- Ingen manipulering av oberoende variabeln sker,

- Individer iakttas endast ex. korrelationsundersökning

Multimodalt grupparbetsstöd för synskadade elever

Fältstudie av befintligt grupparbete gav designfokus.

Ett gemensamt grupparbetsgränssnitt utv. med haptisk & visuell återkoppling.

Utvärdering i fält visade på fördelar med nya arbetssättet men också ett problem.

Kvalitativ videoanalys visade hur problemet yttrade sig och gav rekommendationerför hur vidare design.

Interaktionsljud inkluderades i version 2 som utvärderades med ett jämförandeexperiment (mellangruppsdesign) som visade en sign. skillnad i tid (effektivitet).

Page 10: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

10

Experiment

Post-testmodell

ExperimentgruppKontrollgrupp

- Nivån på beroende variabeln mäts efter manipuleringen

- Skillnaden mellan grupperna är oberoende variabelnseffekt

- Risk att individuella skillnader påverkar utfallet trotsslumpmässigt urval

- detta åtgärdas delvis genom större urval

Stimuli ObservationObservation

Haptikexperiment

Forskningsfråga

Hur påverkas samarbetet mellan två människor i en

3D/VR-miljö av att man kan använda känselsinnet vid

interaktionen i miljön jämfört med om man endast har ett

visuellt gränssnitt gällande effektivitet, precision och

upplevd prestation, social närvarokänsla och virtuell

närvarokänsla?

Page 11: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

11

Hypoteser

H1 Haptisk kraftåterkoppling gör att samarbetet går snabbare.

H2 Haptisk kraftåterkoppling förbättrar precisionen i samarbetet.

H3 Haptisk kraftåterkoppling ökar den upplevda prestationsförmågan.

H4 Haptisk kraftåterkoppling ökar den upplevda virtuella närvarokänslan.

H5 Haptisk kraftåterkoppling ökar den upplevda sociala närvarokänslan.

Designen av de båda studierna

Studie 1.Post-testMellangruppsdesign28 försökspersonerBeroende variabeln:

Haptisk vs. ickehaptisk samarbetsmiljö

Studie 2.Post-testInomgruppsdesign22 försökspersonerBeroende variabeln:Haptisk vs. ickehaptisk samarbetsmiljö

Page 12: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

12

Effektivitet- Hur snabbt uppgifter utförs.- Med vilken precision man manipulerar objekt tillsammans.

Upplevd effektivitet: hur väl personerna upplever att de utför olika moment i

miljön samt hur lätt de lär sig hur miljön fungerar. Mäts genom enkät.

Social närvarokänsla: känsla av att vara tillsammans med en annan person ien gemensam miljö, möjlighet att visa & förstå känslor/intentioner. Mättesmed enkät.

Virtuell närvarokänsla : i hur hög grad man upplevde att man var i denmedierade miljön, hur god kontroll man upplevde att man hade iinteraktionen & hur realistisk miljön upplevdes. Mättes med enkät

Beroende variabler

Två personer lyfter en kub tillsammans genom att trycka på var sin sida på kuben.

Haptiska samarbetsmiljön i studie 1.

Page 13: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

13

1.

4.3.

2.

Haptiska samarbetsmiljön i studie 2.

En kub överräcks av en person till en annan.

Experiment

Pre-test, post-testmodell

ExperimentgruppKontrollgrupp

- Värdet på beroende variabeln mäts både före och efter manipuleringen

- Gör det möjligt att se skillnaden mellan experimentoch kontrollgrupp innan manipuleringen ex. kondition

- Risk att personerna påverkas av pre-testet

Observation Stimuli ObservationObservation Observation

Page 14: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

14

Experiment

Fyrgruppsundersökning: både post-test och pre-test, post-test görs

ExperimentgruppKontrollgruppExperimentgruppKontrollgrupp

- Den ena av både kontroll och experimentgrupperna testasföre manipuleringen

- Detta ger svar på hur mycket den första mätningenpåverkade grupperna

- De två kontrollgrupperna jämförs, skillnaden tas med iden statistiska analysen

Observation Stimuli ObservationObservation Observation

Stimuli ObservationObservation

Experiment

Faktorundersökning

ExperimentgruppExperimentgruppExperimentgruppKontrollgrupp

- Två eller flera oberoende variabler:experimentgrupp 1 får manipulering Aexperimentgrupp 2 får manipulering Bexperimentgrupp 3 får manipulering A+B

- Dessa jämförs med varandra och med en kontrollgrupp

- Denna design kan visa gemensamma effekten samt de enskilda effekterna

(O) Stimuli A Observation(O) Stimuli B Observation(O) Stimuli AB Observation(O) Observation

Page 15: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

15

Kvasiexperiment med icke ekvivalenta grupper

- Generellt svagare design

- Svårt att fördela personer slumpmässigt till olika grupper vid fältexperiment

- Fördelningen är inte slumpmässig från urvalet mellan experimentgrupp och kontrollgrupp

- Kontrollgruppen kallas därför jämförelsegrupp

- Risk för stora skillnader i grupperna vilket påverkar resultatet på ett störande sätt

Kvasiexperiment med icke ekvivalenta grupper

Post-test

- Helt opålitligt resultat p.g.a. att skillnaden i gruppenssammansättning påverkar okontrollerat

- Görs då manipuleringen redan skett så att pre-testinte kan göras

- Svårt göra slumpmässig fördelning när man studerartex olika företag i fält

- Designen kan stärkas genom att jämföra värdet hoskontrollgruppen med redan känt genomsnittligt värdepå populationen

E: Stimuli ObservationK: Observation

Page 16: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

16

Kvasiexperiment med icke ekvivalenta grupper

Pre-test, post-test

- Ger något starkare design

- Kan mäta vilken skillnad som fanns mellan experimentgruppen och jämförelsegruppen innan manipuleringen

- Resultatet fortfarande svårt att generalisera

- Risk för olika mognadsprocess i grupperna

E: Observation Stimuli ObservationK: Observation Observation

Kvasiexperiment med icke ekvivalenta grupper

Tidsserieexperiment

- Ger starkare design då skillnader i mognad kontrolleras

- Två eller flera mätningar i båda grupperna innan manipulering och en eller flera mätningar efteråt

- Manipulering kan ske fler än en gång varpå effektenmäts igen

- Jämförelse och experimentgruppen kan också byta plats

- Manipuleringen kan ges och tas bort flera gånger

- Dock tidsödande, kostsamt och praktiskt svårt

Page 17: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

17

Design av experiment/kvasiexperiment

Vi kan välja mellan två upplägg för att beskriva den

experimentella/kvasiexperimentella designen :

Mellangruppsdesign

Inomgruppsdesign

Mellangrupp:

Vi använder en ny grupp försökspersoner för varje värde på denoberoende variabeln (= behandling).

Inomgrupp:

Vi använder samma försökspersoner för varje värde på denoberoende variabeln.

Design av experiment/kvasiexperiment

xB

xA

Version 2Version 1Grupp

xxA

Version 2Version 1Grupp

Page 18: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

18

Ett mellangruppsexperiment kräver dels fler fp än ett inomgrupps-experiment, dels att vi matchar grupperna mot varandra så att deltagarna harså lika egenskaper som möjligt.

Fördelen är att vi kan eliminera inlärningseffekter, där erfarenheten från enbehandling påverkar resultaten av en annan behandling.

Ex. med ikoner: Efter att ha sett ikonerna upprepade gånger känner fp igenformerna och identifierar ikonerna utan hänsyn till färgegenskaperna.

Design av experiment/kvasiexperiment

I ett inomgruppsexperiment försöker vi minimera inlärningseffektergenom att låta olika personer utsättas för behandlingarna i olika ordning.

Vi väljer slumpmässigt vilka av försökspersonerna som ska få genomgåexperimentet i vilken ordning.

Varför slumpar vi?

Design av experiment/kvasiexperiment

Page 19: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

19

Inlärningseffekter är viktiga också inom en behandling

– försökspersonerna lär sig under experimentets gång.

Olika inlärningstakt ger olika effekt.

Man bör försöka minimera detta genom att t ex ha en övningssession förstdär försökspersonerna får träna upp sig till en förbestämd skicklighetsnivå.

Design av experiment/kvasiexperiment

Utanförliggande variabler confounding variables

YttreSkillnader i testmiljön påverkarTestadministratörTestlokalenÅrstidHändelser i samhället

InreÅlder, kön, utbildning…

Page 20: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

20

Att kontrollera inre utanförliggande variabler

Homogen fördelning variabeln hålls konstant ex. alla samma ålder

Blockningutanförliggande variabeln som oberoende variabelex. tar med ålder som variabel i analysen

Matchningman ser till att fp liknar varandra parvis i gruppernaex. ålder kön kognitiv förmåga

Upprepad mätningundersöka samma individ flera gånger

Kvasiexperiment utan kontroll- eller jämförelsegrupp

- Då det inte är möjligt att ha en kontroll/jämförelsegrupp

- Tidsserieexperiment kan göras men utan jämförelsegrupp

- Testa flera gånger före och efter förändringen

- Passa på att testa innan om man vet att förändring ska ske i en organisation t.ex.

Page 21: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

21

Icke experimentella undersökningar

Korrelationsundersökning

Den oberoende variabeln manipuleras ej

Korrelationshypotes testas

Viktigt med teori

Beskrivande undersökning

Ingen hypotes testas

Explorativ ansats

Datainsamlingstekniker

Intervju

Enkäter

Fysiologiska mätningarEDA, puls, hormonutsöndring

Observationerlogga beteendemäta hur lång tidmäta hur många gånger under viss tidmäta precisionminneskapacitetögonrörelser

Page 22: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

22

GiltighetAtt operationen som används verkligen är ett mått på denegenskap vi vill mäta.

Validiteti hur hög grad ett mått ger data som överensstämmer med den gemensamtaccepterade innebörden av begreppet.

1. Face validityden bedömning som “experter” gör om ett test verkar mäta ett begrepp elleren variabel.

2. Criterion-related validitybaseras på om ett externt kriterium som studieresultat samvarierar medresultatet på högskoleprovet

Giltighet Att operationen som används verkligen är ett mått på denegenskap vi vill mäta.

3. Content validity

I hur hög grad ett mått täcker hela fenomenet.

4. Construct validity

Om alla variabler i ett konstrukt mäter samma variabel.

Page 23: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

23

Pålitlighet

Att man får samma resultat varje gång man operationaliseringen används.

Reliabilitet

slumpmässiga fel ger på dålig precision eller osäkerhet i metodiken.

Interbedömarreliabilitet

samstämmighet i flera personer bedömningar.

Testmaterial

• Frågeformulär för urval av deltagare

• Information till testdeltagare

• Samtyckesformulär

• Frågeformulär för att få bakgrundsinformation om deltagare

• Procedur, beskrivning av alla steg i testet i ordningsföljd

• Datainsamlingsguider, loggningsverktyg

• Lista på allt material som behövs under testet inkl. dokumentation

• Ev. formulerade träningsuppgifter

• Formulerade testuppgifter

• Frågeformulär efter testet för att undersöka tillfredsställelsedimensionen

• Intervju efter testet (debriefing), intervjuguide

Dessa ska bifogas planen för er utvärdering

Page 24: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

24

Urval

Populationen

De man studerar kan vara en hel population (alla i en grupp, ex. hela landetsbefolkning) eller ett mer eller mindre representativt urval ur en population.

Urval

Sannolikhetsurval

Vid experiment är slumpmässigt urval ett krav.

• Slumpmässigt urval

Man har en förteckning på alla människor som ingår i populationen + förteckningar med

slumpmässiga siffror, man väljer sedan de personer som motsvarar siffran. Man kan också

dra ihopvikta lappar med namn ur en hatt

• Slumpmässigt stratifierat urval

Först delar man upp populationen i strata (ålders/inkomts/yrkesgrupper), sedan gör man ett

slumpmässigt urval ur varje strata

• Klusterurval

Först delar man upp populationen i kluster (städer, skolor, sjukhus) och sedan tar man ett

kluster som man tror är representativt för hela populationen.

• Systematiskt urval

Man väljer ett urvalsintervall tex var tionde person. Sedan väljer man var tionde person från

listan av alla människor som ingår i populationen

Page 25: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

25

Icke sannolikhetsurval

Om man inte har resurser eller praktiska möjligheter att göra ett urval ur hela populationen. Vidkvasi-experiment eller test.

• Bekvämlighets-/ tillfällighetsurvalMan väljer ’första bästa’.

• SnöbollsurvalMan får en kontakt som ger nya kontakter.

• Kvoturval/proportionellt stratifieratMan delar först upp populationen i strata, sedan gör man ett bekvämlighetsurval inom varjestrata.

• Subjektivt / ändamålsenligtMan överger kravet på representativitet och väljer en speciell strategi tex så många olikamänniskor som möjligt eller en känd grupp användare.

Urvalsstorlek

Större urval ger större precision, minst 5 personer i varje cell.

Absoluta storleken på urvalet är avgörande, inte andelen av populationen.

Många klassificeringar/variabler kräver större antal.

Uppskatta bortfallet.

Uppskatta hur mycket resurser projektet har.

Bra princip: enkelhet

Page 26: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

26

Rekrytera deltagare

Utforma ett frågeformulär för att få rätt urval av deltagare.

Utgå ifrån målgruppens profil när frågorna formuleras.

Börja rekrytera deltagare tidigt.

Formulera ett informationsblad som ni kan ge till deltagare när nifrågar dem om de vill medverka. Kortfattat syfte, tidsåtgång, plats,etiska hänssynstaganden.

Typer av kvantitativa data

Nominalskala: antal i olika kategorier, ex man el. kvinna

Ordinalskala: + kategorierna rangordnade, ex, barn,ungdom, äldre, 5 gradig Likertskala, betyg

Intervallskala: + ’avståndet’ mellan kategorierna är känt, ex. 1980 - 1990 - 2000

Kvotskala: + nollpunkt, ex 20 år ÷ 10 år = 2

Diskreta: ex. antal barn, måste vara hela barnKontinuerliga: ex. längd; forskaren konstruerar kategorier

Page 27: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

27

Normalfördelning

En grundläggande regel i statistiken är den centrala gränsvärdessatsensom säger att ju mer data man samlar in om ett fenomen, ju mer lik ennormalfördelning blir resultatet.

Ex: Längden i cm hos vuxna. – Poäng i begåvningstest. – Vikt hosnyfödda. – Slumpmässiga fel vid upprepade likartade mätningar avsamma objekt

Beskrivande statistik

Var ligger mittpunkten?Hur stor är spridningen och hur jämn är den?

MedelvärdeFör värden på intervall och kvotskalenivåPåverkas av extremvärden

Medelvärdet = 1 + 4 + 7 + 11 + 12 + 17 + 17 + 47 8

Medelvärdet = 14.5

Page 28: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

28

Beskrivande statistik

MedianFör värden på ordinal, intervall och kvotskalenivåExtremvärden påverkar ejEj vidare beräkningar möjliga”Mittvärdet”

1 4 7 11 12 17 17 47

Medianen = 11.5

Beskrivande statistik

TypvärdeFör värden på alla skalnivåer, nominal, ordinal, intervalloch kvot.Det vanligast förekommande värdet i fördelningen.Brett tillämpningsområde, högst tittarsiffror osv.

1 1 4 4 7 11 12 17 17 17 47

Typvärdet = 17

Page 29: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

29

Spridning

3 4 7 11 12 17 17 47

Variationsvidd

Ger en bild av spridningen som är lätt att förståStörsta värdet – minsta värdet47 – 3 = 44Påverkas dock mycket av extremvärden

Spridning

FraktilerKvartiler, deciler, percentiler

Gör det möjligt att eliminera extremvärdenKvartilavståndet är det som ligger mellan Q1 och Q3

Jämföra tex den översta med lägsta decilen i inkomstfördelningBeskriver spridningen i frekvensfördelningen när man jämförolika delar

Median Q3Q1

Page 30: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

30

Spridning

StandardavvikelseSpridning i relation till medelvärdetKan analyseras vidarePå intervall- och kvotskalenivå (förutsätter medeltal)

Det vanligaste måttet på spridningen (variationen, variabiliteten) i ettstatistiskt material eller i en fördelning. Vanlig symbol är s.

Grundformeln för standardavvikelsen för ett statistiskt material ärför urval:

Symbolen    (x streck) är medelvärdet i urvalet och n är antalet element iurvalet.

I standardavvikelsen används alla värden (inte bara det högsta och det lägsta)för att beräkna värdenas generella avvikelse från medelvärdet

s(x x)

n 1

2

=!

!

"

Test av signifikans

Gör en bortfallsanalys och planera åtgärder

Kontrollera om data är normalfördelade

Enklast är att göra en frekvenstabell

Kontrollera för extremvärden

Parametriska vs icke parametriska test

Page 31: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

31

Icke-parametriskt test

Icke-parametriska test ställer inga krav på normalfördelning.

Kan hantera data på ordinal och nominalskalenivå.

För en del behöver inte grupperna vara lika stora.

Priset vi får betala är en lägre signifikansnivå i våra resultat.

T-test parametriskt test

Kräver intervall eller kvotskalenivå.

Hypotestestar om det finns skillnad mellan två grupper.

Fungerar för små urval.

Måste inte vara lika många i varje cell.

Data bör vara normalfördelad.

Mann-Withneys U-test

Kan användas för data på ordinalskalenivå.

Page 32: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

32

ANOVA (analysis of variance) parametriskt test

Hypotesprövar om grupper skiljer sig åt gällande en variabel.

En envägs variansanalys för oberoende mätningar d.v.s. mellangruppsdesignkallas i SPSS one-way ANOVA.

Envägs variansanalys innebär att man mäter effekter av olika nivåer av enviss variabel (oberoende variabeln) på en annan variabel (beroendevariabeln).

Data på minst intervallskalenivå krävs.

Exempel på sådan data från utvärderingar är tid, felfrekvens vid utförandetav en uppgift eller antal klarade uppgifter.

ANOVA (analysis of variance) parametriskt test

Även här hypotesprövas om grupper skiljer sig åt gällande en variabel ochminst intervallskalenivå krävs.

En envägs variansanalys för beroende mätningar d.v.s. inomgruppsdesignkallas i SPSS Repeated measures.

Generellt sett är ett test för beroende mätningar mer känsligt då man slipperindividuella skillnader.

Exempel på lämplig data från utvärderingar är även här tid, felfrekvens vidutförandet av en uppgift eller antal klarade uppgifter.

Page 33: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

33

Chi-två-test (χ2-test)

Hypotesprövar om det finns ett samband mellan två variabler?

Mer gymnastik ger bättre betyg.

t

Ft

F

t

F

t

F

x

Chi-två-test Icke-parametriskt test

Korrelation

En korrelation mellan två variabler

innebär att de samvarierar.

Korrelationen kan vara positiv eller negativ.

En korrelation mellan den oberoende och den beroendevariabeln indikerar inte nödvändigtvis ett orsakssamband.

Page 34: Experiment och fältexperiment - KTH · 1 Experiment och fältexperiment Eva-Lotta Sallnäs Ph.D. CSC, Kungliga Tekniska Högskolan evalotta@csc.kth.se Hypotetisk-deduktiv metod Positivism

34

Presentation av data

Att skapa begriplighet i ett stort material

Överskådlighet, viktigt med enkelhet

Ger en visuell effekt

Info i tabell eller diagram- figurtext under figur- tabelltext ovanför tabellen- information om de enheter som visas- uppge källan om figuren el. tabellen är gjord av någon annan

Experimentella studier

FördelarUpprepbarhet p.g.a. hög kontrollHög precision i mätningarKausala samband kan undersökasBekvämt

NackdelarArtificiell miljö påverkar generaliserbarhetSvårt att uppnå representativitetEtiska dilemmanFör att uppnå hög kontroll krävs mycket planering