kísérlettervezés és értékelés

Kísérlettervezés és értékelés

Honlap: http://xenia.sote.hu/hu/biosci/docs/biometr/

Általános bevezetés

• Koncepcionális meggondolások a kísérletek és a statisztikai szemlélet kapcsolatáról

• A teljes folyamat áttekintése• Tervezési szakasz • Adatgyűjtési szakasz• Értékelési szakasz

– exploráló adatelemzés– statisztikai elemzés

• Jegyzőkönyvezés, dokumentálás

Ezen előadás legfontosabb mondanivalói

• A véletlen változékonyságot, szóródást okoz• A kísérletező(k) vágyai befolyásolják az

eredményeket • A kutatás legfontosabb lépése a tervezés• A tervezés és az értékelés szorosan összefüggenek • Az eredmények értékelésében kell a statisztikai

szemlélet• néhány számítási módszert magunk is elvégezhetünk

André-Marie Ampēre (Andre-Marie Ampere, 1775-1836)

1. A researcher invents a new hypothesis about some area of experience (on the basis of earlier research, intuition, and logic)

2. A researcher infers an empirically testable implication of the hypothesis.

3. A researcher then performs an empirical research project to test whether the implication is actually present in the area of experience.

4. If evidence of the implication is found (and in the absence of a reasonable alternative explanation), the community with prime interest in the area of experience will (by informal consensus) accept (or will be more inclined to accept) the hypothesis framed in step 1 as being correct.

A kísérletező pszichológiája, érdekei

T. C. Chamberlin:The Method of Multiple Working Hypotheses. With this method the dangers of parental affection for a favorite theory can be circumvented.Science (old series): 15, 92, 1890Science 148:754-759 (1965), reprinted•Premature theories•Ruling theories linger•A family of hypotheses•Drawbacks of the method•Multiple hypotheses and practical affairs•Danger vacillation•Imperfections of knowledge

A társadalom érdeke, hogy a kutató objektiv legyen

•A kutatás objektivitását egyre több jogszabály, előírás próbálja biztosítani.•Ez különösen fontos a gyógyszerek, készülékek, eljárások kipróbálásakor•Ez ugyanolyan fontos az elméleti hipotézisek vizsgálatánál•Good Laboratory Practice•Good Clinical Practice

A statisztikai meggondolásokra (konzultációra)

a kisérlet előtt kerüljön sor

Hypotézisek

Précsényi István: Alapvető kutatástervezési, statisztikati,…. Debrecen, 1995

Elővizsgálatok

Kutatási kérdések

Predikciók

Változók kiválasztása

Adatfelvételi módszer

Adatgyüjtés

Explorativ adatelemzés

Konfirmativ adatelemzés

A „feltáró” kutatás(elővizsgálatok)

• Van feltételezésünk, de keveset tudunk:– A kísérletben alkalmazott módszerekről– A módszer hibájáról– A várható szóródásról– Kísérleti beavatkozásainktól várható változások

(?) irányáról és méretéről– A kísérletezés költségeiről, komplikációkról

„Bizonyító” kutatás

• Ennek tervezéséhez – van határozott ismeretünk (előkísérletből)

• a célról• a populációról• a változókról• a várható szóródásról• a kiértékelés módszeréről• a várható, vagy megismerni kívánt mértékű

(nagyságú) eredményről (szükséges a vizsgálat erejének számításához)

1. Megfigyeléses vizsgálatok(elsősorban klinikai, epidemiológiai kutatásban, nem

részletezzük)

• Eset-sorozat (case-series), leíró• Eset-kontroll (case-control), retrospektiv• Keresztmetszeti felmérés, jelenlegi helyzet

jellemzésére• Kohorsz tanulmány, prospektiv, előretekintő• Historikus kohorsz tanulmány,

részben retrospektiv, onnan előre elemez

2. Beavatkozások vizsgálata• Vizsgálatok, kontrollhoz hasonlitással

– Parallel kontrollok• randomizált• nem-randomizált

– Szekvenciális kontrollok• önkontrollos• cross-over, önkontrollos

– Külső kontroll (benne a történeti kontroll)• Kontroll nélküli vizsgálatok (?)

– Abszolút érték meghatározása (standardhoz hasonlítással)

Az adatok integritása

• Minden adat rögzítendő• Minden nem tervezett tulajdonság

jegyzőkönyvezendő• „Hibás adat” azonosítása, kezelése,

eltávolítása hogyan történhet?• Outlier adat sorsa (nincs ismert hibája, csak

az értéke „kilóg”)• A rögzített adatok ellenőrizendők

számitás előtt és után (gyakori hibaforrás?)

A szoftver, a számítások integritása

• Jó és hiteles szoftvert használjunk• A célnak pontosan megfelelő számítást végezzünk• Az elemzett adatok köre rögzítendő• A rögzített adatok ellenőrizendők számítás előtt és

után• Az elemzés menete, eredménye ellenőrizendő, fileba,

papirra nyomtatandó• Statisztikai jegyzőkönyvezés (is) kell (GLP)• Példa:

Jelentések, közlemények, adatok

• Az eredmények tárgyszerű közlése• A módszerek ismételhetőségét bemutatni• Az értékelés módszere, megismételhetőségét

illusztrálni kell

A szisztémás hibák elleni védekezés (minimalizálásuk) eszköze

– a randomizálás• Segít biztosítani a módszer kinduló feltételeinek

teljesülését (véletlen minta)• Sokféleképen lehet randomizálni

– egyszerűen– blokkokban– rétegezetten

– A vak és a kettős vak módszer véd a szubjektív hibák ellen (blind, double blind: „vak” – vagy „redőny, ”?

• Lásd Chamberlin cikkét• Néha a vak kisérletezés nem könnyű

Kísérleti elrendezések egyes típusai(a megvalósítás terve)

• Random elrendezés (véletlenszerűen kiválasztott k csoport)

• Randomizált blokk elrendezés, (ahol kísérlet-technikai csoportosítás is történik)– Független alanyok, kísérleti egységek– önkontroll, egy alanyon több mérés– vegyes: egyes tényezők független alanyon,

más tényezők önkontrollos elrendezésben• Faktoriális elrendezés

(ahol sok szempont, faktor szerinti elrendezést vizsgálunk) • Latin négyzet elrendezés

(ahol kevés alanyon kell sok szempont szerint vizsgálni)

A vizsgálat kiterjedése

• Vizsgálat alanyai• Változók

– Fő változó(k)– Másodlagos változók

(mit érdemes mérni, mit nem)

– Összetett változók– Összefüggés a változók között– Kategorizálás, mérés

• Mérési skálák

Az összehasonlítás tipusai

• Kontroll (placebo, és/vagy kezeletlen) -- kezelés• “Konvencionális” -- új kezelés• Ekvivalencia

(x anyag -- y anyag összehasonlítása)• Dózis--hatás összefüggés, függvény

keresése– Receptor kötés (kötési paraméterek)– enzimaktivitás (enzim paraméterek)

• Kölcsönhatások vizsgálata

Lebonyolítás

• Legyen-e közbülső elemzés, vagy fix méret, végső elemzéssel

• Kizárási feltételek (egyes adat, alany „kiesése”)

• Meddig folytassuk?– Cut your losses?– Döntésig– Előre tervezett időpontig, vagy mennyiségig?

Jegyzőkönyvezés(statisztikai...)

• Az adatok részletes vizsgálatának alapja• Outliers és a jegyzőkönyv• Outliers és statisztikai kritériumok• Outliers és a report, cikk irása• Kizárási feltételeket előre kell(ene) megadni• A hiányzó értékek esete (“pótlás”, dummy)

Transzformálás(szisztémás adatátalakítás)

• Mindig történik (valamilyen) transzformálás A mérés során (műszerbe építetten, kalibrálásnál, számolásnál)

gyakori a lineáris, vagy nem líneáris transzformáció A mérési célú transzformációnak van (?) szaktudományos alapja Példa: logit transzformáció radioimmun mérések kiértékelésénél

linearizálja a kalibrációs görbét A statisztikai célú transzformáció a kiértékelés lehetőségeit

módosítja Példa: a szórás arányos a csoport átlagával

– a logaritmikus transzformáció ezt eltüntetheti• Lehetőleg a tervezési szakaszban meg kell adni a lehetséges

eljárást.• Ne attól tegyük függővé a transzformálást, hogy utána kijön-e a

kívánt eredmény….

Kiinduló feltételezések• A mért változó

– nominális skálán– ordinális skálán– numerikus skálán

(eloszlása nem standard normális)

• A null hipotézis – eloszlások azonossága– a mediánok azonossága

• A minták száma– Lehet 1, 2, >2

A hipotézis vizsgálat kimenetele

Döntés H0 igaz H1 igaz

H0-t elvetjükH1-et elfogadjuk

Elsőfajú hiba( )

Helyes döntés

Nem vetjük el H0-t, ésNem fogadjuk el H1-et

Helyesdöntés

Másodfajú hiba( )

A döntési küszöbök értékei

• Elsőfajú hiba (alfa), második fajú hiba (béta)• A nem paraméteres módszereknél a béta

meghatározása nehéz, • a “power”, a módszer ereje gyakran

ismeretlen

A módszer választáshoz útmutatás

• Függ:– A kutatási kérdéstől– Kísérleti elrendezéstől– A mérés skálájától (nominális, rang, intervallum)– Az elemszámtól

• Van-e különbség? – 1 csoport– 2 csoport– 3, vagy több csoport

• Van-e összefüggés?• Hány független változó van?

Módszerek választása(nem paraméteres eset, bevezető kurzus)

A minta természete

Hipotézis tárgya

Kategorizált adatok

Rendezhető adatok

Numerikus skálájú adatok

Egy random minta Medián binomiális teszt Wilcoxon előjeles

Eloszlás Khi négyzet KolmogorovPárosított minta (pár, vagy többes)

medián - Előjel próba Wilcoxon előjeles

Randomizált blokk medián

Két független random minta medián Khi négyzet Mann-Whitney

medián (eloszlás) -

Több független random minta medián -

eloszlás -

Módszerek választása(haladó)

A minta természete

Hipotézis tárgya

Kategorizált adatok

Rendezhető adatok

Numerikus skálájú adatok

Egy random minta Medián binomiális teszt Wilcoxon előjeles

Eloszlás Khi négyzet KolmogorovPárosított minta (pár, vagy többes)

medián - Előjel próba Wilcoxon előjeles

Randomizált blokk medián Cochran Friedman Quade

Két független random minta medián Khi négyzet Mann-Whitney

medián (eloszlás) - Wald-Wolfowitz-

SmirnowTöbb független random minta medián - Kruskal-Wallis

eloszlás - van der Waerden Smirnov