Medical Evidence Management

Zoeken en selecteren van relevant origineel klinisch wetenschappelijk onderzoek

in het internet tijdperk

Dr. Geert JMG van der HeijdenUHD, Klinisch EpidemioloogJulius Centrum, UMC Utrecht

www.juliuscenter.nl

University Medical Center Utrecht Medical School Utrecht, The Netherlands

University Medical Center Utrecht

Julius Center for Health Julius Center for Health Sciences and Primary CareSciences and Primary Care

www.juliuscenter.nlwww.juliuscenter.nl

University Medical Center Utrecht

Utrecht Medical School

One of the larger (of 7 MS) in the Netherlands• 300 medical students per year

– 6-year Ba-Ma curriculum– 500 hrs Clinical Epidemiology & Evidence Based Practice

Clinical Epidemiology (CE)

BA level: 6 wks module

Clinical Epidemiological Research

- Principles of knowledge production• Problem based learning tactics• Questioning; design of study; appraisal• Design of data-collection & data-analysis

• Researcher / Physician = knowledge producer

Evidence Based Medicine

MA level: 6 wks module

Contemporary EBM tactics (Sicily statement)– Principles of knowledge application

• Problem based learning tactics• Questioning; searching & appraisal• Summary, recommendation

• Patient manger / physician = knowlegde user

Evidence Based Practice

Post-graduate (MA) level During internship: 24 wks clinical rotation

Fill knowledge gaps; problem solving skills– Student couple gets 3 educational prescriptions

• Assignment: write structured evidence summary

• Point-of-care clinical questions– Clinical diagnostic management decisions– Prognostic risk stratification– Therapeutic management decisions

Evidence Based Practice

Gaat UITSLUITEND over “VOORGROND” vragen Diagnose: Wat heb ik? Prognose: Wat betekent dit, wat mag ik verwachten? Therapie: Wat is eraan te doen, beste behandeling?

Best-practice klinische kennis & informatie– Toegevoegde waarde van “determinant”

Evidence Based Practice gaat NIET over

Vragen voor fundamentele disciplines & basis vakken– Pathofysiologie, fysische chemie, anatomie, proteomics,

genomics ontstaansmecahnismen, werkingsmechanismen– Test onderzoek: reproduceerbaarheid, correlatie, kappa, et

cetera.

Is wel belangrijke achtergrond kennis & informatie Handig, noodzakelijk, onontbeerlijk in EBP

• Maar NOOIT het onderwerp van EBP

Patient presentationknowledge about diagnosis

HistoryExaminationInvestigations

Diagnosisknowledge about prognosis

TherapyChanges prognosis

Clinical outcome knowledge about therapeutic effectiveness

Etiology/pathogenesisknowledge about causation

Research evidence sought from literature searches

Clinical Process and knowledge requirements

Etiologic Research

Diagnostic Research

Prognostic Research

Therapy Research

Basic Research

Conscious

Competent

Medical evidence managementAcquiring EBP knowledge and skills

5th yr 6 wks

6th yr 24 wks

Ignorant

Untrained

Point of care information management Just in time learning

Scenario

Grote visite

• “Zoek jij dat eens even uit”

• “Presenteer bevindingen bij de overdracht morgenochtend”

• Educational prescription

Ik zoek alle relevante publicaties over …

U vindt niet wat u zoekt?Wat u vindt zoekt u niet!

Lukt niet; inefficiënt & weinig bevredigend

Onvoldoende kennis & vaardigheid

Gouden standaard ontbreekt

Oefening baart kunst: systematiek

Doelstelling

• In beperkte tijd– Compleet overzicht – Best available evidence krijgen

• Efficiency geboden!– Zo min mogelijk tijd verdoen aan zoeken en

selecteren van relevante titels– Zo veel mogelijk tijd overhouden voor samenvatten

belangrijkste bewijs

Doelstelling

• Tijd besparen– Beperk absoluut aantal titels – Vergroot aantal relevante titels

• Reduceer numbers needed to read

Hiervoor is nodig:– logica, creativiteit, kennis & vaardigheid

Hoe het beste zoeken in PubMed?

• Wat doet u normaal?

• Intypen van enkele aan uw onderwerp verwante begrippen in de home page zoekbalk?

• Wat gebeurt er dan?

Kijk eens onder “details”

Automatische term vertaling (MeSH based!)

• Contraproductief!– Vaak dramatische stijging NNR– Tijdsverlies!

• Maar wat dan?

Systematisch zoeken

Domein Determinant Uitkomst

Diagnose Klachten Test Ziekte

Prognose Ziekte Test Mortaliteit etc

Therapie Ziekte Therapie Mortaliteit etc

Begin met goede vraagstellingPICO werkt verwarrend!

Voldoet alleen voor therapie

Selectie van zoektermen

• Logica, creativiteit, kennis, vaardigheden– Nodig: pen & landscape A4

• Vrije associatie / educated guess– Bedenk titel & abstract woorden (UK & US)– Zo veel mogelijk synoniemen!

• Termen, woorden & synoniemen opzoeken– Medische tekst- en woordenboeken (internet)– Titel & abstract woorden bekende relevante publicaties– Vraag experts, deskundigen, collegae

PubMed Index

Alfabetische woordenlijst – Alle geïndexeerde woorden

Aantal hits per veld

– Titel & Abstract• Andere velden heb je echt niet nodig!

– Juiste search syntax cadeau

Blanco papier 3 kolommenVraagstelling (D / P / T & D / D / U)

Domein Determinant UitkomstTerm Term Term

Synomien 1 Synomien 1 Synomien 1

Synomien 2 Synomien 2 Synomien 2

Synomien 3 Synomien 3 Synomien 3

Synomien 4 Synomien 4 Synomien 4

Synomien 5 Synomien 5 Synomien 5

..... ….. …..OROR

OROR

OROR

OROR

OROR

OROR

OROR

OROR

OROR

OROR

OROR

OROR

OROR

OROR

OROR

OROR

OROR

OROR

ANDAND ANDAND

Basis schema zoekfilter

Vraagstelling

Domein…OR … OR …

Determinant…OR … OR …

Uitkomst…OR … OR …

Domein AND determinant AND uitkomst

… AND clinical query (D / P / T)

Selectie relevante records

Wanneer bekijkt u eigenlijk titels?

• Hoe doet u dat?

• Werkt dat wel?

• Hebt u wel genoeg tijd?

Vuistregels bij titels bekijken

Voorkom tijdsverlies– Nooit direct opbrengst bekijken– Bekijk eerst altijd details & history

Screenen & selecteren (villen en fileren)– Pas als opbrengst (aantal titels) te overzien is

Selectie op relevantie

• Formuleer vooraf globale criteria (DDU)

• Werk inclusief (grofstoffelijke exclusie)– Eerst titel bekijken: wel /niet relevant– Abstract bekijken: alleen bij twijfel over titel– Later pas full text bekijken

• Na enige oefening: 250 records per uur

Low HighValidity

Rel

evan

ceL

ow

H

igh

Most Informative= valid & relevant

Be flexible, avoid critical nihilismAccept lower relevance & validity

Bestaande overzichten?

Publicaties met originele patiënt data

– Vertrouw nooit op 2e hands informatie• Editorials, Up-to-date, TRIP, POEMS,

BMJ Clinical Evidence, etc

– Geen transparante methoden• EBM?

– Eminence biased medicine!

Optimalisatie van zoekstrategie

Een continu iteratief proces• Zoek tot u geen nieuwe referenties meer vindt! • Convergerende informatie

Sneeuwbal effect (1)

PubMed “Related articles”– Resultaat: “vergelijkbare” records

• 60%-80% overeenkomst in [tw] velden

Nieuwe titels?– Uw search filter klopt nog niet! – Nieuwe tiab woorden?

– Toevoegen!

Sneeuwbal effect (2)

Meta-analyses & systematische reviews• Zoekstrategie: zinvolle aanvullingen?• Referentielijst: heeft u niets gemist?

Nieuwe titels?– Uw search filter klopt nog niet! – Nieuwe tiab woorden?

– Toevoegen!

Sneeuwbal effect (3)

Web of Science– Cited in & cited by

Nieuwe titels?– Uw search filter klopt nog niet! – Nieuwe tiab woorden?

– Toevoegen!

Iteratief zoekproces

ZoekprocesZoekstrategie

Domein

Keyword OR Keyword

Determinant Uitkomst

Keyword OR Keyword

Keyword OR Keyword

AND AND

Definitieveselectie

EBM in 5 stappen

1. Probleem → Vraag

2. Vraag → Zoeken/selectie

3. Selectie → Gegevens

4. Validiteit Data

Bewijskracht uitkomsten

5. Eindrapportage /

samenvatting → EBCR

Geschreven Presentatie

Week

Selectieartikelen

Zoekvraag(her) formuleren

Controle gerelateerde

artikelen

Nieuwe paper(s)?

[Ja]

[Nee]

Web Of Science Ref.

Review Ref.

Related articles Ref.

MEM Prinicpes op een rij

• Stuur op NNR• Iteratief zoekproces

– Ga door tot resultaat convergeert

• Start met Vraagstelling: D D U / D P T (!)• Zoek creatief & logisch naar synoniemen• Zoek met [tiab] • Gebruik Index, History & Details • Vermijd MeSH etc, limits, clinical queries• Screenen 250 titels per uur

Voetangels & klemmen

P-values

Reporting bias

Publicatie bias

Informatie waarde van artikel

• Relevantie, validiteit, precisie, tijd, moeite

– Is alles wat statistisch significant is,

ook klinisch relevantklinisch relevant?

– Is alles wat klinisch relevant is,

ook statistisch significantstatistisch significant?

Publicatie waarde van artikel

Wat haalt het tijdschrift?

Wat staat in titel & abstract?– Het “positieve” P<0.05– Publicatie waarde 1 / P-value

Zoeken via TIAB of MeSH?– Reporting & publicatie bias?

• Informatieve titels & abstracts?• MeSH misclassificatie?

Reporting & publicatie bias?

Domeintiab

Determinanttiab

Uitkomsttiab

Diagnose ? Klachten ? Test Ziekte

Prognose Ziekte ? Test ? Mortaliteit etc

Therapie Ziekte Therapie ? Mortaliteit etc ?

Do you consider to MeSH up your search?

MeSH database

Thesaurus – Systematische trefwoorden catalogus

• Inhoudelijk gerelateerde termen• Hiërarchische ordening termen

– Boom structuur• Stam, tak, zijtak, blad

– Brede termen hoog – Specifieke termen laag

Thesaurus

• Duidelijk afgebakende medische disciplines ?

• Arbitraire indeling !– Gerelateerde medische termen – Historisch bepaald (“uit de oude doos”)– Collectie boeken

• Wat als nieuwe tak van sport ontstaat? – Thesaurus loopt achter feiten aan– Indexering “landmark studies” niet aangepast

MeSH = levende boom

• Groei & snoei leiden tot aanpassing• Aanpassing compliceert eenduidig gebruik

van MeSH termen

• Epicondylitis• AIDS & HIV• CT & MR• Biomarkers

Overzicht aanpassing MeSH 2007/8

• 24.357 MeSH termen

• 494 nieuwe termen toegevoegd (!)

• 22 termen verwijderd (!)

• 99 termen vervangen door “more up-to-date terminology” (?)

MeSH record indexering

Pas 3 - 18 maanden na publicatie • Indexed for medline (= MeSH indexed)

Tot dan titel status =• As supplied by publisher • In process

– nietniet via MeSH te vinden

– welwel via tiab

Clinical Queries?Pas op met gebruik ervan!

Reduceert aantal titels fors– MeSH gerelateerde termen!

Doen ze wat u wilt?– Zijn ze wel accuraat (bewijs)?– Is gebruik ervan wel efficiënt (bewijs)?

Accuracy & efficiency afhankelijk van onderwerp!– Rendement hangt af van initiële zoekstrategie

Limits?Pas op met gebruik ervan!

Reduceert aantal titels fors– MeSH gerelateerde termen!

Doen ze wat u wilt?– Zijn ze wel accuraat (bewijs)?– Is gebruik ervan wel efficiënt (bewijs)?

Quick maar ‘DIRTY’ – Contraproductief!

Learning by doing

Expertise is not only gained by sustained practice, but largely by receiving feedback that helps you to understand your misguided decisions and technical errors.

A.R. Feinstein

Stellingen

Stellingen

Een onderzoeksdokter en een patiëntendokter moeten op de zelfde wijze zoeken naar best evidence.

Stellingen

Als je op een traditionele manier naar best evidence zoekt, vind je niet wat je zoekt, en zoek je niet wat je vindt.

Stellingen

De overeenkomst tussen bibliografische zoekfilters en metereologische voorspelmodellen is groter op het eerste gezicht lijkt.

Stellingen

Het is hoog tijd dat er ordentelijk onderzoek gedaan gaat worden naar best evidence zoeken.

Vragen ?