guide to reviewing published evidence for use in hia - lho england - 2006

13
1 How to use this Guide This Guide provides a step-by-step framework to assist practitioners in reviewing literature for use in a health impact assessment (HIA). A literature review is an essential component of the evidence used in the appraisal stage (see Figure). As there may be limited time and resources available, this guide presents both essential components that must be included, even in a brief literature review, and additional elements than can be included when resources (including time and skills) permit, for more comprehens ive literature reviews. When using this Guide, please consider what type of review you are undertaking. If you are yourself making (or commissioning) a new review of original research papers, this resource should help you ensure your review is rigorous. When commissioning a review, consider what is practical within the available resources (time and people/money ) as well as what standards are wanted. This Guide may also be used to help appraise the quality of an existing review, whether based on original studies or drawing on one or more reviews by other authors. In this case each review will provide ‘second-hand’ reports of several original studies. This resource aims to help you  judge the quality of the review process that other authors have applied. A glossary of key terms used in this Guide can be found at www.lho.org.uk/HIA/ ReviewingEvidence.aspx The need for this Guide Evidence in HIA includes:  published evidence from elsewhere (eg peer-reviewed journal articles and ‘grey' literature) local data (eg community proles, census data) stakeholder experience (write-ups from stakeholder workshop s, surveys, etc.) (see Figure). This Guide is limited to helping the reader to review published evidence , both scientic (research) literature in peer-review ed journals and grey literature, mostly internal documents from a range of disparate organisati ons, including other HIAs. This then needs to be integrated with the other sources of evidence. Reviewing evidence for use in HIA presents a number of challenges: • A f ocus on complex and/or multiple intervention s or policy proposals, and their diverse effects on determinants of health. Diversity of the evidence – relevant disciplines, study designs, quality criteria and sources of information. Because of the wide range of interventions and approaches that may contribute to improving health and the broad range of health impacts, there is a need to search, obtain and appraise a broad literature.  A Guide to Reviewing Published Evidence for use in Health Impact Assessment Screening Recommendations Scoping Infuencing decisions Proposal appraisal Published evidence Local data Stakeholders' experience Use of evidence in an HIA framework 

Upload: publichealthbydesign

Post on 30-May-2018

226 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

8/14/2019 Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

http://slidepdf.com/reader/full/guide-to-reviewing-published-evidence-for-use-in-hia-lho-england-2006 1/121 

How to use this Guide

This Guide provides a step-by-step framework

to assist practitioners in reviewing literature

for use in a health impact assessment (HIA).

A literature review is an essential component

of the evidence used in the appraisal stage

(see Figure). As there may be limited time andresources available, this guide presents both

essential components that must be included,

even in a brief literature review, and additional

elements than can be included when resources

(including time and skills) permit, for more

comprehensive literature reviews.

When using this Guide, please consider what

type of review you are undertaking. If you are

yourself making (or commissioning) a new

review of original research papers, this resourceshould help you ensure your review is rigorous.

When commissioning a review, consider what

is practical within the available resources (time

and people/money) as well as what standards

are wanted.

This Guide may also be used to help appraise

the quality of an existing review, whether based

on original studies or drawing on one or more

reviews by other authors. In this case each review

will provide ‘second-hand’ reports of severaloriginal studies. This resource aims to help you

 judge the quality of the review process that other 

authors have applied.

A glossary of key terms used in this Guide

can be found at www.lho.org.uk/HIA/

ReviewingEvidence.aspx

The need for this Guide

Evidence in HIA includes:•  published evidence from elsewhere (eg

peer-reviewed journal articles and ‘grey'

literature)

• local data (eg community proles, census data)

• stakeholder experience (write-ups from

stakeholder workshops, surveys, etc.) (see

Figure).

This Guide is limited to helping the reader 

to review published evidence, both scientic

(research) literature in peer-reviewed journals

and grey literature, mostly internal documents

from a range of disparate organisations,

including other HIAs. This then needs to be

integrated with the other sources of evidence.

Reviewing evidence for use in HIA presents a

number of challenges:

• A f ocus on complex and/or multiple

interventions or policy proposals, and their 

diverse effects on determinants of health.

• Diversity of the evidence – relevant

disciplines, study designs, quality criteria

and sources of information. Because of the

wide range of interventions and approaches

that may contribute to improving health andthe broad range of health impacts, there is

a need to search, obtain and appraise a

broad literature.

 A Guide to ReviewingPublished Evidence for use

in Health Impact Assessment

Screening

Recommendations

Scoping

Infuencing decisions

Proposalappraisal

Publishedevidence

Localdata

Stakeholders'experience

Use of evidence in an HIA framework 

Page 2: Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

8/14/2019 Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

http://slidepdf.com/reader/full/guide-to-reviewing-published-evidence-for-use-in-hia-lho-england-2006 2/122 London Health Observatory

• Need for, but paucity of, evidence on the

reversibility of adverse factors damaging

to health (most evidence is of associations

between factors and adverse effects, not

studies of reversing these).

• Need to seek evidence about potential

impacts on inequalities as well as on overalleffects.

• Broad range of stakeholders involved.

• Need to apply HIA within the realities of 

policy-making, planning and decision-making

processes, which can often mean short time

scales and limited resources.

• Pragmatic need to inform decision-makers,

even if evidence is sparse.

These factors have implications for 

commissioning and conducting literature

reviews to ensure ethical use of evidence. For 

more detail see Mindell et al. (2004)*.

Types of literature review

A number of terms are used to describe the

approaches to conducting literature reviews.

More information on types of literature review

and different approaches to conducting them

can be found at: www.lho.org.uk/hia/Reviewing

EvidenceHIA.aspxIn this Guide we use two terms: brief and more

comprehensive. While it is acknowledged

that a comprehensive, systematic review of 

all relevant literature will provide the best

evidence, such reviews generally take many

person-months (or years) to complete and

require resources not generally available to

those conducting HIA. In practice, brief reviews

are generally conducted, taking a few days or 

weeks. These have been of variable quality.Critical appraisal of such reviews is hampered

when the methods used are not explicitly

stated.

Training organisations

• Critical Appraisal Skills Programme, Oxford

http://www.phru.nhs.uk/casp/casp.htm

• Centre for Reviews and Dissemination – Systematic

reviews and critical appraisal

http://www.york.ac.uk/inst/crd/crdtraining.htm#sr 

• National Training and Research Appraisal Group – Critical

appraisal of qualitative research http://www.ntrag.co.uk

Weblinks

• Catalogue of evidence-based

medicine/healthcare websites:

http://www.herts.ac.uk/lis/subjects/

health/ebm.htm#ebmint

• Health Impact Assessment:

http://www.publichealth.nice.org.uk/

hiagateway

This Guide indicates the minimum criteria that

are essential in any literature review, however 

brief or however limited the resources, and also

suggests additional elements to be included

when circumstances permit, to add to the

robustness of a review’s conclusions.

Nine steps to reviewing theevidence

The following tables provide details on the

nine steps reviewers should follow. Less-

experienced reviewers will nd it helpful to

work through the steps in the order presented,

to ensure the review process proceeds in

rational stages. More experienced reviewers

will be familiar with the steps involved in

carrying out a review, and may want to focus

on certain areas to conrm particular aspects

of good practice.

Reviewing evidence is an iterative process.

The question/s to be answered need to be

formulated at the beginning (step A), but the

availability and content of primary studies

and/or reviews (steps B, E and F) often rene

the question/s remaining to be answered. For 

example, to answer the question ‘What are

the potential impacts of congestion charging 

on health and inequalities?’ , an absence of 

specic evidence on congestion charging might

generate less specic questions on the impacts

of congestion, trafc reduction, access, or job

losses. Although framing the question is the rst

step, it will often need to be revised.

Those conducting a literature review should

be familiar with the basic concepts of critical

appraisal (assessing the quality and relevance

of evidence) and research methods. Some

organisations offer critical appraisal training in

the UK (see below).

*Mindell J, Boaz A, Joffe M, Curtis S, Birley M. Enhancing the evidence base for health impact assessment. Journal of 

Epidemiology and Community Health 2004; 58(7): 546-551. http://jech.bmjjournals.com/cgi/reprint/58/7/546.pdf 

Page 3: Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

8/14/2019 Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

http://slidepdf.com/reader/full/guide-to-reviewing-published-evidence-for-use-in-hia-lho-england-2006 3/12

Page 5: Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

8/14/2019 Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

http://slidepdf.com/reader/full/guide-to-reviewing-published-evidence-for-use-in-hia-lho-england-2006 5/125 Reviewing evidence for use in HIA 

   S   t  e  p   C

  :   P  u  r  p  o  s  e ,  o  r  g  a  n   i  s  a   t   i  o  n

  a  n   d  s   t  r  u  c   t  u  r  e

   E  s  s  e  n   t   i  a   l  s   t  e  p  s   i  n  a   b  r   i  e   f   l   i   t  e  r  a   t  u  r  e  r  e  v   i  e  w

   A   d   d   i   t   i  o  n  a   l  e   l  e  m  e  n   t  s   f  o  r  a  m  o  r  e

  c  o  m  p  r  e   h  e  n  s   i  v  e   l   i   t  e  r  a

   t  u  r  e  r  e  v   i  e  w

   T   i  p  s

  a  n   d  r  e  s  o  u  r  c  e  s

   C   1 .   T   h  e  o  r  g  a  n   i  s  a   t   i  o  n  p  r  o   d  u  c   i  n  g   t   h  e  r  e  v   i  e  w ,  a  n   d

 

   t   h  e  p

  u  r  p  o  s  e  o   f   t   h  e  r  e  v   i  e  w ,  s   h  o  u   l   d   b  e  s   t  a   t  e   d

 

  c   l  e  a  r   l  y

   C   2 .   I   t  s   h  o  u   l   d   b  e  c   l  e  a  r  w   h  o   i  s  c  o  n   d  u  c   t   i  n  g   t   h

  e

 

   l   i   t  e  r  a

   t  u  r  e  r  e  v   i  e  w   (  n  a  m  e  a  n   d  p  o  s   i   t   i  o  n   )

   I   f  s  e  v  e  r  a   l  s   t  a   f   f  a  r  e   i  n  v  o   l  v  e   d ,   i   t  s   h  o  u   l   d   b  e  c   l  e  a  r  w   h  o

   i  s  r  e  s  p  o  n  s   i   b   l  e   f  o  r  w   h   i  c   h  r

  o   l  e

   C   3 .   T   h  e  r  e  v   i  e  w  s   h  o  u   l   d   b  e  s   t  r  u  c   t  u  r  e   d   t  o   i  n  c   l  u   d  e  :

 

  •   t   h  e

  r  e  v   i  e  w  q  u  e  s   t   i  o  n

 

  •   d  e   t  a   i   l  s  o   f   t   h  e   l   i   t  e  r  a   t  u  r  e  s  e  a  r  c   h  c  o  n   d  u

  c   t  e   d

 

   (   S   t  e  p   E   )

 

  •     n   d   i  n  g  s   (   S   t  e  p  s   F  a  n   d   G   )

 

  •  r  e   f

  e  r  e  n  c  e  s   f  o  r  a   l   l  a  r   t   i  c   l  e  s  a  n   d  r  e  p  o  r   t  s

 

   i  n  c

   l  u   d  e   d

 

  •  c  o  n  c   l  u  s   i  o  n  s   (   S   t  e  p   H   )

 

  •   d  a   t  e  o   f  c  o  m  p   l  e   t   i  o  n  o   f   l   i   t  e  r  a   t  u  r  e  r  e  v   i  e  w

   T   h  e  r  e  v   i  e  w  c  o  u   l   d  a   l  s  o   i  n  c   l  u   d  e  :

  •  w   h  o  c  o  n   t  r   i   b  u   t  e   d   t  o   f  o  r  m  u   l  a   t   i  n  g   t   h  e  r  e  v   i  e  w

 

  q  u  e  s   t   i  o  n   /  s   ?

  •  a  s  u  m  m  a  r  y  o   f  e  a  c   h  s   t  u

   d  y   i  n  c   l  u   d  e   d

  •  c  r   i   t   i  c  a   l  a  p  p  r  a   i  s  a   l  o   f  e  a  c   h  a  r   t   i  c   l  e  o  r  r  e  p  o  r   t

 

   i  n  c   l  u   d  e   d   (   S   t  e  p   F   )

  •   d   i  s  c  u  s  s   i  o  n  o   f   t   h  e  a  u   t   h  o  r   '  s   b   i  a  s  e  s  a  n   d  v  a   l  u  e  s

   A   b  r   i  e

   f  r  e  v   i  e  w  m  a  y   b  e   b  a  s  e   d  o  n  e  x   i  s   t   i  n  g  r  e  v   i  e  w  s  a  n   d   /  o  r

  o  n  p  r   i  m  a  r  y  r  e  s  e  a  r  c   h  r  e  p  o  r   t  s

   C   4 .   T   h  e  r  e  v   i  e  w  s   h  o  u   l   d   b  e  r  e  a   d   b  y  a   t   l  e  a  s   t  o  n  e

 

  p  e  r  s  o  n  n  o   t   i  n  v  o   l  v  e   d   i  n  c  o  n   d  u  c   t   i  n  g   i   t

   T   h  e  r  e  v   i  e  w  s   h  o  u   l   d   b  e  s  u   b   j  e  c   t   t  o  e  x   t  e  r  n  a   l  p  e  e  r

 

  r  e  v   i  e  w   b  e   f  o  r  e   d   i  s  s  e  m   i  n  a   t   i  o  n ,  a  n   d   d  e   t  a   i   l  s  o   f   t   h  e

  p  e  e  r  -  r  e  v   i  e  w  p  r  o  c  e  s  s  s   h  o  u   l   d   b  e  n  o   t  e   d

   F  o  r  c  o  n      d  e  n  c  e   i  n   t   h  e  u  n   b   i  a  s  e   d  n  a   t  u  r  e  o   f   t   h  e

  r  e  v   i  e  w ,   t   h  e  w  o  r   k  s   h  o  u   l   d   b

  e  s   t  e  e  r  e   d   b  y  p  e  e  r  s  o  r  a

  s  u   i   t  a   b   l  e  a   d  v   i  s  o  r  y  p  a  n  e   l ,   i  n  c   l  u   d   i  n  g  s   t  a   k  e   h  o   l   d  e  r  s

   T   h  e   C

   R   D  s  y  s   t  e  m  a   t   i  c  r  e  v   i  e  w  o   f   P  u   b   l   i  c   W

  a   t  e  r   F   l  u  o  r   i   d  a   t   i  o  n

   h  a   d  a

  n  e  x  p  e  r   t   A   d  v   i  s  o  r  y   B  o  a  r   d  :

      h     t     t    p    :      /      /    w  w  w .  y  o  r   k .  a  c .  u   k   /   i  n  s   t   /  c  r   d   /  p   d   f   /     u  o  r   i   d .  p   d   f

   N   H   S   S  e  r  v   i  c  e   D  e   l   i  v  e  r  y  a  n   d   O  r  g  a  n   i  s  a   t   i  o  n

   (   S   D   O   )  r  e  v   i  e  w  s

   t  e  n   d   t  o   i  n  v  o   l  v  e  a   d  v   i  s  o  r  y  g  r  o  u  p  s  e  g   N  u  r  s  e   i  n  n  o  v  a   t   i  o  n  s

   f  o  r  p  a

   t   i  e  n   t  s   i  n   t   h  e  c  o  m  m  u  n   i   t  y  w   i   t   h   C   O   P   D  :  a  n  e  x   t  e  n   d  e   d

  s  y  s   t  e  m  a   t   i  c  r  e  v   i  e  w  :

      h     t     t    p    :      /      /    w    w  w .   i  c   h  s .  q  m  u   l .  a  c .  u   k   /  r  e  s  e  a  r  c   h   /  g  p

  p  c   /  p  u   b   l   i  c   h  e  a   l   t   h

   I   f   i   t   i  s  e  n  v   i  s  a  g  e   d   t   h  a   t   t   h  e

   l   i   t  e  r  a   t  u  r  e  r  e  v   i  e  w  w   i   l   l   b  e

  u  s  e   d   b  e  y  o  n   d   t   h   i  s   H   I   A ,  a   d  a   t  e   f  o  r  u  p   d  a   t   i  n  g  s   h  o  u   l   d

   b  e  p   l  a  n  n  e   d

Page 6: Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

8/14/2019 Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

http://slidepdf.com/reader/full/guide-to-reviewing-published-evidence-for-use-in-hia-lho-england-2006 6/12

Page 7: Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

8/14/2019 Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

http://slidepdf.com/reader/full/guide-to-reviewing-published-evidence-for-use-in-hia-lho-england-2006 7/127 Reviewing evidence for use in HIA 

   S   t  e  p   E

  :   L   i   t  e  r  a   t  u  r  e  s  e  a  r  c   h

   E  s  s  e  n   t   i  a   l  s   t  e  p  s   i  n  a   b  r   i  e   f   l   i   t  e  r  a   t  u  r  e  r  e  v   i  e  w

   A   d   d   i   t   i  o  n  a   l  e   l  e  m  e  n   t  s

   f  o  r  a  m  o  r  e

  c  o  m  p  r  e   h  e  n  s   i  v  e   l   i   t  e  r

  a   t  u  r  e  r  e  v   i  e  w

   T   i  p

  s  a  n   d  r  e  s  o  u  r  c  e  s

   T   h  e   l   i   t  e  r  a

   t  u  r  e  r  e  v   i  e  w  s   h  o  u   l   d   b  e  e  x  p   l   i  c   i   t  a   b  o

  u   t   t   h  e

  s  e  a  r  c   h  s   t  r  a   t  e  g   i  e  s  u  s  e   d .   S  p  e  c   i     c   i  s  s  u  e  s   t   h  a

   t  n  e  e   d

   t  o   b  e  r  e  c

  o  r   d  e   d   i  n  c   l  u   d  e  :

   I  n  v  o   l  v  e  a   l   i   b  r  a  r   i  a  n  o  r   i  n   f  o  r  m  a   t   i  o  n  s  p  e  c   i  a   l   i  s   t  o  n

  s  e  a  r  c   h   t  e  r  m  s ,  s  e  a  r  c   h  s   t  r  a   t  e  g   i  e  s  a  n   d   d  a   t  a   b  a  s  e  s

      h     t     t    p    :      /      /    w  w  w .  e  v   i   d  e  n  c  e  n  e   t  w  o  r   k .  o  r  g

   E   1 .   R  a  n  g  e  o   f  y  e  a  r  s   (  p  u   b   l   i  c  a   t   i  o  n   d  a   t  e  s   )   i  n  c

   l  u   d  e   d

   E   2 .   L   i   t  e  r

  a   t  u  r  e   d  a   t  a   b  a  s  e   /  s  s  e  a  r  c   h  e   d

      h     t     t    p    :      /      /  e  v   i   d  e  n  c  e  n  e   t  w  o  r   k .  o  r  g   /  r  e  s  o  u  r  c  e  s .     h

     t    m     l

   E   3 .   D  e   t  a

   i   l  s  o   f  s  e  a  r  c   h   t  e  r  m  s  u  s  e   d

   Y  o  u  m  a  y  w   i  s   h   t  o   k  e  e  p  y  o  u  r  s  e  a  r  c   h   t  e

  r  m  s   b  r  o  a   d   t  o

   i   d  e

  n   t   i   f  y   t   h  e   f  u   l   l  r  a  n  g  e  o   f  r  e   l  e  v  a  n   t   i  n   f  o  r  m  a   t   i  o  n ,   b  u   t   t   h   i  s

  m  a

  y  m  e  a  n   b  e   i  n  g  o  v  e  r  w   h  e   l  m  e   d  w   i   t   h   t   h  e  n  u  m   b  e  r  o   f

   h   i   t  s

 .   W   h  e  n  s   h  o  r   t  o   f   t   i  m  e ,  a   i  m   f  o  r  s  p  e  c   i     c   i   t  y  r  a   t   h  e  r   t   h  a  n

  s  e  n

  s   i   t   i  v   i   t  y   (  a   h   i  g   h  r  a   t   i  o  o   f  r  e   l  e  v  a  n   t   t  o

   i  r  r  e   l  e  v  a  n   t   h   i   t  s   )

   E   4 .   L  a  n  g  u  a  g  e  s  o   f  a  r   t   i  c   l  e  s   i  n  c   l  u   d  e   d

   E   5 .   L   i  s   t  o   f  e  x  p  e  r   t  s  c  o  n   t  a  c   t  e   d   (   i   f  a  n  y   )

   E   6 .   W   h  e

   t   h  e  r  g  r  e  y   l   i   t  e  r  a   t  u  r  e  w  a  s   i  n  c   l  u   d  e   d ,

  a  n   d

 

   h  o  w

   i   t  w  a  s   i   d  e  n   t   i     e   d

   S  p  e  c   i   f  y  s  e  a  r  c   h  c  r   i   t  e  r   i  a  a  n   d  s  o  u  r  c  e  s  u

  s  e   d ,  e .  g .   I  n   t  e  r  n  e   t ,

  c  o  n

   t  a  c   t  w   i   t   h  o  r  g  a  n   i  s  a   t   i  o  n  s ,   d  a   t  e   /  s  o   f  s  e  a  r  c   h

   S  e  a  r  c   h  c   i   t  e   d  r  e   f  e  r  e  n  c  e  s   f  r  o  m  a  r   t   i  c   l  e  s   i   d  e  n   t   i     e   d

   H  a  n   d  -  s  e  a  r  c   h  c  o  n   t  e  n   t  s  o   f  p  o   t  e  n   t   i  a   l   l  y  r  e   l  e  v  a  n   t

   j  o  u  r  n  a   l  s

   E   7 .   N  u  m

   b  e  r  o   f  a  r   t   i  c   l  e  s  o  r  r  e  p  o  r   t  s   i   d  e  n   t   i     e   d

   b  y   t   h  e

 

  s  e  a  r

  c   h   t   h  a   t  c  o  n   t  r   i   b  u   t  e   t  o   t   h  e   l   i   t  e  r  a   t  u  r  e

  r  e  v   i  e  w

   A   t  a   l   l  y  s   h  o  u   l   d   b  e   k  e  p   t  o   f  :

  •   t  o   t  a   l  n  u  m   b  e  r  o   f   i   t  e  m  s

   i   d  e  n   t   i     e   d   b  e   f  o  r  e   i  n  c   l  u  s   i  o  n

   a  n   d  e  x  c   l  u  s   i  o  n  c  r   i   t  e  r   i  a

  a  r  e  a  p  p   l   i  e   d

  •  n  u  m   b  e  r   t   h  a   t  m  e  e   t   i  n  c

   l  u  s   i  o  n  c  r   i   t  e  r   i  a

  •  n  u  m   b  e  r  e  x  c   l  u   d  e   d   (  w   i   t   h  r  e  a  s  o  n  s   )

   I   d  e  a   l   l  y ,   t  w  o   i  n   d  e  p  e  n   d  e  n

   t  a  s  s  e  s  s  o  r  s  s   h  o  u   l   d  a  p  p   l  y   t   h  e

   i  n  c   l  u  s   i  o  n  a  n   d  e  x  c   l  u  s   i  o  n

  c  r   i   t  e  r   i  a

   I   t   i  s

   i  m  p  o  r   t  a  n   t   t  o  e  n  s  u  r  e  r  e  m  o  v  a   l  o   f   d

  u  p   l   i  c  a   t  e  r  e  c  o  r   d  s

  o   f   i   d  e  n   t   i  c  a   l  p  a  p  e  r  s   f  o  u  n   d   i  n   d   i   f   f  e  r  e  n   t   d  a   t  a   b  a  s  e  s .   W   h  e  r  e

  a  s

  e  r   i  e  s  o   f  a  r   t   i  c   l  e  s  p  r  e  s  e  n   t   d   i   f   f  e  r  e  n   t  r  e  s  u   l   t  s   f  r  o  m   t   h  e

  s  a  m

  e  s   t  u   d  y  p  o  p  u   l  a   t   i  o  n ,   i   t   i  s  v  a   l   i   d   t  o   i  n  c   l  u   d  e   t   h  e  s  e ,   b  u   t

  w   h  e  r  e  s   i  m   i   l  a  r  r  e  s  u   l   t  s  a  r  e  r  e  p  o  r   t  e   d  m  o  r  e   t   h  a  n  o  n  c  e   (  e .  g .

     v  e

  -  y  e  a  r  a  n   d   1   0  -  y  e  a  r   f  o   l   l  o  w  -  u  p  ;  o  r  a  n   i   d  e  n   t   i  c  a   l  s   t  u   d  y

  r  e  p

  o  r   t  e   d   i  n   d   i   f   f  e  r  e  n   t  p  a  p  e  r  s   ) ,  e  n  s  u  r  e

   t   h  e  r  e   i  s  n  o   d  o  u   b   l  e  -

  c  o  u

  n   t   i  n  g  w   h  e  n  c  o  n  s   i   d  e  r   i  n  g   t   h  e  w  e   i  g   h

   t  o   f  e  v   i   d  e  n  c  e

   E   8 .   C  o  m

  m  e  n   t  s  o  n  a  n  y  c  o  n  s   t  r  a   i  n   t  s ,  e .  g .   i   f   t   h  e

 

   l   i   t  e  r  a

   t  u  r  e  r  e  v   i  e  w  w  a  s   l   i  m   i   t  e   d   b  y   t   i  m  e ,  a

  c  c  e  s  s

 

   t  o   d  a   t  a   b  a  s  e  s ,  o  r   i  n  a   b   i   l   i   t  y   t  o  o   b   t  a   i  n  c  o  p

   i  e  s  o   f

 

  p  a  p  e  r  s

Page 8: Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

8/14/2019 Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

http://slidepdf.com/reader/full/guide-to-reviewing-published-evidence-for-use-in-hia-lho-england-2006 8/128 London Health Observatory

   S   t  e  p   F  :   C  r   i   t   i  c  a   l   a  p  p  r  a   i  s  a   l

   E  s  s  e  n   t   i  a   l  s   t  e  p  s   i  n  a   b  r   i  e   f   l   i   t  e  r  a   t  u  r  e  r  e  v   i  e  w

   A   d   d   i   t   i  o  n  a   l  e   l  e  m  e  n   t  s   f  o  r  a  m  o  r  e

  c  o  m  p  r  e   h  e  n  s   i  v  e   l   i   t  e  r  a

   t  u  r  e  r  e  v   i  e  w

   T   i  p  s

  a  n   d  r  e  s  o  u  r  c  e  s

   F   1 .   A  n  y  w  e  a   k  n  e  s  s  e  s   i  n  a  s   t  u   d  y   t   h  a   t  m  a  y  a

   f   f  e  c   t

 

  y  o  u  r

  c  o  n      d  e  n  c  e   i  n   i   t  s  c  o  n  c   l  u  s   i  o  n   (  w   h   i  c

   h  m  a  y

 

  a   f   f  e  c

   t   t   h  e  q  u  a   l   i   t  y  o   f   t   h  e   l   i   t  e  r  a   t  u  r  e  r  e  v   i  e  w

   )

 

  s   h  o  u

   l   d   b  e  e  x  p   l   i  c   i   t   l  y  n  o   t  e   d ,  e .  g .   l  a  c   k  o   f

 

   i  m  p  a

  r   t   i  a   l   i   t  y  o   f  s  o  u  r  c  e  s  ;  s  u   i   t  a   b   i   l   i   t  y  a  n   d  r   i  g  o  u  r

 

  o   f  r  e  s  e  a  r  c   h  m  e   t   h  o   d  s   (   i  n  c   l  u   d   i  n  g  s  u   f     c   i  e

  n   t

 

  s  a  m  p   l  e  s   i  z  e   )  ;   h  o  w   f  a  r  c  o  n  c   l  u  s   i  o  n  s  a  r  e

 

  s  u  p  p

  o  r   t  e   d   b  y  r  e  s  u   l   t  s

   A  p  p   l  y  a  p  p  r  o  p  r   i  a   t  e  q  u  a   l   i   t  y

  c  r   i   t  e  r   i  a  a  c  c  o  r   d   i  n  g   t  o

 

   t   h  e  s   t  u   d  y   d  e  s   i  g  n  o   f  e  a  c   h

  a  r   t   i  c   l  e  o  r   l   i   t  e  r  a   t  u  r  e

 

  r  e  v   i  e  w   i   d  e  n   t   i     e   d   f  o  r   i  n  c   l  u  s   i  o  n   i  n   t   h  e  r  e  v   i  e  w   (   i   f  s  u  c   h

  a   t  o  o   l  e  x   i  s   t  s   )

   I   t  m  a  y   b  e  m  o  r  e  e   f     c   i  e  n   t   i  n  a   t   i  m  e  -   l   i  m   i   t  e   d  r  e  v   i  e  w   t  o  u  s  e

  r  e   l  e  v  a

  n   t  c  r   i   t   i  c  a   l  a  p  p  r  a   i  s  a   l   t  o  o   l  s ,  o  r   t  o  s  p  e  c   i   f  y  a   f  e  w   ‘   f  a   t  a   l

     a  w  s   ’   t  o   l  o  o   k  o  u   t   f  o  r ,

  e .  g .  w

   h  e  n  a  p  p  r  a   i  s   i  n  g  a  n  e  x   i  s   t   i  n  g  r  e  v   i  e  w

 ,   i   f   t   h  e  s  e  a  r  c   h

  s   t  r  a   t  e

  g  y   i  s  s  o   i  n  a   d  e  q  u  a   t  e   (  o  r  n  o   t  s  p  e  c   i   

  e   d  a   t  a   l   l   )   t   h  a   t

   t   h  e  r  e

  v   i  e  w     n   d   i  n  g  s  a  r  e  m  e  a  n   i  n  g   l  e  s  s ,  y  o

  u  m  a  y  e  x  c   l  u   d  e   i   t

  w   i   t   h  o  u   t   f  u  r   t   h  e  r  a  p  p  r  a   i  s  a   l

   F  o  r  e  x  a  m  p   l  e  s  o   f  q  u  a   l   i   t  y  a  p  p  r  a   i  s  a   l   t  o  o   l  s  :

       h       t       t      p      :        /        /    w    w    w .      l      h    o .    o    r    g .    u

      k      /    v      i    e    w      R    e    s    o    u    r    c    e .    a    s

    p    x      ?      i      d    =      1      0      6      1      6

  w  w  w .  n   h  m  r  c .  g  o  v .  a  u   /  p  u   b   l   i  c  a   t   i  o  n  s   /  s  y  n  o  p  s

  e  s   /  c  p   6   5  s  y  n .   h   t  m

       h       t       t      p      :        /        /  w  w    w .   f   h   i .  s  e   /   t  e  m  p   l  a   t  e  s   /   P  a  g  e_

   1   3   0   5 .  a  s  p  x

   F   2 .   I   t  s   h  o  u   l   d   b  e  s   t  a   t  e   d  e  x  p   l   i  c   i   t   l  y   i   f  a  n  y  a  r   t   i  c

   l  e  s

 

  o  r  r  e  p  o  r   t  s   h  a  v  e   b  e  e  n  e  x  c   l  u   d  e   d  o  n   t   h  e

 

  g  r  o  u  n   d  s  o   f  q  u  a   l   i   t  y

   R  e  p  o  r   t  o  n  a  n  y  m  e   t   h  o   d  u  s  e   d   t  o  g  r  a   d  e   t   h  e

 

  q  u  a   l   i   t  y  o   f  e  a  c   h  p  a  p  e  r   (  e .  g .  s   t  r  o  n  g  –  w  e  a   k  ;   1  –   5  ;

 

  g  o  o   d  e  n  o  u  g   h   /  n  o   t  g  o  o   d  e  n  o  u  g   h   )

   I   f   t   h  e

   l   i   t  e  r  a   t  u  r  e   i  s  s  p  a  r  s  e ,   t   h  e  r  e  m  a  y   b  e

  a  n  e  e   d   t  o   i  n  c   l  u   d  e

   l  o  w  e  r  -  q  u  a   l   i   t  y  s   t  u   d   i  e  s  o  r  a  r   t   i  c   l  e  s   b  u   t   t   h  e   i  r   d  e     c   i  e  n  c   i  e  s

  s   h  o  u   l   d   b  e   h   i  g   h   l   i  g   h   t  e   d  w   h  e  n   d   i  s  c  u  s  s   i  n  g

   t   h  e  s   t  u   d  y  a  n   d

   i   t  s     n   d   i  n  g  s  a  n   d   d  r  a  w   i  n  g  c  o  n  c   l  u  s   i  o  n  s .   H  o  w  e  v  e  r ,  a   l  o  w  e  r  -

  q  u  a   l   i   t  y  s   t  u   d  y  m  a  y   b  e  a  n  s  w  e  r   i  n  g  a   d   i   f   f  e  r  e  n   t  q  u  e  s   t   i  o  n ,  o  r

   b  e   f  r  o

  m  a  r  e  a   l  -   l   i   f  e  s  e   t   t   i  n  g ,  s  o  m  a  y   h  a  v  e

   b  e   t   t  e  r  e  x   t  e  r  n  a   l

  v  a   l   i   d   i   t  y

   Q  u  a   l   i   t  y  s   h  o  u   l   d   b  e  a  p  p  r  a   i  s  e   d   b  y   t  w  o   i  n   d  e  p  e  n   d  e  n   t

  a  s  s  e  s  s  o  r  s ,  a  n   d   d   i  s  c  r  e  p  a  n  c   i  e  s   d  e   t  a   i   l  e   d

   I   f  q  u  a   l   i   t  y  c  r   i   t  e  r   i  a  a  r  e  u  s  e   d

   t  o  e  x  c   l  u   d  e  s   t  u   d   i  e  s ,

  s  p  e  c   i   f  y   h  o  w   t   h   i  s  w  a  s   d  o  n

  e  a  n   d   d  e   t  a   i   l   t   h  e  s   t  u   d   i  e  s

  e  x  c   l  u   d  e   d

 

   F  r  a  m   i  n  g   t

   h  e  q  u  e  s   t   i  o  n   /  s ,  c  o  n   d  u  c   t   i  n  g   t   h  e   l   i   t  e  r

  a   t  u  r  e  s  e  a  r  c   h  a  n   d  r  e  v   i  e  w   i  n  g   t   h  e   l   i   t  e  r  a   t  u  r  e  a  r  e  a   l   l  p  a  r   t  s  o   f  a  n   i   t  e  r  a   t   i  v  e

  p  r  o  c  e  s  s ,  a  s   f   i  n   d   i  n  g  s  c  a  n  s  u  g  g  e  s   t

   f  u  r   t   h  e  r  q  u  e  s   t   i  o  n  s

   t   h  a   t   t   h  e  n  n  e  e   d   t  o   b  e  a  n  s  w  e  r  e   d ,  o  r  m  a  y  c   l  a  r   i   f  y  e  a  r   l   i  e  r  q  u  e  s   t   i  o  n  s .

   I   t   i  s   t   h  e  r  e   f  o  r  e

   h  e   l  p   f  u   l   t  o   d  e  s  c  r   i   b  e   h  o  w

  y  o  u  r  e  a  c   h  e   d  y  o  u  r  c  o  n  c   l  u  s   i  o  n  s ,

   t  o  c   l  a  r   i   f  y   t   h  e

  p  r  o  c  e  s  s   f  o   l   l  o  w  e   d .

Page 9: Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

8/14/2019 Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

http://slidepdf.com/reader/full/guide-to-reviewing-published-evidence-for-use-in-hia-lho-england-2006 9/129 Reviewing evidence for use in HIA 

   S   t  e  p   G

  :   I  n   t  e  r  p  r  e   t  a   t   i  o  n

   E  s  s  e  n   t   i  a   l  s   t  e  p  s   i  n  a   b  r   i  e   f   l   i   t  e  r  a   t  u  r  e  r  e  v   i  e  w

   i  n  c   l  u   d  e  :

   A   d   d   i   t   i  o  n  a   l  e   l  e  m  e  n   t  s   f  o  r  a  m  o  r  e

  c  o  m  p  r  e   h  e  n  s   i  v  e   l   i   t  e  r  a

   t  u  r  e  r  e  v   i  e  w

   i  n  c   l  u   d  e  :

   T   i  p  s

  a  n   d  r  e  s  o  u  r  c  e  s

   D  e   t  a   i   l  s  o   f  m  e   t   h  o   d   /  s  u  s  e   d

   f  o  r  e  x   t  r  a  c   t   i  n  g   d  a   t  a   f  r  o  m

   i  n   d   i  v   i   d  u  a   l  a  r   t   i  c   l  e  s  a  n   d  r  e  p  o  r   t  s

   G   1 .   D  e   t  a

   i   l  s  o   f  a  n  y  p  r  o  c  e  s  s  o  r  m  e   t   h  o   d  s  u  s  e

   d   t  o

 

  c  o  m   b   i  n  e  a  n   d  s  y  n   t   h  e  s   i  s  e   t   h  e     n   d   i  n  g  s  o

   f   t   h  e

 

  s   t  u   d   i  e  s  r  e  v   i  e  w  e   d   (  e   i   t   h  e  r  q  u  a  n   t   i   t  a   t   i  v  e  o  r

 

  q  u  a   l   i   t  a   t   i  v  e   /  n  a  r  r  a   t   i  v  e  m  e   t   h  o   d  s   )

   M  e   t   h  o   d  s  o   f  s  y  n   t   h  e  s   i  s   i  n  g

  s   t  u   d  y     n   d   i  n  g  s   (  e .  g .

   t   h  e  m  a   t   i  c  a  n  a   l  y  s   i  s ,  c  o  n   t  e  n   t  a  n  a   l  y  s   i  s  a  r  o  u  n   d   t   h  e  m  e  s

  o  r  q  u  e  s   t   i  o  n  s ,  o  r  m  e   t  a  -  a  n  a   l  y  s   i  s   i   f  a  p  p  r  o  p  r   i  a   t  e   ) .   A  r  e

   t   h  e   t  e  c   h  n   i  q  u  e  s  a  p  p   l   i  e   d  a  p  p  r  o  p  r   i  a   t  e   ?   (  e .  g .  s   t  a   t   i  s   t   i  c  s   )

   I  s   t   h  e  r  e   h  e   t  e  r  o  g  e  n  e   i   t  y   b  e

   t  w  e  e  n  s   t  u   d   i  e  s   ?

   S  e  e   H

   D   A  p  a  p  e  r  o  n   i  n   t  e  g  r  a   t   i  n  g  q  u  a   l   i   t  a   t   i  v  e  a  n   d  q  u  a  n   t   i   t  a   t   i  v  e

  r  e  s  e  a

  r  c   h  :

      h      t      t     p    :      /      /    w  w  w .  p  u   b   l   i  c   h  e  a   l   t   h .  n   i  c  e .  o  r  g .  u   k   /  p  a  g  e .  a

  s  p  x   ?   0  =   5   0        2        6        9        5

   E   S   R   C

  p  r  o   j  e  c   t  o  n  n  a  r  r  a   t   i  v  e  s  y  n   t   h  e  s   i  s  :

    w  w  w .  c  c  s  r .  a  c .  u   k   /  m  e   t   h  o   d  s   /  p  r  o   j  e  c   t  s   /  p  o  s   t  e

  r  s   /  p  o  p  a  y .  s   h   t  m   l

   G   2 .   D   i  s  c  u  s  s   i  o  n  o   f  g  a  p  s   i  n   t   h  e  e  v   i   d  e  n  c  e   f  o  u

  n   d   b  y

 

   t   h  e   l   i   t  e  r  a   t  u  r  e  s  e  a  r  c   h

   G   3 .   F  a  c   t  o  r  s  a   f   f  e  c   t   i  n  g   t   h  e  q  u  a   l   i   t  y  o   f   t   h  e   l   i   t  e  r  a   t  u  r  e

 

  r  e  v   i  e

  w   (  e .  g .   b   i  a  s ,  c  o  n   f  o  u  n   d   i  n  g  o   f  a  r   t   i  c   l  e  s ,

 

  s  e  a  r  c   h  ;   S   t  e  p   E   )

   I  s   t   h  e  r  e  a  n  y  s  u  g  g  e  s   t   i  o  n  o   f  p  u   b   l   i  c  a   t   i  o  n   b   i  a  s   ?

   T   h  e  s

  m  a   l   l  e  r  o  r  s   h  o  r   t  e  r  a  s   t  u   d  y ,   t   h  e   l  o  w  e

  r   i   t  s  p  o  w  e  r   t  o

   d  e   t  e  c

   t  a  r  e  a   l   d   i   f   f  e  r  e  n  c  e .   I   f  m  o  s   t  s  m  a   l   l  s   t  u   d   i  e  s  s   h  o  w   l  a  r  g  e

  p  o  s   i   t   i  v  e  e   f   f  e  c   t  s ,   t   h   i  s  m  a  y   b  e   d  u  e   t  o  s  e   l  e

  c   t   i  v  e  p  u   b   l   i  c  a   t   i  o  n  o   f

  p  o  s   i   t   i  v  e  s   t  u   d   i  e  s .   T   h   i  s  c  a  n   b  e  a  s  s  e  s  s  e   d

   f  o  r  m  a   l   l  y .

   G   4 .   I   f  a  p  p   l   i  c  a   b   l  e ,  s  p  e  c   i     c  c  o  n  s   i   d  e  r  a   t   i  o  n  o   f   t   h  e

 

  e  v   i   d  e  n  c  e   f  o  r  e   f   f  e  c   t   i  v  e  n  e  s  s  o   f   i  n   t  e  r  v  e  n   t   i  o  n  s  o  r

 

  m   i   t   i  g

  a   t   i  o  n  m  e  a  s  u  r  e  s

   G   5 .   I   f  a  v  a   i   l  a   b   l  e ,  s  p  e  c   i     c  c  o  n  s   i   d  e  r  a   t   i  o  n  o   f   t   h

  e

 

  e  v   i   d  e  n  c  e   f  o  r  e   f   f  e  c   t  o  n   i  n  e  q  u  a   l   i   t   i  e  s

   G   6 .   I   f  a  v  a   i   l  a   b   l  e ,  s  p  e  c   i     c  c  o  n  s   i   d  e  r  a   t   i  o  n  o   f   t   h

  e

 

  e  v   i   d  e  n  c  e   f  r  o  m  e  c  o  n  o  m   i  c  a  p  p  r  a   i  s  a   l  s

   G   7 .   A  s  u  m  m  a  r  y  o   f  a   l   l  s   t  u   d   i  e  s   i  n  c   l  u   d  e   d   i  n   t   h

  e

 

  r  e  v   i  e

  w  –  m  u  s   t  c  o  n   t  a   i  n   f  u   l   l  r  e   f  e  r  e  n  c  e  s   f  o  r   t   h  e

 

  s   t  u   d   i  e  s

   I   d  e  a   l   l  y ,  a  s  u  m  m  a  r  y  o   f  a   l   l

  s   t  u   d   i  e  s  s   h  o  u   l   d  a   l  s  o

 

  c  o  n   t  a   i  n  :

  •  s   t  u   d  y   d  e  s   i  g  n ,   l  o  c  a   t   i  o  n

  a  n   d  c  o  n   t  e  x   t

  •  m  e   t   h  o   d  s  u  s  e   d   t  o  c  o   l   l  e  c   t   i  n   f  o  r  m  a   t   i  o  n   (  e .  g .

 

  s  u  r  v  e  y   d  e  s   i  g  n   )

  •  m  e   t   h  o   d  s  u  s  e   d   t  o  a  n  a   l  y  s  e   i  n   f  o  r  m  a   t   i  o  n

  •  r  e  s  u   l   t  s  a  n   d  c  o  n  c   l  u  s   i  o  n

  s   d  r  a  w  n

  w  w  w .  e  v   i   d  e  n  c  e  n  e   t  w  o  r   k .  o  r  g   /  c  g   i  -  w   i  n   /  e  n  e   t .

  e  x  e   /   b   i   b   l   i  o  v   i  e  w   ?   4   0   6

  w  w  w .  e   d  u  c  a   t   i  o  n .  e  x .  a  c .  u   k   /   d   l   l   /  s   t  u   d  y  s   k   i   l   l  s   /   h

  a  r  v  a  r   d_

  r  e   f  e  r  e

  n  c   i  n  g .   h   t  m

  w  w  w .  r   d  g .  a  c .  u   k   /  s   t  u   d  y  s   k   i   l   l  s   /  s   t  u   d  y   %   2   0  g  u   i   d  e  s   /

  r  e   f  e  r  e

  n  c  e  s   %   2   0   2 .   h   t  m

   C   i   t  e   T

   h  e  m    R

   i  g   h   t  :  r  e   f  e  r  e  n  c   i  n  g  m  a   d  e  e  a  s  y  –

   h   t   t  p  :   /   /  n  o  r   t   h  u  m   b  r   i  a .  a  c .  u   k   /  s   d   /  c  e  n   t  r  a   l   /   l   i   b  r  a  r  y   /   i  r   /  o  r  g   i  n   f  o   /

Page 10: Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

8/14/2019 Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

http://slidepdf.com/reader/full/guide-to-reviewing-published-evidence-for-use-in-hia-lho-england-2006 10/12

Page 11: Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

8/14/2019 Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

http://slidepdf.com/reader/full/guide-to-reviewing-published-evidence-for-use-in-hia-lho-england-2006 11/12

Page 12: Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

8/14/2019 Guide to Reviewing Published Evidence for Use in HIA - LHO England - 2006

http://slidepdf.com/reader/full/guide-to-reviewing-published-evidence-for-use-in-hia-lho-england-2006 12/12

 Acknowledgements

This work was undertaken by the London Health Observatory, which received funding from

the Department of Health (grant number 030 0072, Policy Research Programme). The

views expressed in this publication are those of the authors and not necessarily those of the

Department of Health.

This document was developed by:

Dr J Biddulph, University College London

Ms A Boaz, Queen Mary University of London

Ms A Boltong, London Health Observatory

Professor S Curtis, Queen Mary University of London

Dr M Joffe, Imperial College London

Dr K Lock, London School of Hygiene & Tropical Medicine

Dr J Mindell, London Health Observatory

Ms L Taylor, former Health Development Agency

Thanks to the Advisory Group and all those who took part in the research, discussions of 

previous drafts, piloting and peer reviewing this resource for their valuable contributions.

London Health Observatory

The London Health Observatory (LHO) was set up in 2001 following the government White

Paper Saving Lives – Our Healthier Nation (1999). The LHO brings together the

information and know-how needed to analyse and research health in the capital. It also has a role in

helping all those working to improve the health of Londoners to make better use of health and health-

related information. The LHO is part of a national network of public health observatories, and has alead role on health inequalities, social exclusion, regeneration and tobacco. http://www.lho.org.uk

Further printed copies of this resource can be obtained from: London Health Observatory,

11–13 Cavendish Square, London W1G 0AN Tel: 020 7307 2826, Email: [email protected]

This Guide is also available on the LHO website:

  • as a pdf to download: http://www.lho.org.uk/viewResource.aspx?id=10846

A report to the Department of Health describing the work undertaken to develop this Guide can be

found on the London Health Observatory website at www.lho.org.uk/HIA/ReviewingEvidence.aspx

 

Mindell J, Biddulph JP, Boaz A, Boltong A, Curtis S, Joffe M, Lock K, Taylor L.  A Guide to Reviewing Evidence

for use in Health Impact Assessment. London: London Health Observatory, 2006.ISBN: 0-9542956-5-X © London Health Observatory 2006

Your feedback on this Guide will be used to produce a second

edition in 2008. Please send comments to [email protected]