C4: Evidence‐basedhealth care

Dimitra PanteliDepartment of Health Care Management

Berlin University of Technology

26 July 2018

Session outline

• “Evidence‐based”: what do we mean?• Evidence‐based practices related to QI• Answering the 4 core questions: clinical guidelines• Answering the 4 core questions: HTA• Wrap‐up: usefulness and potential for synergies

Core Mission of the OBS: to support and promote evidence‐basedhealth policy‐making

Comparative analysis

of existing evidence

Developing practical lessons and options 

in health policy‐making 

Bridge

Between policymakers andresearchers

Evidence‐based health policy

Evidence‐based health care

"Evidence based medicine is the conscientious, explicit, and judicious use of current best evidence in making decisions about the care of individual patients. The practice of evidence based medicine means integrating individual clinical expertise with the best available external clinical evidence from systematic research." 

Sackett et al. BMJ 1996;312(7023):71‐2.

→The same principles can be used to guidepractice beyond the individual patient level aswell as policies that shape the scope of coverage

What is evidence?

The idea to base decisions on the “best available”evidence implies a “hierarchy” of the evidence. 

“Evidence” is understood as the product of

systematic observation or experiment and it is

inseparable from the notion of data.

Evidence hierarchy

TurningResearchIntoPracticedatabase

Real World Evidence?

(e.g. registries)

Short interlude: SRs (I)

• … a scientific investigation that focuses on a specific question and uses explicit, pre‐specified scientific methods to identify, select, assess, and summarise the findings of similar but separate studies (=> “a study of studies”)

• Objective: to identify, evaluate and summarize ALL the available RELEVANTevidence from multiple studies using explicit methods

• Governed by three main principles:• Methodological rigour• Transparency• Reproducibility

• May include a quantitative synthesis (meta‐analysis) depending on available data

©DAltman

Short interlude: SRs (II)

Why conduct a systematic review?

©DAltman

• To minimize bias• of the reviewer, and in the research studies themselves

• To enhance precision• by including all the relevant evidence

• To put results into context• examine conflicts and understand differences

• To help prioritize research• by knowing exactly what has been done, how well, and with what findings 

Evidence for whom?

Levels of decision‐making in health care

AETMIS  2006

other payerscitizen

What types of evidence do you use?

How do approaches “fit” together?

Luce et al. 2010

Quick definitions of the two

Clinical (practice) guidelines (CPGs): “statements that include recommendations intended to optimize patient care that are informed by a systematic review of evidence and an assessment of the benefits and harms of alternative care options” (IOM 2011)

Health Technology Assessment (HTA) is “a multidisciplinary process that summarizes information about the medical, social, economic and ethical issues related to the use of a health technology in a systematic, transparent, unbiased and robust manner” (EUnetHTA)

CPGs and HTA: an example

Continuous glucose monitoring was more effective than self‐monitoring of blood glucose in managing type 1 diabetes for some outcomes, such as time spent in the target glucose range and time spent outside the target glucose range (moderate certainty in this evidence). We were less certain that continuous glucose monitoring would reduce the number of severe hypoglycemic events. Compared with self‐monitoring of blood glucose, the costs of continuous glucose monitoring were higher, with only small increases in health benefits. Publicly funding continuous glucose monitoring for the type 1 diabetes population in Ontario would result in additional costs to the health system over the next 5 years. Adult patients and parents of children with type 1 diabetes reported very positive experiences with continuous glucose monitoring. The high ongoing cost of continuous glucose monitoring devices was seen as the greatest barrier to their widespread use.

CPGs and HTA on Donabedian's triad

Structure•Setting•Material, intellectual, andhuman resources

• Facilities, knowledge, professionals, 

Process•Activities•Clinical andorganizationalprocesses

•Prescription patterns, supplies management

Outcome•Health Status• Intermediate or final outcomes

•Blood pressure, well‐being, quality of life, mortality

HTA CPGs

CPGsAnswering the core questions on CPGs as a quality 

improvement strategy

Q1: What is being done in European countries?

• Relatively old comparative data (2012, OBS study with a survey in 29 European countries)

• Newer literature focuses on individual country programmes

• Three main modalities of guideline development• about one third of countries had a central agencydeveloping clinical guidelines in collaboration with professional associations

• several countries reported having multiple levels of clinical guideline development, with regional and local bodies as well as several professional organizations contributing to the centrally coordinated process

• fewer countries had no central coordination of the guideline development process at all: professional associations or providers often stepped in to fill the void. 

Variable levels of maturity, ranging from legally established, long 

tradition to new national initiatives for guideline institutionalization

Example: central agency

• Government‐funded organisation responsible for providing national guidance and setting quality standards on the promotion of good health and the prevention and treatment of ill health

Example: central coordination

• Association of the Scientific Medical Societies: umbrella organization that coordinates guideline production (and collaborates with other institutions to provide the evidence base for DMPs).

• To be listed on the AWMF database, guidelines have to follow specific standards.

Q2: Is the strategy (cost)‐effective?

• How would you measure the effectiveness of a clinical guideline?

Q2: Short interlude – quality OF CPGs and the AGREE II instrument

Q2: Is the strategy effective? (cont’d)

• Improving process of care: yes (see briefing notes)• But: greatly dependent on implementation

• Improving outcomes of care: ??? (evidence very mixed and only in relation to intermediate outcomes)

• Patient participation (catalyst of patient‐centeredness) increasingly an imperative and implemented in mature systems

• Cost‐effectiveness: rarely studied; NICE estimated savings at a range from 31500 GBP to 690 GBP per 100000 of the population

Q2: Is the strategy effective? Reflection on efficiency WITHIN the strategy

Q3: How can the strategy be implemented?

• Fundamental barriers: lack of awareness and/or willingness to change approach, lack of knowledge regarding guideline utilization

• Other identified barriers include lack of time to use, lack of guidelines specifically for multimorbid patients or integrated care

• Success of implementation strategies: simplicity of guideline, education and training, social interaction, decision support systems, context specificity

Q3: How can the strategy be implemented? (II)

Education and printed material are the most commonly used dissemination/ implementation strategies. 

Think about your daily life at work. What would you turn to to quickly find answers?

Indeed, increasing reliance on digital media, especially mobile 

apps. But: need to ensure 

provenance and validity.

Q3: How can the strategy be implemented? (III)

Two final thoughts: 1. How often does/can a guideline get updated?

• Variable practices: periodic/evidence scanning mechanisms• “living” guideline concept

2. Are clinical guidelines in their known format becoming obsolete?• Will big data(bases) replace CPGs?

Q4: Conclusions for policy

• Most physicians rely on CPGs to some extent.• In most contexts, CPGs could be optimized regarding rigour of development, mode of implementation and evaluation of impact.

• Several countries practitioners “borrow” recommenda‐tions produced abroad; there is considerable potential for more active knowledge exchange in the future.

• New approaches to ensure up‐to‐date information and more effective dissemination should be explored further.

CPGs: Going backwards?

HTA• Contextual information

• Answering the core questions on HTA as a quality improvement strategy

Where does HTA come in?

Usefulness of HTA

• Increasing number of new technologies (innovations)• Experience of harmful or not useful innovations• Increasing costs for health systems

=> Which technologies should be used (covered) in a system under cost constraints?

Most health care systems have some form of a standard/minimum package of benefits to which covered persons covered are entitled. This can be • explicit, i.e. list(s) with all the benefits available under the statutory system or

• implicit, i.e. based on traditions and routine

Examples of benefit basket types

Selection of topics

Evidence assessment

Contextual appraisal

Decision

All p

ossiblehe

alth

care se

rvices

Categories of services coveredby health care system(e.g. pharmaceuticals)

Actually covered servicese.g. calcium channel blockers

[may be subject to further restriction, such as by patient subgroup]

Role of HTA

When does HTA do what?

• A form of policy research that systematically examines short‐ and long‐term consequences of the application of a health technology…

• …a multidisciplinary process that summarises information about the medical, social, economic and ethical issues related to the use of a health technology in a systematic, transparent, unbiased, robust manner…

• …aiming to inform the formulation of safe, effective, health policies that are patient focused and seek to achieve best value.

When does HTA do what? (II)

What is a health technology?

Technology is…• [...] the systematic application of scientific and other organisedknowledge to practical tasks (Galbraith 1977)

• [...] tools in a general sense [stemming from] the organisation ofknowledge for practical purpose (Mesthene 1977)

Health technology is…• …the application of scientific knowledge in health care and prevention

Which types of technologies can you think of?

[...] the drugs, devices and medical and surgical procedures used in health care, and the organisational and supportive systems withinwhich such care is provided (OTA 1978).

What does the HTA process look like?

Reimbursement

Health TechnologyAssessment /HTA

Appraisal

Politics

Guidelines

ScientistsHTA-Agencies Universities

AssessmentClinical research

Clinical practice

PriorityIndustryHealth care-systems CliniciansScientists Innovators Patients

HTA-Agencies/Decision-

making bodies

Governments Policy makersRegulators

HC Professionals Governments

IndustryJournalists, Patients

Q1: What is being done in European countries? Two simplified types

Q1: What is being done in European countries? Overview

• Most recent comparative work from background document to new EC regulation proposal

• The vast majority of European countries employ HTA, but to variable extents and with different processes and methods

• Main procedural differences concern scope of technologies, time and resources allocated, evidence base, number of assessments produced and stakeholder involvement (all largely linked to the type of regulatory mandate)

• Methodological differences concern choice of comparator, study designs and endpoints (outcome measures)

Q1: What is being done in European countries? Overview (II)

Q2: Is the strategy (cost)effective?

How would you measure the effectiveness of HTA?• By definition, HTA is effective if it informs decision‐making

• The “impact” of HTA is not well‐studied• A major influencing factor is the directness of the link between HTA and coverage decisions

• Six‐Level model of impact:1. Awareness of specific HTA reports2. Acceptance of the report and its findings3. Integration of results in policy processes4. Formulation of policy decisions which are clearly influenced by HTA results5. Implementation in (clinical) practice6. Influence on (health or economic) outcomes 

Q2: Is the strategy cost‐effective?

Q2: is the strategy (cost)effective?

All, NICE (until 31 Jan 2018) Oncology drugs

Categories STAs Single Technology Assessments

MTAs Multiple Technology Assessments

Total STAs MTAs Total

Recom‐mended

160 (50%) 270 (61%) 430 (62%) 72 (48%) 63 (63%) 135 (54%)

Optimized 86 (27%) 92 (21%) 178 (23%) 28 (19%) 3 (3%) 31 (12%)

Only in research

5 (2%) 23 (5%) 28 (4%) 2 (1%) 7 (7%) 9 (4%)

Not recom‐mended

55 (17%) 60 (13%) 115 (15%) 38 (25%) 27 (27%) 65 (24%)

CancerDrugs Fund

11 (4%) ‐ 11 (1%) 11 (7%) ‐ 11 (4%)

Total 317 (100%) 445 (100%) 762 (100%) 151 (100%)

100 (100%)

251 (100%)

Q3: How can the strategy be implemented?

• Setting up a national HTA mechanism is complicated and resource‐intensive and requires time to mature and political commitment to be sustainable and effective. 

• Even established HTA systems require a certain degree of flexibility to maintain their usefulness and appropriateness in light of new challenges (e.g. very high‐priced medicines with added benefit)

• Identified barriers for the implementation and uptake of HTA include stakeholder dissent, (lack of) political backing, challenges in securing sustainable funding and availability of sufficient human resources.

Q3: How can the strategy be implemented? Drummond’s principles

Q3: Drummond’s principles (II)

1. Goal and scope shouldbe explicit and relevant to the use

2. Unbiased & transparent3. All relevant technologies4. Clear priority‐setting 

system

1. Engagement of all stakeholder groups

2. Active search for all data3. Monitoring the

implementation of HTA findings

Q3: Drummond’s principles (III)

Q3: Drummond’s principles (IV)

1. Appropriate methods forbenefits and costs

2. Full societal perspective3. Explicit dealing with uncertainty4. Generalizability/Transferrability5. Wide range of evidence and 

outcomes

Q3: Drummond’s principles (V)

1. Timely2. Appropriate

communication offindings

3. Transparent and clearlydefined link betweenfindings and decisions

Q3: Implementation – more EU?

Rationale:

• National HTA processes “impede and distort market access” to innovative technologies 

• They also lead to considerable duplication of work • The current, project‐based cooperation in HTA at EU level is 

unsustainable

Q3: EU proposal on HTA (Jan 2018)

1. Joint clinical assessments of new pharmaceuticals as well as certain medical devices and in vitro diagnostics. Participation in and use of these assessments at Member State level will be mandatory

2. Joint scientific consultations: developers of pharmaceuticals and medical devices can seek advice on data and evidence likely to be required as part of a potential joint clinical assessment in the future. Equivalent consultations at the Member State level are not to take place for technologies covered by the joint scientific consultation

3. Identification of emerging health technologies (“horizon scanning”): annual study to ensure that health technologies expected to have a major impact on patients, public health or healthcare systems are identified at an early stage in their development

4. Support for continuing voluntary cooperation and information exchange on non‐clinical aspects of HTA and for other technologies than pharmaceuticals and medical devices not covered by European law.

Q3: EU proposal on HTA (Jan 2018)

• Possibility for Member States to carry out seperate assessments ofthe clinical evidence considering different standards of care (i.e. different comparator therapies) and specifics of methodology

• Specifics on process and methodology• Obligation for the industry to provide full study material for

decision‐making

Q4: Conclusions for policy

• HTA can contribute substantially to shaping reimbursement and pricing decisions in a manner that ensures that health system resources go to technologies that truly benefit patients

• In light of common challenges, greater investment in collaboration and in utilizing the results of collaborative efforts is appropriate and welcome

• National efforts in the coming months will be shaped by EU‐level developments

• National policy‐makers can maintain focus on the (further) development and implementation of HTA findings to the extent that they contribute to quality of care by monitoring and ensuring impact 

• There is further room for exploring synergies with other strategies, especially in the realm of evidence synthesis for knowledge translation

SOS: GRADE evidence appraisal

• Best practice: GRADE system of rating evidencequality

• Quality of the evidence in reviews is evaluated per outcome, across studies

• Baseline rating of “high” for RCTs and “low” for non‐RCTs

• Evidence quality can be up‐ or downgraded:• Downgrading: risk of bias, incosistency, indirectness, imprecision, publication bias

• Upgrading (very rarely for RCTs): large magnitude of effect, dose‐response, effect of plausible confounders would be toreduce effect

SOS: GRADE evidence appraisal (II)

Outlook: How would you describe the 2 strategies on the 5L‐model?

Donabedian's triad

Areas of care

Dimensions of Quality

Activities of strategies

Targets of strategies

Final reflection on patient‐centeredness

Shared decision‐making