la valutazione delle proposte in horizon2020la valutazione delle proposte in horizon2020 criteri di...

La valutazione delle proposte in Horizon2020Criteri di valutazione e suggerimenti per una

proposta di successo

Gabriella LeoCNR – ISMN, Area della Ricerca Roma I

[email protected]

APRE - Giornata di Lancio dei bandi Horizon 2020 LEIT ICT 2017

Il processo di valutazione in H2020


Valutazione & Valutatori

CHI SONO I VALUTATORI Non solo scienziati

Anche dipendenti o titolari di aziende

Anche end-user

Anche stakeholders

Anche consulenti di aziende (marketing) o di enti di indirizzo


E COME VENGONO SCELTI:• Banca dati: Ricerca per

Keyword

• CV

• Equilibrio di area geografica, competenze e genere

• Valutatori esperti e generalistiNon tutti i valutatori sono esperti nel tema del progetto

IL SISTEMA DI VALUTAZIONE È TRASPARENTE E CORRETTO

Per Informazioni e registrazione come esperto/ valutatore: http://ec.europa.eu/research/participants/portal/desktop/en/experts/index.html

Le caratteristiche di un valutatore Indipendenza: il valutatore è un individuo indipendente, non

rappresenta nessun ente/gruppo/società

Imparzialità: ogni proposta viene valutata sullasola base del merito (non dei partecipanti, nazioni, simpatie, etc...)

Obiettività: la proposta viene valutata solo sulla base di quanto scritto

Accuratezza: giudizio riguardo solamente ai principi della call

Consistenza: stesso standard di giudizio per tutte le proposte

Assenza di conflitto di interessi Riservatezza: valutazione discussa solo gli altri membri del

panel (non per i corridoi, al telefono, con altri colleghi...) documenti mantenuti riservati, valutatori anonimi per i proponenti


La valutazione: IndividualEvaluation Report (IER) Criterion 1 – Excellence max 5 punti Criterion 2 – Impact max 5 punti Criterion 3 - Quality and efficiency of the

implementation max 5 punti

Operational Capacity Y / N Overall comments


Istruzioni per i valutatorihttp://ec.europa.eu/research/participants/portal/desktop/en/experts/index.html

• Calls are challenge-based, and open to innovativeproposals

• Greater emphasis on impact, through 'Expectedimpact statements'

• Applicants asked to explain how work will bring aboutdescribed impacts

• During the evaluation, you are asked to assess this potentialcontribution

• More emphasis on innovation• Horizon2020 supports all stages in R&I chain including non-

technological, social innovation and activities closer to the market

• Proposals may bring together different disciplines, sectors and actors to tackle specific challenges

• e.g.scientists,industry,SMEs,societalpartners,end-users...



I Sottocriteri: una guida alla scrittura della proposta progettuale (RIA, IA, SME instr.)

Gli aggettivi usati nella valutazione POOR

Insufficient, minimal, fails to describe, unacceptable, inadequate, very generic, not

evident, unfocused, very weak, bad, does not meet criteria, no information,

inappropriate, limited, unclear, not sound enough, not specified, no significant

impact, not been followed, unjustified, overestimated, does not fit

EXCELLENT

Extremely relevant, credible, very clear, precisely specified, realistic, very

innovative, extremely well suited, very good, timely, convincing, comprehensive,

high quality, justified, very well identified, strong, highly effective, thoughtful, very

promising, evidence, well-formulated, carefully-prepared, very professionally

prepared, fully in line, looks great, very profound, sound, very convincingly

integrated, clearly articulated, coherent, well balanced, very plausible, ambitious,

clear advances, well above average


… dai commenti dei valutatoriThe idea is not new or is onlyincremental or the proposal failsto demonstrate its novelty


There is no credible business case

There are no KPIs, baseline, measurable

objectivesDoes not demonstrateinnovation potential

There is not an industrial partner or a path thatleads to possible concrete market introduction

Task are not describedin sufficient details

There is missing expertise or

unjustified overlapping competences

There is no detailed riskassessment with concrete mitigation measures

Cosa serve per una propostacompetitiva:Idea scientifica eccellente ma anche:

• Ricerca indirizzata a raggiungere gli obiettivi e l’impact richiesto

• Forte e credibile impegno ed interesse dell’industria

• Dimostrare il focus sull’innovazione

RIA (R&I Actions) Be driven by user needs Concrete business cases

supported by strong exploitation strategies,

Cover the value/supply chain as appropriate

Not expected to commit for commercialization

IA (Innovation Actions): Ideally target medium volume

markets (no niche markets) Provide evidence of strong

commitment to bring the technology to the market(s)

Industrialise/manufacture targeted products in Europe

Business plan

I par

tner

indu

stria

liso

noes

senz

iali

Raccomandazioni: IMPACT


• CONOSCERE IL CONTESTO POLITICO• QUANTIFICARE IMPACT, EPLOITATION POTENTIAL: indicare KPI• IMPACT VS S&T AND IPR STATE OF THE ART

Attenta lettura del bando

L’ IMPATTO si riferisce sia allo sviluppo, che alla diffusione ed all’utilizzo dei risultati. i punti relativi a questa voce vanno considerati tenendo conto delle ricadute dei risultati sia a livello europeo, che internazionale.

Come controllare l’impatto Cosa ti attendi dal tuo progetto? Chi necessita i risultati della ricerca? Perchè vogliono utilizzare i risultati? Come pensi di comunicare agli interessati i risultati? Quale disseminazione pensi di fare ? Quali sviluppi ulteriori ti attendi ?

IMPLEMENTATION


Exploitation plan con riferimenti quantitativi ai WP relativi alla validazione del prototipo/assessmentincludendo anche il commitment dei partner industriali

Obiettivi quantificabili e coerenti con quelli (sempre quantificabili) presentati in EXCELLENCE

Innovation manager/ Board, monitorare l’innovazione (ex. Innovation questionnaire)

Strategia per gestione del IPR e della sua protezione (Existing patents, how handle / share background information and expected project results, clearly outline the expected IPRs from the project)

Raccomandazioni Scrittura della proposta ‘dalla parte’ del valutatore

Un progetto non è un articolo: scrivere la propria parte come «pezzo originale» e

leggere sempre in maniera critica anche quello che scrivono gli altri partner.

Non trascurare IMPACT e IMPLEMENTATION

Conoscenza del bando e della comunità di riferimento- Partecipare a

Call-INFODay per ICT30 27 gennaio a Bruxelles

https://ec.europa.eu/digital-single-market/en/news/h2020-info-day-ict30-photonics-key-enabling-

technologies

Conoscenza delle politiche Europee correnti in tema di R&I (comunicazioni EC, linee guida del FP, introduzione allo specifico WP ed al FP)

L’INNOVAZIONE è importante: prevedere innovation manager/partner dedicato agli

aspetti d’innovazione, KPI per monitorare innovazione


DOMANDE


REGISTRATEVI ALLA BANCA DATI DEI VALUTATORI DELLA COMMISSIONE EUROPEA:

http://ec.europa.eu/research/participants/portal/desktop/en/experts/index.html

EVALUATION FORMS PER AUTOVALUTAZIONE:http://ec.europa.eu/research/participants/portal/desktop/en/funding/reference_docs.html#h2020-call_ptef-pt

Istruzioni per i valutatori:http://ec.europa.eu/research/participants/portal/desktop/en/experts/index.html

http://ec.europa.eu/research/participants/portal/desktop/en/funding/reference_docs.html#h2020-call_ptef-pt


ADDITIONAL SLIDE

La mia esperienza con i progetti Europei: Valutatore dal 1999:◦ FP5: Marie Curie, INCO

◦ Fp6: Marie Curie, IP&NoE programma IST, FET-OPEN

◦ Fp7: NMP, Marie Curie ITN

◦ H2020: Research Infrastructures

Reviewer: FP5 ESPRIT Long Term Research & FET-IST, FP6 IST- NoE

Esperto Nazionale Distaccato (END): PhotonicsUnit, EC DG CNECT dal 2008 al 2013

Partecipazione a diversi progetti


Technology Readiness Level (TRL)


Photonics KET- ICT 2014-15

SMEs 28%

Big companies

24%Universities18%

Research Institutes

20%

Cluster 7%

Public Entities 3%

Participation

44 projects362 partners

Funding scheme

59%

34%

4% 3%

RIA

IA

CSA

ERA-NET

29

1

6

2

RIA-IA project coordinators

research

consultant

large company

sme

Istruzioni per i valutatorihttp://ec.europa.eu/research/participants/portal/desktop/en/experts/index.html

Come valutare l’Innovazione'Excellence’ - potenziale d’innovazione del lavoro proposto.

'Impact’ contributo dei risultati del progetto agli expected impacts descritti

nella call;

aumentare le capacità d’innovazione e d’integrazione delle nuove conoscenze e a rafforzare la competitività delle industrie attraverso innovazione che incontra le necessità del mercato.

Indicatori dell’efficacia delle misure proposte (KPI)

Barriere/Ostacoli o regolamenti/standards che influenzano la realizzazione dell’impatto

Draft plan per disseminazione ed uso dei risultati del progetto: ex. strategy for knowledge management and protection (IPR)

’Implementation’ - IMPORTANTE: efficacia dell’innovationmanagement nella management structure del work plan


la valutazione delle proposte in horizon2020la valutazione delle proposte in horizon2020 criteri di...

Documents