MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE IMPACTOS DA P&D Experiências recentes em avaliação de impactos em CT&I Adriana Bin
Apresentação
• Faculdade de Ciências Aplicadas (FCA/Unicamp)
• Grupo de Estudos sobre Organização da Pesquisa e da Inovação – Departamento de Política Científica e Tecnológica (GEOPI/DPCT/IGE/Unicamp)
Roteiro da apresentação 1. Avaliação em ciência, tecnologia e inovação – um objeto
diferente 2. Avaliação em ciência, tecnologia e inovação – como fazer? 3. Pontos críticos e recomendações
3
1. CONCEITOS GERAIS DE AVALIAÇÃO
4
O que é avaliação? • Ato ou efeito de avaliar • Avaliar = atribuir valor aos objetos “A ação de avaliar pressupõe que
exista um objeto bem definido para ser avaliado e que exista um sujeito capaz de executar um juízo de valor acerca do objeto” (Zackiewicz, 2005)
Definição de um objeto • A definição de um objeto ocorre a partir de abstrações que correspondem a certas propriedades desses mesmos objetos, ou seja, de seus atributos
• Se o objeto for um homem, pode-se descrevê-lo a partir de alguns de seus atributos, quais sejam: peso, altura, cor de pele, idade, nacionalidade, etc.
“Assim, toda descrição de um objeto
passa irremediavelmente pela escolha e construção subjetiva de atributos” (Zackiewicz, 2005)
Atributos e critérios • Avaliar é interpretar um atributo em uma estrutura de critério
7
8
Métodos de avaliação • Os métodos existem para formalizar e comunicar uma avaliação
• A previsibilidade dos procedimentos e a compreensão dos atributos e critérios por todos os envolvidos traz legitimação
• Sem método, uma avaliação não pode ser institucionalizada
• Há rigores variados na formalização dos métodos • contexto em que ocorre a avaliação • atores envolvidos • objetos envolvidos
9
1. AVALIAÇÃO EM CIÊNCIA, TECNOLOGIA E INOVAÇÃO – UM OBJETO DIFERENTE
10
Objeto da avaliação • Qual é o objeto da avaliação quando pensamos em
CT&I?
• Atividades • Projetos • Programas • Políticas • Bens • Serviços
Principais motivações para avaliação em CT&I (historicamente…) mecanismo interno de controle de produtividade e qualidade da C&T a partir do ethos acadêmico (avaliação pelos pares e cientometria) à lógica “acadêmica”
accountability – prestação de contas em relação a resultados e impactos prometidos ou esperados (relação custo-benefício)
assessment – mecanismos para reduzir potenciais impactos negativos na sociedade (padrões aceitáveis)
Planejamento e aprendizado
Trajetórias da avaliação
Legitimação de iniciativas passadas e accountability
Assessment Neutralidade de avaliadores
independentes
Aprendizado e planejamento (estratégia)
Novo papel dos avaliadores Combinação de métodos
Multidimensional
Recursos, resultados e impactos
14
Recursos, resultados e impactos
15
Recursos, resultados e impactos
16
Camadas “típicas” do objeto CT&I
17
CT&I é um objeto complexo
18
The Iceberg Model Avoiding the risk of under-evaluation
Science and Public Policy December 2007 747
BETA methodology developed by the group of that name at Louis Pasteur University, Strasbourg (Bach et al 1992; 2003). The present version has begun to be labelled the ‘Iceberg Model’ from an image that shows that many effects are hidden from superficial observation (see Figure 5). To the direct effects of sales and cost reductions that are normally captured in surveys of deliverables, are added a series of indi-rect effects involving transfer of the technology de-veloped to other parts of the business, commercial benefits from new networks and visibility, organisa-tional and methodological improvements (an aspect of behavioural additionality), and human resource benefits. Beyond this, there are also the social benefits represented by spillovers and broader user benefits.
Effects
Key categories
These effects may now be examined in more detail. In a first pass key categories of effects are discussed and then three short case studies are discussed to il-lustrate interaction.
Effects on firm strategy The behavioural addition-ality approach recognises that public funding of R&D interacts with firm strategy and needs to be understood in this context. SMEs in particular may be heavily influenced by their experiences in a pro-gramme. Some such effects lead to lasting changes in firm behaviour caused by acquisition of new ca-pabilities. In general, firms seek to align their R&D projects with their strategies. Hence many EUREKA projects could be seen as extensions to the existing strategy, with occasional feedback when, for exam-ple, the R&D indicated that a market sector was in decline.
Examples of where strategy was changed include: transformation from contract research or consultancy
to manufacture (for example, an R&D service com-pany in the food sector moving to industrial-scale production); changing from military work to civil (see P3D case study); moving from traditional to technology-based approaches (for example, upgrad-ing from crude low value-added meat production to high-tech packaging and quality assurance); and, more generally, finding new ways to do business.
Use of technologies in other parts of the business Reporting systems are often structured around initial objectives and hence do not pick up the application of a technology developed in one context in other parts of the business. This is potentially a major source of undervaluation.
The EUREKA case showed that this was a fre-quent occurrence. For example, an electronic tech-nology developed for process automation was used by a firm for traceability and food safety in other areas of the company leading to a 12% rise in sales. Another example is the Contronics case study below.
New technological options may be opened through follow-on projects. The vector for the spread of these technologies is often through the acquired human competences that can then be re-applied. This dimension may also be seen in the per-spective of options theory (Vonortas and Lackey, 2003) as the firm’s ability to pursue the new oppor-tunities (the option) is created by its initial R&D investment decision.
Contacts, networks and prestige The fact of being in a high-profile programme can itself convey pres-tige; for example, subsequent investors or customers may perceive that the technology has been ‘audited’ as a quality mark. Several of the EUREKA SMEs used the EUREKA label in this way: one put it on the product to demonstrate quality derived from R&D, another used it as a substitute for customer references in initial marketing, a third in raising funds to support marketing activities.
Sales of innovative product Reduced process costs Licence income
Use of technology in other parts of the business New contacts/networks & prestige Organisation and method learning Competence & training
Spillovers to non-participants User and social benefits
Figure 5. The Iceberg Model Georghiou, 2007
Desafios da avaliação em CT&I - objeto!• Incerteza na criação de algo que não existe (como captar o que é e o que não é esperado? o que é sucesso e o que é fracasso?)
• Alvo móvel (muda ao longo do tempo) • Cumulatividade dos resultados • Dependência de ativos complementares • Impactos de CT&I são multi-dimensionais por natureza
• Especificidades nacionais, locais e setoriais
2. AVALIAÇÃO EM CIÊNCIA, TECNOLOGIA E INOVAÇÃO – COMO FAZER?
Como avaliar frente a estes desafios?
Métodos e recursos • A escolha do método mais adequado depende das
condições anteriores previamente definidas (motivações, objetivos, objeto, atributos, nível de agregação), das possibilidades em termos de recursos financeiros, humanos e físicos disponíveis para tal e, finalmente, do nível de competência adquirido para a aplicação dos referidos métodos.
“Programa” de Avaliação do GEOPI 5. Avaliação de Programas da Fapesp: Desenvolvimento e Aplicação de Métodos de Avaliação de Impactos e de Requisitos para Avaliações Sistemáticas (FAPESP) (2009-2012) 4. Avaliação de Programas da Fapesp (FAPESP) (2006-2008) • Avaliação de impactos da Lei de Informática
(CGEE/SEPIN) (2009-2010) • Avaliação do Programa INCAGRO (Banco
Mundial – Peru) (2009) • Avaliação do Programa FIA (Governo Chile)
(2009) 3. Avaliação dos projetos do FUNNTEL (Finep) (2007) • Avaliação Prospectiva do Procisur (IICA) (2006) • Avaliação Prospectiva do Procitropicos (IICA)
(2005-2006) • Avaliação dos projetos Fontagro (IICA) (2005) • Impacto do Software Livre e de Código Aberto
na Indústria de Software do Brasil (Softex e
MCT) (2004) 2. Metodologia de Avaliação de Impactos de Programas Tecnológicos – o Programa de Pesquisa em Saneamento Básico - Prosab (Finep) (2003-2005) 1. Metodologia de Avaliação de Impactos de Programas de Pesquisa (Fapesp/Finep) (1999-2003) • Avaliação das propostas submetidas ao CT-Infra
em 2001 (Finep) (2002) • Avaliação dos programas da WWF e USAID
(USAID) (2000 e 2001) • Avaliação do PROBIO e do FUNBIO (GEF)
(1999) • Avaliação das Organizações Estaduais de
Pesquisa Agropecuária – OEPAs (IICA/Embrapa) (1997-1998)
1
2
3
4 5
ü Multidimensiona-lidade
ü Múltiplos atores + ü Adicionalidade ü Atribuição
ü Mensuração da inovação
ü Decomposição ü Validação com
stakeholders
ü Quasi-experimento
ü Avaliação continuada
Dados primários e secundários
1-2: A multidimensionalidade e os múltiplos atores • Além do custo-benefício (medidas econômicas e
financeiras)… • Coexistência de dimensões de impacto não reduzíveis
umas às outras • Coexistência de múltiplas racionalidades, explícitas nos
múltiplos juízos de valor acerca dos impactos (atores e categorias)
• Impactos não são dissociáveis de um contexto objetivo complexo e do contexto subjetivo dos atores impactados
Método de Avaliação em Múltiplas Dimensões (MDM) ou Econômica, Social, Ambiental e Capacitação (ESAC)
Concepção metodológica • Definição de Impacto
• novas tecnologias causam mudanças na medida em que são apropriadas
• impacto é uma medida da intensidade e da importância das mudanças causadas por novas tecnologias
• os impactos ocorrem em diferentes dimensões • e envolvem diferentes atores da sociedade
• Impacto é uma medida que inclui: • os efeitos decorrentes da tecnologia • e os juízos sobre esses efeitos
Concepção metodológica A variável Impacto I definido no intervalo [-1, 1] I = 1 ⇒ máximo impacto positivo I = –1 ⇒ máximo impacto negativo I = 0 ⇒ inexistência de impacto.
Concepção metodológica • As dimensões da avaliação
• parte-se da realidade completa, onde a relação entre os atributos contidos na realidade são complexos
• trabalha-se com a hipótese da independência e delimitação das dimensões (isola-se determinados atributos em um conjunto manejável)
MDM • Cada dimensão é representada por uma estrutura de
impactos, ou seja, uma estrutura hierárquica de atributos que indica sobre quais aspectos se deve examinar a extensão dos efeitos de uma nova tecnologia
Concepção metodológica • As estruturas de impacto obedecem aos seguintes
axiomas: • exaustividade (estrutura é suficiente para captar os impactos de
determinada dimensão) • não redundância (não há como tirar atributos sem que se contrarie
a exaustividade) • coesão (única função que relaciona uma mudança x em
determinado atributo a um medida de impacto I)
Concepção metodológica
Concepção metodológica • Amostra - obtenção das medidas
• Atores e categorias • Intencionalidade
Concepção metodológica
• Valores representativos • coesão das respostas,
baseiada na distribuição das respostas
resposta número de respostas-3 2-2 5-1 10 01 02 03 0
resposta número de respostas-3 1-2 5-1 10 01 22 43 0
0
1
2
3
4
5
6
-3 -2 -1 0 1 2 3
0
1
2
3
4
5
6
-3 -2 -1 0 1 2 3
Concepção metodológica Caso 1: Coesão Forte c(x)=1
-1 0 +1
Impacto
valor representativo média
Concepção metodológica Caso 2: Coesão Fraca c(x)=0,75
-1 0 +1
Impacto
mediana valor representativo
Concepção metodológica Caso 3: Coesão Dupla c(x)=0,5
-1 0 +1
Impacto
valor representativo média das
médias
Concepção metodológica Caso 4. Coesão Assimétrica c(x)=0,25
-1 0 +1
Impacto
valor representativo
média entre
média e mediana
Concepção metodológica Caso 5. Ausência de Coesão c(x)=0
-1 0 +1
Impacto
valor representativo
média das
medianas
Concepção metodológica Z =Coesão Total das Respostas
..
1
)(
bascomp
n
ii
n
xcZ∑==
75,0≥Z
75,0<Z
Impacto Coeso
Impacto Ambíguo
Separar Respostas
Diferentes Atores e Categorias
1-2: Adicionalidade e atribuição • Adicionalidade: empregado para verificar a direção e a
intensidade das transformações observadas a partir da implantação do programa/projeto. A ideia fundamental da adicionalidade está na verificação das mudanças ocorridas em um dado intervalo temporal, cujo baseline é o momento de implantação do programa/projeto e o momento da avaliação.
• Atribuição: será empregada para identificar o grau da relação causal que se estabelece entre o objeto e os impactos verificados, no intuito de estimar a contribuição efetiva do projeto para as mudanças verificadas.
Concepção metodológica • A variável x = variação do componente básico
Componente Básico
Aspecto Mensurável
Variação observada entre t0 e t1
Valor de x Projeção para
a escala [-1, 1]
(função φ)
Impacto I para o Componente
Básico
Concepção metodológica • A variável α = participação da tecnologia no efeito
observado
Programa/ projeto Tecnologia Impacto
+ Outras Causas
?
Concepção metodológica • A variável α = participação da tecnologia no efeito
observado
Programa/ projeto Tecnologia Impacto
Medido pelo valor de α
Projeção para a
escala [0, 1] (função ρ)
?
Concepção metodológica • Agregação dos Impactos
Componente Básico
Componente Básico
Componente de Impacto Componente Básico
Componente de Impacto
It ; Ig ; Io It ; Ig ; Io
It ; Ig ; Io
Ι=κ.Ι+κ.Ι
I=k.I+k.I
e assim por diante...
Concepção metodológica
∑ ∑= =
⎟⎠
⎞⎜⎝
⎛=
Dn
i
nDn
iitDiiDiiDiDitG xkkI
1
...
1......... )(.... φ
∑ ∑= =
⎟⎠
⎞⎜⎝
⎛=
Dn
i
nDn
iitDiitDiitDiiDiiDiDitP xkkI
1
...
1............... .)().(.... αρφ
l Agregação dos Impactos – equações aditivas
Exemplo: avaliação do Prosab
Exemplo: avaliação do Prosab
3 – Mensuração da inovação
• Geração de tecnologias?
Tecnologia
• Geração de inovações (uso ou comercialização das tecnologias)?
• Características da inovação (ano do início do uso/comercializacão + nível de novidade)
Inovação
• Geração de direitos de propriedade intelectual? • Número x tipo de instrumento
Propriedade intelectual
Exemplo: avaliação do Funttel
Exemplo: avaliação do Funttel
Exemplo: avaliação do Funttel
0
5
10
15
20
25
1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 Sem resposta
Novo para a CPFL, mas já existente no mercado nacional
Novo para o mercado mundial
Novo para o mercado nacional, mas já existente no mercado mundial
Novo para sua Organização, mas já existente no mercado nacional
Sem resposta
Exemplo: avaliação da carteira de projetos de P&D de uma empresa do setor elétrico
0
5
10
15
20
25
1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 Sem resposta
Componente ou dispositivo Conceito ou metodologia Máquina ou equipamento
Sistema Software Sem resposta
Exemplo: avaliação da carteira de projetos de P&D de uma empresa do setor elétrico
4 - Decomposição • Empregado para a elaboração dos indicadores e métricas
para a avaliação • Baseia-se na decomposição dos objetivos do projeto
(ação dedutiva)
Objetivos • O que se espera?
Termos • Quais os pontos
chave dos resultados e impactos esperados?
Temas • Rearranjo (concisão e
consistência)
Indicadores • Elementos
mensuráveis
Identificação dos termos
Objetivos do programa termos
General goal: support for the development of innovative research by small enterprises headquartered in São Paulo State, on important problems in science and technology with high potential for commercial or social returns. Projects may be developed by researchers employed by small business or associated with firms for the purpose of carrying out the research.
innovative research small enterprises
high potential for commercial or social returns
problems in science and technology
by small business or associated with firms
Termos e temas
termos
Innovative research
temas R&D activites, results and capabilities developed Transforming R&D results into new products, processes, services etc. Introducing they in the market Technology transfer and difusion Use of intellectual property Creation of a corporative culture of innovative research
Temas e indicadores
temas
R&D activites, results and capabilities developed
indicadores Results directly achieved (foreseen, unforeseen) Results indirectly achieved Change in the infra-structure Products, processes, servies? Capabilities created and difused Relationship with users and partners…
4 - Validação • Reunião de stakeholders/especialistas relacionados com
o objeto da avaliação, no intuito de discutir e validar temas, indicadores e métricas (assim como outros elementos pertinentes da avaliação, como desenho amostral, hipóteses etc.), assim como os resultados obtidos no exercício
5 – Quase-experimento • Grupos de tratamento e de controle no intuito de isolar os
impactos do programa/projeto nos resultados e impactos obtidos
Quase-‐experimento
Efeito da Bolsa FAPESP de Mestrado -‐ Número Total de Ar8gos
Efeito da Bolsa FAPESP de Mestrado -‐ Número de Ar8gos Qualis A1
05
1015
20Sa
lário
s M
ínim
os
Não FAPESP FAPESP
Renda Inicial Renda Atual
Evolução de salário e renda -‐ doutorado
5 – Avaliação continuada • institucionalização no âmbito organizacional • instrumentos de monitoramento e de avaliação para
acompanhar e aperfeiçoar a qualidade, eficiência e efetividade das intervenções em vários estágios da implementação (de um projeto, política, programa) • coleta e análise da informação em uma base regular e continuada • possibilidade de análises periódicas e cumulativas • realização por equipes internas, embora a participação de
membros externos seja desejada • maior grau de participação dos usuários que poderão lidar com o
problemas que surgem na implementação do programa avaliado • pode envolver menos recursos que a opção por uma série de
avaliações pontuais • melhora o suporte à tomada de decisão
3. PONTOS CRÍTICOS E RECOMENDAÇÕES
Desafios da avaliação em CT&I - métodos!• Não se trata de buscar ferramentas universais,
mas de uma linguagem universal (criação de um código comum é o primeiro passo)
• Uso de métodos combinados (quantitativos e qualitativos)
• Integração e manutenção de bases de dados para avaliação
• Custo x tempo x efetividade da avaliação
Desafios da avaliação em CT&I - comunicação!• Resultados de fácil comunicação e que podem criar mecanismos de feedback para a formulação de políticas e tomada de decisões (keep it simple)
• Responder às perguntas inicialmente formuladas • Comunicação para a sociedade (e para outros atores, de diferentes comunidades)
Pontos críticos • Uso dos resultados das avaliações
• Desdobramentos da avaliação modificando o objeto avaliado durante o processo
• Resultados reorientando programas e políticas • Desconsideração dos resultados da avaliação (não há
conseqüências) à torna-se um fim em si mesma • Avaliação para sustentar mudanças de direção já pensadas
Fronteiras (a alcançar) • Necessidade de mensurar os impactos da avaliação
(como fazer com que a avaliação tenha um impacto efetivo no processo de decisão e como disseminá-la)
• Necessidade de garantir o valor científico das avaliações (credibilidade/legitimidade)
• Necessidade de criar sinergias com atividades correlatas no universo da gestão de CT&I (planejamento, prospecção etc.)
OBRIGADA [email protected]