avaliação dos projetos de p&d da chesf: passos...
TRANSCRIPT
Edmundo Inácio Jr. (FCA/UNICAMP)
Cássio Garcia Ribeiro (Franca/UNESP)
André Tosi furtado (DPCT/IG/UNICAMP)
Gabriela Silva (DPCT/IG/UNICAMP)
Abraham Sicsú (FUNDAJ-UFPE)
Luciana Távora (FUNDAJ)1
Avaliação dos projetos de P&D da CHESF: passos
metodológicos
Estrutura da apresentação
2
1. Introdução
2. Justificativa3. Modelo subjacente
4. A tarefa de avaliação
5. Breve histórico do Programa
6. Passos metodológicos
6.1 População e amostra6.2 Pesquisa Documental6.3 Survey6.4 Workshops6.5 População e
amostra6.6 Consolidação dos
dados6.7 Estudos de caso
7. Conclusões
1. Introdução
3
� Década de 90 – processo de privatização do setorde energia elétrica brasileira;
� Criação da Agência Nacional de Energia Elétrica(ANEEL) – 1996;
� Lei 9.991/2000 – obrigatoriedade de investir umpercentual mínimo de suas Receitas OperacionaisLíquidas (ROL) em projetos de P&D;
� Lei incentivou as atividades de inovação no setorelétrico;
2. Justificativas
4
Utilidade:
� Ciência e Tecnologia têm importância crescente para o desenvolvimento econômico e social;
� Controle dos Gastos Governamentais;
� Contabilidade e Transparência dos Resultados;
� Alimentar com informações as Políticas de C&T;
3. Modelo subjacente
5
� A escolha do que medir, como e quando e a forma de interpretar os resultados depende de um modelo subjacente de inovação;
� Enfoque neoclássico percebe o progresso técnico como exógeno;
� Enfoque Alternativo ou Heterodoxo: modelo interativo de inovação.
4. A tarefa de avaliação
6
� Atribuir impactos econômicos e sociais a uma determinada intervenção pública;
� Hiato temporal entre a produção de conhecimentos e a realização dos impactos;
� Imprevisibilidade dos resultados do processo de inovação;
� Atribuição da causalidade;
� Portanto, eficácia das avaliações é limitada:� conhecimento incompleto;
� interpretações diferentes.
4. A tarefa de avaliação
7
� Não é uma atividade rotineira: exige um importante esforço de pesquisa;
� Contribui para o entendimento do processo de inovação : abrir a caixa preta;
� A comunidade de avaliação de P&D ainda não está institucionalizada:� publicações em relatórios pouco divulgados;� pouco debate científico nacional.
8
� Manual de P&D da Aneel define operacionalmente como deverão ser os projetos de P&D e os programas a serem submetidos anualmente pelas concessionárias� Houve alterações entre o Manual de 2001 e de 2008,
mas para efeito da avaliação valeram as regras do Manual de 2001
� Critérios para Avaliação (Manual 2001)“O sucesso de um projeto de P&D depende de dois fatores básicos: da natureza dos produtos quanto à criatividade científica e inovação tecnológica, por um lado, e da sua potencialidade aplicativa pelo outro.”
5. Breve histórico do programa
9
Arranjo Institucional do Programa� Empresa Concessionária Contratante do Projeto de P&D:
� Determina os objetivos gerais do Projeto� Financia o Projeto� Gerencia e acompanha a execução do projeto� Participa da execução do Projeto� Implementa a tecnologia na empresa � Comercializa a tecnologia� � Gerente do Projeto
• Entidade executora do Projeto de P&D� Submete o projeto à entidade executora� Determina o conteúdo técnico do Projeto� Executa o projeto � � Coordenador do Projeto
• Aneel� determina as regras gerais de funcionamento do programa de P&D� aprova os projetos� Acompanha a execução dos projetos
5. Breve histórico do programa
6. Passos metodológicos
10
� Temporalidade: ex-post;
� Fase: resultados e impactos (in)diretos (nãoconcepção e nem implementação);
� Indicadores: quanti-qualitativos;
� Dados: Secundários e primários;
� Técnicas: pesquisa documental; surveys;workshops; entrevistas para estudos de caso.
Objetivo: apresentar a proposta metodológica criada e aplicada paraavaliar os projetos de pesquisa e desenvolvimento (P&D) da carteira daANEEL da Companhia Hidro Elétrica do São Francisco (CHESF).
6.2 Pesquisa documental
12
� Apoiada em dados secundários contidas nosprojetos originais e nos relatórios quadrimestrais dosprojetos já concluídos;
� Analise dos 67 projetos concluídos;
� Por meio dessas tabulações iniciais foi possível aconstrução de uma visão geral do portfólio deprojetos de P&D da CHESF, auxiliando naelaboração dos questionários aplicados no survey;
� Dados sobre recursos financeiros, entidadesparticipantes, e áreas tecnológicas abrangidaspermitiram atestar a validade da amostra do survey;
6.3 Survey
13
� Abordaram questões não capturadas na pesquisadocumental;
� Pré-teste: aplicados a 3 projetos (Houve 5 versõesde ambos os questionários).
� Questionário autoaplicável, enviado por e-mail aosrespondentes com uma carta de apresentação.Primeiramente foi feito o contato com osrespondentes por telefone, para colocá-los a par doestudo, e assim destacar sua importância para aCHESF;
� 2 Tipos de Questionários: Coordenador e Gerenteque enfocam aspectos complementares e pontos devistas distintos do processo de inovação
6.3 Survey
14
� Variáveis Relevantes:
� Insumos: recursos humanos mobilizados, recursos financeiros
� Produtos: produção científica, resultados tecnológicos e não tecnológicos (diretos e indiretos), processo de transferência de tecnologia
� Mudanças Estruturais: formação de capital humano, mudança organizacional, formação de redes;
� Relações de Causalidade: Consecução dos Objetivos, grau de contribuição do programa, Visão do Programa
Impactos: Econômicos, Sociais e Ambientais
6.4 Workshop
15
� Após três meses do início do survey, de 134questionários:
� 30 questionários recebidos pela equipe, o querepresenta aproximadamente 22% do conjunto dequestionários;
� Os gerentes e coordenadores foram convidados aparticipar de dois workshops: Recife, na sede daCHESF e no Rio de Janeiro, sede do CEPEL;
� Após os workshops houve uma ampliaçãosignificativa da taxa de retorno.
6.5 População e amostra
16
Tabela 2 – Projetos concluídos, total e com questionários retornados por
entidade, segundo ciclo
6.6 Consolidação dos dados
17
� Tratamento e processamento dos dados;
� Construção do banco de dados;
� Criação dos indicadores.
18
Tratamento dados faltantes
� Mesmo após a fase de validação dos questionários, há ainda ocorrência de:� Dados faltantes;� Dados incorretos;� Digitação errada;
� Nestes casos pode-se:� Excluir da tabulação;� Substituir pela média;� Voltar a consultar a fonte de informação (normalmente
custosa).
6.6 Consolidação dos dados
6.6 Consolidação dos dados
23
Criação dos indicadores
� Introduzido o conceito de “Grau de Paternidade”;
� Indicadores que o utilizam:
� Recursos humanos formados;� Produção científica;� Propriedade intelectual e � Novo projeto de P&D conseguido.
� Informado pelos respondentes;� De forma simples, o grau de paternidade expressa
em que medida (em uma escala de 0 a 10) o projeto CHESF contribuiu para o alcance de determinado resultado.
6.6 Consolidação dos dados
24
Criação dos indicadores
� A racionalidade por traz desse elemento reside nofato da dificuldade de se isolar os efeitos de outrasvariáveis em uma relação de causalidade nasciências sociais.
� Nesse sentido, tome como exemplo a relação entrea formação de um mestre e sua participação noprojeto CHESF. A questão é: a formação dessemestre só foi possível devido a sua participação noprojeto?
GRAU DE PATERNIDADEMedida subjetiva, conversadora dessa causalidade
6.7 Estudos de casos
25
� Estudos de caso com o intuito de obter mais profundidade (8 casos) sobre os impacto (econômico, social, ambiental) e as questões de TT;
� Entrevista semiestrutura com: gerente e usuário da tecnologia;
� Os critérios para a escolha dos Casos foram os seguintes:� Projetos concluídos há mais de dois anos;� Projetos cujos questionários indicassem resultados
relevantes;� Projetos oriundos de diferentes áreas de atuação da
empresa;� Projetos com resultados em diferentes estágios de
implementação, desde a fase de protótipo laboratorialaté a de unidade de produção;
� Projetos de diferentes concepções, desde sócio-econômicos ou ambientais, até os estritamente
7. Conclusões: survey
26
� Sobre os Insumos� Recursos financeiros destinaram-se aos Recursos Humanos
de Executora� Participação Expressiva dos Recursos Humanos da Chesf
� Sobre a Implementação� Proporção elevada de projetos atrasados
� Resultados :� Elevada Consecução dos Objetivos dos Projetos � Expressiva formação de recursos humanos nas entidades
executoras e na Chesf� Expressiva produção científica tanto da executora como da
proponente� Expressiva produção tecnológica (2 resultados/projeto)
� Porém:� Entidade Executora e Proponente apresentaram importantes
obstáculos internos relacionados à burocracia e falta de prioridade estratégica para a implementação das tecnologias e a transferência
� Parcela menor das tecnologias alcançou o estágio industrial e
7. Conclusões: estudos de Caso
27
� Achados:� O sucesso na implantação dependeu basicamente de 2 fatores
internos à Chesf:� Envolvimento de técnicos da Chesf no desenvolvimento das
tecnologias do projeto� Alinhamento do projeto com as estratégias e as demandas
tecnológicas da Chesf � Contudo, observou-se que uma parcela significativa dos casos
não implantou e nenhum dos casos transferiu a terceiros as tecnologias
� Obstáculos identificados nas Entrevistas à Inovação na CHESF� Falta de valorização da inovação (percebida muitas vezes como
prestação de serviços) pela cultura organizacional da empresa;� Falta de preocupação em proteger os novos conhecimentos
tecnológicos gerados pelos projetos;� Falta de mobilização de esforços complementares;� Demora causada pelos procedimentos administrativos dos
projetos;� Dificuldade para aquisição de equipamentos científicos;
7. Conclusões: sugestões do Estudo
28
� Reforço e reconhecimento da atividade de P&D interna na CHESF
� Criação de um sistema mais efetivo de gestão da inovação dentro da empresa:� Alinhamento estratégico da atividade de P&D� Gestão mais eficiente dos projetos de P&D (redução
dos custos de transação)� Inserção do projeto de P&D em um projeto de
inovação que acompanhe o projeto até sua efetiva implementação
� Mobilização de recursos para a proteção da propriedade intelectual e a difusão da tecnologia
5. Conclusões
29
�Tal metodologia revelou-se um instrumentobastante adequado para avaliar deforma maisampla os desdobramentos dos projetos deP&D;
�Não há um único método que poderiaabranger todas as dimensões dos resultados eimpactos decorrentes dos programas de P&D;
�Permitiu à CHESF avaliar sistematicamente osimpactos dos investimentos no programa deP&D.
Referências
30
� ANDRADE, M. Introdução à metodologia do trabalho científico. 3. ed. São Paulo: Atlas, 1998.
� COOPER, D. R.; SCHINDLER, P. S. Métodos de pesquisa em administração. Porto Alegre. Bookman, 2004.
� DODGSON, M.; HINZE, S. Indicators used to measure the innovation process: defects and possibles remedies. Research Evaluation, vol. 8, nº 2, pp. 101-124, August 2001.
� DOSI, G. The nature of innovative process. In: Dosi, G. et al. (orgs.), Technical
Change and Economic Theory, Londres & Nova York: Pinter Publisher, p.221-238, 1988.
� GIL, A. C. Como classificar as pesquisas? In: Gil, AC. Como elaborar projetos de
pesquisa. 4ª edição. São Paulo: Atlas, 2002. p. 41-58.
� GÜNTHER, H. Como elaborar um questionário. Planejamento de Pesquisa nas Ciências Sociais, n. 1, Brasília – DF, 2003.
� KLINE, S; ROSENBERG, N. An Overview of Innovation. In: Landau, R; Rosenberg, N. (orgs.), The Positive Sum Strategy, Washington, DC: National Academy of Press, 1986.
� LAKATOS, M. E.; MARCONI, M. Técnicas de pesquisa. São Paulo: Atlas, 1999. 260 p.
� LOUIS LENGRAND e ASSOCIÉS. SMART INNOVATION: A Practical Guide to Evaluating Innovation Programmes. 2006.
LÜDKE, Menga. & ANDRÉ, Marli E. D. A. Pesquisa em educação: abordagens