avaliação de treinamento a distância: reação, suporte à transferência e impacto do...
TRANSCRIPT
![Page 1: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/1.jpg)
Avaliação de Treinamento a Distância:
Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho
Renata Silveira Carvalho¹UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia AbbadApoio Financeiro Parcial: CNPq – CAPES¹Integrante do PRONEX/ Treinamento e Comportamento no
Trabalho
Dissertação de Mestrado
![Page 2: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/2.jpg)
2
Cenário AtualPor um lado... Exigências do mercado “Prazo de validade” do conhecimento Inovações tecnológicas
Por outro... Educação empresarial com uso da
tecnologia Avaliação sistemática das ações
educacionais
![Page 3: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/3.jpg)
3
Aprendizagem Organizacional Justificativa para as organizações Derivado da aprendizagem
individual Mapas cognitivos compartilhados
(mapas de aprendizagem, comunidades de aprendizagem)
Crítica ao uso do termo (Pantoja e Borges-Andrade, 2002)
![Page 4: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/4.jpg)
4
TD&E
Metáfora com aprendizagem organizacional
EducaçãoDesenvolvimento
TreinamentoInstrução
Comunicação de
conhecimento
Adaptado de Sallorenzo (2000)
![Page 5: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/5.jpg)
5
Educação a DistânciaDefinição Distância física e temporal Flexibilidade Autonomia
Aspectos importantes Caráter sócio-afetivo Conjunção de mídias
![Page 6: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/6.jpg)
6
Educação Corporativa
Uso da EaDVantagens:
redução de custos de deslocamento e substituição;
formação simultânea de colaboradores dispersos geograficamente
Propósitos de T,D e E indistintos Educação continuada
![Page 7: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/7.jpg)
7
Sistema Treinamento
Necessidade de novas ferramentas de avaliação
Sistema de TreinamentoLevantamento de
NecessidadesPlanejamento e
ExecuçãoAvaliação
![Page 8: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/8.jpg)
8
Modelos de Avaliação
Hamblin (1978)Reação, Aprendizagem, Comportamento no
Cargo, Mudança Organizacional e Valor Final
Críticas ao modelo (Alliger & Janak, 1989)Acréscimo de informaçõesCausalidadeCorrelação entre níveis
![Page 9: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/9.jpg)
9
Modelos de Avaliação
Modelo MAIS (Borges-Andrade, 1982) Destaque para variáveis do ambiente
Apoio
Resultadoa longoprazo
Resultados
Processo
Processo
ProcedimentoInsumosAvaliação
deNecessidade
Disseminação
![Page 10: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/10.jpg)
10
Modelos de Avaliação
Modelo IMPACT (Abbad, 1999) Identificação de variáveis preditoras de
Impacto do Treinamento no Trabalho
7. Impacto
6. Suporte à Transferência
3. Características da Clientela
2. Características do Treinamento
1. Suporte Organizacional
5. Aprendizagem
4. Reações
![Page 11: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/11.jpg)
11
Modelo de Investigação
1. Características da Clientela
1.1. Dados demográficos1.2. Uso de ferramentas da
web2. Reações2.1. Desempenho do Tutor2.2. Interface Gráfica2.3. Resultados e
Aplicabilidade
4. Falta de Suporte à Transferência
3. Aprendizagem5.
Impacto Treinamento no Trabalho
5.1. Profundidade5.2. Amplitude – Perfil do
Empreendedor
Revisão de Literatura
![Page 12: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/12.jpg)
12
Delimitação do Problema Grande lacuna nos estudos sobre
treinamentos a distância NTICs trazem novos questionamentos
Interface GráficaPapel do Tutor
Aprendizagem continua pouco estudada Necessidade de reconstrução de
instrumental de avaliação
![Page 13: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/13.jpg)
13
Objetivos Estudo 1
Construir e Validar medidas nos níveis de Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho
Estudo 2 Identificar variáveis preditoras de aprendizagem
e impacto, nos componentes características da clientela, reação e suporte à transferência.
1. Características da Clientela
2. Reações
4. Falta de Suporte à Transferência
3. Aprendizagem 5. Impacto Treinamento no Trabalho
![Page 14: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/14.jpg)
14
Componentes - Definições 1. Características da Clientela
Dados demográficos (sexo, idade, escolaridade e região geográfica de residência)
Uso de ferramentas da web (acesso ao “tira-dúvida”, à lista de discussão, ao mural de notícias, ao chat e ao ambiente do curso)
2. ReaçõesDesempenho do Tutor (interação com participantes,
domínio do conteúdo e uso de estratégias de ensino)Interface Gráfica (navegabilidade e usabilidade do
software)Resultados e Aplicabilidade (transmissão dos
conhecimentos a outras pessoas, aplicação do aprendido em diferentes situações, trabalho com outros profissionais e enfrentamento de dificuldades)
![Page 15: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/15.jpg)
15
Componentes - Definições 3. Aprendizagem
Desempenho do participante nos exercícios de fixação obrigatórios, aplicados ao final de cada capítulo do curso (número de acertos)
4. (Falta de) Suporte à TransferênciaFatores ambientais, da família, comunidade e
do governo capazes de prejudicar a abertura e manutenção de um empreendimento
![Page 16: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/16.jpg)
16
Componentes - Definições 5. Impacto do Treinamento no Trabalho
ProfundidadeAuto-avaliação sobre o grau de aplicação dos
desempenhos no ambiente de trabalho do participanteAmplitude
Auto-avaliação sobre o grau de emprego de estratégias de gerenciamento de um empreendimento, quanto a:
– tratamento com colaboradores– clientes e fornecedores– ações de autodesenvolvimento– controle financeiro e jurídico do negócio– ações de marketing e estruturação do ambiente físico.
![Page 17: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/17.jpg)
17
Método- Organização e Curso -
Organização: Sebrae Sua missão é promover desenvolvimento sustentável
do Brasil por apoio a micro e pequenas empresas
Curso: IPGN Objetivo: elaboração de um Plano de Negócio Público-alvo: interessados em desenvolver habilidades
de empreendedorismo 100% a distância via internet / Gratuito 40 horas / 60 dias / 5 módulos seqüenciais - de 2 a 5
capítulos Tutoria (200 alunos por tutor) e Recursos de interação
![Page 18: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/18.jpg)
18
Método População de inscritos no momento
da avaliação21.920
Número de concluintes11.600 (52,9%)
Maior amostra obtida2.347
9 arquivos de dados criados
![Page 19: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/19.jpg)
19
Método- Participantes -
Semelhança entre população de concluintes e amostras dos Estudos 1 e 2
Concluintes (52 a 91%) Sexo masculino (59 a 65%) Idade média de 34 anos (DP 9) Nível superior incompleto (32 a 34%) Região Sudeste (43 a 57%)
Dados Pessoais (Estudo 2) Não possui negócio (71%) Experiente na internet (52%) Não participou de curso a distância (53%) Interesse em Serviços (50 a 54%) Funcionário de empresa privada (21%) Inscreveu-se para aprender a elaborar plano de negócio
(52 a 54%)
![Page 20: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/20.jpg)
20
Pouco uso das ferramentas da webDúvidas no “tira-dúvida”: 0 (76 a 88%)Mensagens para a lista de discussão: de 1
a 10 (45 a 61%)Participação em chats: 0 (33 a 60%)Acesso ao mural de notícias: até 12 vezes
(30 a 58%)Acesso ao ambiente do curso: de 1 a 20
vezes (37 a 63%)
Método- Participantes -
![Page 21: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/21.jpg)
21
Método- Instrumentos de Medida e Fontes -
Instrumento Seções do instrumento No. de Itens
Roteiro de Análise do Material Didático
Objetivos instrucionaisEstratégias instrucionaisPlanejamento de atividadesSeqüência do ensinoFontes de informaçãoInformações gerais sobre o curso
39
Dados Pessoais Dados demográficos e profissionais
11Sebrae
Reação ao Desempenho do Tutor
Interação com os Participantes 17
Domínio do Conteúdo 4Uso de Estratégias de Ensino 22
![Page 22: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/22.jpg)
22
Método- Instrumentos de Medida -
Instrumento Seções do instrumento No. de Itens
Reação à Interface Gráfica Usabilidade e navegabilidade do software 15
Reação a Resultados e Aplicabilidade 7
Aprendizagem Acertos nos exercícios SebraeFalta de Suporte à Transferência
Apoio familiar, governamental e social 15
Impacto do Treinamento Impacto em Profundidade 25
Impacto do Treinamento no Trabalho (em Amplitude)
Colaboradores
37Clientes e fornecedoresAutodesenvolvimentoControle jurídico e financeiroMarketing e ambiente
![Page 23: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/23.jpg)
23
ReaçãoTutor: relatos de tutores e alunosInterface Gráfica: critérios
ergonômicos (Scapin & Bastien, 1993)Resultados e Aplicabilidade: adaptado
de Abbad (1999) Impacto em Profundidade
Análise do Material Didático Suporte e Impacto em Amplitude
Entrevistas com empreendedores
Método- Construção de Instrumentos -
![Page 24: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/24.jpg)
24
Método- Coleta de Dados -
1° Momento - final do curso:
Dados PessoaisDesempenho do TutorInterface GráficaResultados e Aplicabilidade 2° Momento - 42 a 105 dias após
o término do curso:
Falta de Suporte à TransferênciaImpacto do Treinamento (em profundidade)Impacto do Treinamento (em amplitude)
Coleta via e-mail Instrumentos digitalizados, hospedados na internet Índice de retorno baixo: 24% (1° Momento) e 8,5% (2°
Momento)
![Page 25: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/25.jpg)
25
Método- Análise de Dados -
Análises exploratórias Distribuição das variáveis, dados omissos e casos
extremos Tratamento pairwise para dados omissos Manutenção dos casos extremos
Estudo 1Componentes Principais
valor próprio>1; scree plot; 3% de variância explicada; interpretabilidade do fator
PAF (cargas>0,30)Alfa de Cronbach
Estudo 2ANOVA, Teste tRegressão Múltipla Padrão e Stepwise
![Page 26: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/26.jpg)
26
Resultados Estudo 1Escalas Obtidas KMO No.
ItensValor
Próprio % Var AlfaCargas fatoriais
mín. máx.TUT1 Desempenho Didático e Domínio do Conteúdo
0,98
27 23,02 52,31 0,98 0,40 0,93
TUT2 Uso de Estratégias Motivacionais 12 18,65 42,38 0,95 0,49 0,98
TUT3 Respeito aos Participantes 5 9,84 22,36 0,92 0,41 0,52
TUTG Desempenho do Tutor 44 25,07 57,00 0,98 0,59 0,83
INT Interface Gráfica 0,96 15 8,62 57,46 0,95 0,68 0,84
RESULT Resultados e Aplicabilidade 0,88 7 3,80 54,30 0,88 0,62 0,82
![Page 27: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/27.jpg)
27
Resultados Estudo 1Escalas Obtidas KMO No.
ItensValor
Próprio % Var Alfa Cargas mín máx
SUP1 Contexto do Empreendimento
0,91
8 5,18 34,5 0,87 0,34 0,85
SUP2 Aspectos Financeiros 7 5,23 34,87 0,88 -0,44 -0,91SUPG Falta de Suporte à Transferência 15 6,14 40,93 0,91 0,30 0,75
IMPP1 Administração do Negócio
0,97
12 10,87 45,29 0,92 0,32 0,83
IMPP2 Planejamento Financeiro 7 10,31 42,95 0,95 -0,54 -0,94
IMPP3 Análise do Mercado 5 9,20 38,33 0,90 -0,31 -0,89IMPPG Impacto do Treinamento no Trabalho (em Profundidade)
24 12,48 52,01 0,96 0,41 0,79
IMPA1 Gestão do Negócio
0,98
24 18,63 50,35 0,96 0,48 0,82IMPA2 Gestão de Pessoas 13 17,96 48,48 0,97 -0,61 -0,99IMPAG Impacto do Treinamento no Trabalho (em Amplitude)
37 20,14 54,45 0,97 0,49 0,84
![Page 28: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/28.jpg)
28
Resultados Estudo 2- Aprendizagem -
“Tira-dúvida”, Lista de Discussão e Reação à Interface Gráfica não explicaram aprendizagem.
As seis variáveis antecedentes explicaram 6% da variabilidade nos Escores de Aprendizagem.
Escores de Aprendizagem
Número de Acessos ao Mural de Notícias
Reação a Resultados e Aplicabilidade
Número de Acessos ao Chat
=0,15
=0,13
=0,10
R²=0,06
![Page 29: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/29.jpg)
29
Resultados Estudo 2- Impacto em Profundidade -
Reação à Interface Gráfica e Região Geográfica não entraram no modelo.
As cinco variáveis antecedentes explicaram 34% (33% ajustado) da variância de impacto em profundidade.
Impacto do Treinamento no Trabalho
(em Profundidade)
Elaboração de Plano de Negócio
Falta de Suporte à Transferência
Reação a Resultados e Aplicabilidade
=0,44
=0,26
= -0,18
R²=0,34
![Page 30: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/30.jpg)
30
Resultados Estudo 2- Impacto em Amplitude -
Reação à Interface Gráfica e Região Geográfica não entraram no modelo.
As cinco variáveis antecedentes explicaram 31% (30% ajustado) da variância total das respostas de Impacto do Treinamento no Trabalho (em Amplitude).
Impacto do Treinamento no Trabalho
(em Amplitude)
Elaboração de Plano de Negócio
Falta de Suporte à Transferência
Reação a Resultados e Aplicabilidade
=0,40
=0,25
= -0,14
R²=0,31
![Page 31: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/31.jpg)
31
Discussão Estudo 1 Instrumentos válidos e confiáveis Tutor
MulticolinearidadeCorrobora em parte Abbad (1999)
SuporteNecessidade de avaliar barreiras e restrições
ao desempenho no cargoFalta apoio familiar
ImpactoAlta correlação entre profundidade e amplitudePré-teste de empreendedorismo
![Page 32: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/32.jpg)
32
Discussão Estudo 2 Baixa predição de aprendizagem
Medida não fidedigna e pouco uso da web Reações: apoio parcial na literatura
Tutor e interface gráfica sem poder preditivo
Suporte ainda é preditor de impactoMagnitude menor e Relação negativa
Elaboração do plano de negócioNecessária porém não obrigatória
Variáveis demográficas não explicam aprendizagem e impactoEstudar variáveis motivacionais
![Page 33: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/33.jpg)
33
Discussão- Análises Adicionais -
Diferenças entre médiasDiferença no uso de ferramentas da web
entre concluintes e não concluintesExperiência no uso da internet não
interfere na Reação à Interface GráficaReação a Resultados e Aplicabilidade
difere em função da conclusão do cursoPossuir negócio não altera percepção de
falta de suporte
![Page 34: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/34.jpg)
34
Considerações Finais Escalas psicometricamente válidas e
confiáveis Baixo poder preditivo das variáveis
antecedentes Necessidade de aprimoramento de escalas e
aplicação em outros contextos Desempenho do tutor e interface gráfica não
explicaram resultados de impacto Necessidade de pré-teste de aprendizagem
e empreendedorismo
![Page 35: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/35.jpg)
35
Limitações Baixo índice de retorno
Falhas em programação e quedas de conexão
Delineamento da coleta Modelo de investigação completo não
testado Apenas um curso avaliado, em
contexto específico Aprendizagem – baixa qualidade
psicométrica
![Page 36: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/36.jpg)
36
Contribuições Validação de 6 escalas de avaliação de
treinamento a distância Validação de medida de impacto em
profundidade Medida de impacto em amplitude
aplicável aos cursos da organização-alvo Avaliação de curso a distância Inclusão de variáveis típicas de EaD
tutor e interface gráfica
![Page 37: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/37.jpg)
37
Agenda Analisar relacionamento entre níveis de
avaliação individual Estudar características da clientela
(variáveis motivacionais) em EaD Analisar perfil dos participantes
evadidos Aplicar e reformular os instrumentos
utilizados nesta pesquisa Avaliar impacto em amplitude em mais
momentos, incluindo medidas não-perceptuais
![Page 39: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/39.jpg)
39
Características da Clientela Pequena contribuição dessas
variáveis na explicação de impacto e aprendizagem
Motivacionais são as mais importantes (Colquitt, LePine & Noe, 2000)
Dados demográficos: idade com correlação negativa com aprendizagem (Abbad, 1999; Pantoja, 1999; Warr & Bunce, 1995)
![Page 40: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/40.jpg)
40
Reação Desempenho do Tutor
Contato com aluno mediado pelo tutorPapel do tutor não está claramente definido
(Maggio, 2001):Não se resume ao afetivo, de motivar e incentivar ao
alunoDomínio do conteúdo e uso de estratégias de ensino
também são defendidosProfessor presencial avaliado em 3 dimensões:
Domínio do conteúdo, estratégias de ensino e entrosamento
Interação com o tutor e interatividade do ambiente virtual: complementares nas ações de EaD (Belloni, 1999)
![Page 41: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/41.jpg)
41
Reação Interface Gráfica
Influente na produtividade e conforto dos usuários
Uso linear, sem uso do hipertexto (Dean & Webster, 2000)
Raros casos de medidas de avaliação do ambiente de ensino na web (p.e., Sarmet & Silvino, 2002)
Critérios ergonômicos, ainda não validados estatisticamente (Scapin & Bastien, 1993)
Interface gráfica e exigências cognitivas
![Page 42: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/42.jpg)
42
Resultados e Aplicabilidade (Abbad, 1999; Alves, Pasquali & Pereira, 1999; Alliger et al., 1997)Avaliação de Utilidade
Reações: falta de critérios rigorosos, pouca explicação de procedimentos e nenhuma comparação entre níveis
Reação
![Page 43: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/43.jpg)
43
Aprendizagem Processo de aquisição e retenção de
CHAs, expresso por mudança em comportamento
Pré e pós-testagem para mensurar alcance dos objetivos
Avanços escassos (Borges-Andrade, 2002) Pouco conhecimento sobre variáveis
explicativas Não se configura como preditora de
impacto do treinamento no trabalho
![Page 44: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/44.jpg)
44
Suporte à Transferência Características específicas do ambiente de
trabalho que podem restringir ou facilitar a aplicação dos conhecimentos aprendidos no treinamento
Importância da variável na explicação de impacto corroborada em diferentes ambientes organizacionais, tipos de treinamento e amostras
Não há estudo dessa variável em TaD Restrições situacionais: aspectos prejudiciais ao
desempenho (Peters & O’Connor, 1980) Natureza do curso avaliado implica redefinição da
medida (comunidade, família, governo)
![Page 45: Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de](https://reader035.vdocuments.mx/reader035/viewer/2022062502/5706385d1a28abb8238fde14/html5/thumbnails/45.jpg)
45
Impacto do Treinamento Profundidade vs. Amplitude
Efeitos específicos do treinamento, relacionados aos objetivos de ensino
Efeitos gerais do evento sobre o desempenho de tarefas relacionadas diretamente ou não ao conteúdo
Dificuldade de validação (Borges-Andrade, 2002) Amplitude para o curso avaliado:
Medida de empreendedorismo e técnicas gerenciais Não há relato empírico sobre definição de
características do empreendedor Criatividade, iniciativa e inovação