algumas contribuições da docimologia

Algumas contribuições Algumas contribuições da docimologiada docimologia

Jean-François MARCELProfesseur de l’Enseignement Supérieur Agricole en Sciences de

l’éducationENFA, Université de Toulouse (France)

A docimologiaA docimologiaA docimologia é a ciência de examesEla produziu uma certa quantidade

de trabalho no intuito de melhorar :◦O procedimento da avaliação◦Os instrumentos da avaliação◦A notação

Ela conseguiu em parte. Todavia é interessante para os professores conhecer alguns de seus avanços.

J-F Marcel, Brésil, mai 2009 2

As 5 qualidades de uma As 5 qualidades de uma avaliaçãoavaliação

A partir das 5 « qualidades » da avaliação (do jeito que foram reparado pela docimologia) vejamos que é dejesavel se fazer certas perguntas quando nós elaboramos e colocamos em prática uma avaliação


1 - A pertinência da 1 - A pertinência da avaliaçãoavaliação

É o grau de inscrição para a prova na linha dos objetivos visados.

Diz respeito a consistência da transposição do objetivo aos indicadores.

Questão : Será que o instrumento que eu construi se refere realmente as competências que eu queria avaliar?


2 – A validade da 2 – A validade da avaliaçãoavaliaçãoÉ ou grau de adequação entre aquilo que

a prova pretende medir e aquilo que ela mede.

Diz resreito a consistência do procedimento inverso em relação ao procedimento de transposição (dos indicadores ao objetivo)

Questão : Será que os indicadores (que me servem de apoio para elaborar minha prova de avaliação) cobrem o critério e o objetivo visado?


3 - A confiabilidade da 3 - A confiabilidade da avaliaçãoavaliaçãoÉ o grau de confiança que nós

podemos dar aos resultados observados.

Questão : Se eu reitero minha avaliação em vários momentos e em circunstâncias diferentes, será que meus alunos conseguirão os mesmos resultados?


4 – A objetividade da 4 – A objetividade da avaliaçãoavaliaçãoAs conclusões da avaliação não

foram influenciadas pelas preferências pessoais de quem avalia. Ele conseguiu parcialmente a <<controlar>> sua subjetividade.

Questão : Será que eu fui capaz de distânciar o suficiente minhas opniões do aluno para avaliá-lo de forma justa?


5 – A possibilidade de 5 – A possibilidade de generalização da avaliaçãogeneralização da avaliação

Diz respeito ao fato:◦De estender uma conclusão pontual (a

partir de uma prova particular) ◦A um nível mais amplo de generalidade

(boletim, orientação, aprovação a um exame, etc.)

Questão : A elaboração da prova e minha anotação são bastante confiáveis para me permitir tomar esta decisão?


Docimologia e anotaçãoDocimologia e anotaçãoA docimologia se prendeu muito

a mostrar os limites do fato de recorrer à nota.

Vejam alguns exemplos (para a maioria, talvez você tenha um conhecimento implícito, por ser antigos alunos)


A variabilidade da A variabilidade da avaliaçãoavaliaçãoIndependente da disciplina:

◦Um mesmo lote de cópias intrega os vários avaliadores

◦Vai dar para cada cópia, ◦Uma vasta gama de notas e

diferenças muito consideráveis. É um pouco menos verdade:

◦Para provas do tipo QCM ◦Todavia elas só medem objetivos de

baixo nível cognitivo


O valor do pontoO valor do pontoNa escala de 0 à 20, todos os

pontos não tem o mesmo « valor » :◦Pouco valor abaixo de 5◦Valor importante acima de 15◦Valor muito particular do 10 («

constante macabra »)Portanto:

◦A média é um cálculo estatisticamente inadimissível (variáveis ordinais não variáveis de intervalos),

◦Sobretudo entre disciplinas diferentes.


Os ajustes « automáticos »Os ajustes « automáticos »Muitos estudos revelam que os

resultados de uma prova (não importa a prova) se dividem sistematicamente segundo a curva de Gauss (curva em forma de sino):◦ Muito pouco de notas muito ruim◦ Muito pouco de notas muito boas ◦ Muitas notas « médias » (em torno de 10).

Vejamos assim uma função « implícita » da prova: ◦ Discriminar os resultados dos alunos◦ Para discriminar os alunos◦ Não importa os « atendidos »


Os efeitos danososOs efeitos danososA mesma cópia :

◦Foi oferecida à dois grupos selecionados de avaliadores.

◦Trocando somente o nome do aluno suposto: Marie-Amélie e Zohra

◦As diferencias foram muito significativas ◦… à favor da primeira.

Na hora de corrigir :◦Pense nos danos ◦Que você causa de forma implícita ◦Nos alunos que convive o ano todo


O efeito de contaminaçãoO efeito de contaminaçãoVariáveis chamadas « choque »Produzem um efeito importante na

avaliação de uma cópia◦Fazendo a avaliação « escalar» : uma

boa idéia, uma descoberta original (sobretudo no início e no final da cópia)

◦Fazendo a avaliação cair : uma aberração, uma grande besteira (sobretudo no início e no final da cópia)

Essas variáveis « atropelam » o gabarito


O efeito da « mancha »O efeito da « mancha »É originário das variáveis de

« transbordagem» ◦A ortografia◦A apresentação da cópia

A partir de um certo limite (muito subjetivo), essas variáveis vão ceder o lugar à uma « penalização »◦Pontos a menos para erro de ortografia◦Pontos a menos para razuras ou manchas

Entretanto, essas penalizações são ilegítimas :◦Elas saem do gabarito◦Elas saem das expectativas da prova


O efeito « ordem de O efeito « ordem de correção »correção »A variável chamada de

« contraste » com a cópia anterior:◦A cópia que segue uma muito boa

cópia é avaliada mais rigorosamente◦A cópia que segue uma cópia muito

fraca é avaliada mais generosamente Induz estratégias de restituição

das cópias muito usadas para os bons alunos


O efeito « acostumar»O efeito « acostumar»Em um lote de cópias, o limite de

exigência evolue (não importa o gabarito)

As primeiras cópias são corrigidas mais rigorosamente

Um « ajuste » ocorre no final de um certo número de cópias: elaboração para o professor de formas de « rotinas » de avaliação (em função do sujeito)

É mais prudente, no final da correção, rever as primeiras cópias


O efeito de « tendência O efeito de « tendência central » :central » :

Em caso de incerteza do avaliador (principalmente nos exames) :◦Por medo de sub-avaliar ◦ou por medo de sobre avaliar ◦ele se refugia numa nota em torno de

10Assim a « nota central» :

◦Desempenha um papél de variável refúgio

◦Induz o efeito « Curva de Gauss »


O efeito de « contorno »O efeito de « contorno »Dos usos de avaliador:

◦Nas provas com critério◦Porém nas provas com gabarito

tambémAtestem estratégias de contorno:

◦Eles començam para atribuir a nota final (a partir de 20)

◦Eles « repartem » em seguida os pontos em função dos critérios ou do gabarito


Em conclusãoEm conclusãoA docimologia revelou:

◦ A existência de numerosas « armadilhas» e « desvios » da notação

◦ Que a avaliação não poderia jamais « expulsar » totalmente a subjetividade do avaliador

Portanto, quando eu corrijo :◦ Eu me esforço para racionalizar o

procedimento (com um certo número de balisas : gabaritos, elementos de repostas esperadas, etc.)

◦ Eu sei que terei mesmo assim que decidir de forma subjetiva em parte

◦ Eu assumo conscientemente essa falha « dar um jeito » pedagógico.


algumas contribuições da docimologia

Documents