terça-feira, fevereiro 19, 2008

Algumas das razões por que os professores estão condenados a avaliar mal o desempenho docente e a ser mal avaliados enquanto docentes, e o Ministério da Educação e uma Comissão Científica para a avaliação de desempenho, sendo científica, hão-de saber

Os professores receberam da tutela grelhas que indicam as dimensões em que vão ser avaliados. Com base nessas grelhas, têm que redigir descritores que reflectem uma escala de medida e por isso têm de saber que escala utilizar, uma vez que, sem uma escala definida, não é possível definir descritores para cada patamar da escala. A escala tem de reflectir o grau de discriminação que se pretende na avaliação e esse grau de discriminação é operacionalizado através de descritores. Quanto mais discriminativa se pretender que a avaliação seja, maior será o número de descritores e vice-versa.

O facto de discutirem em grupo o significado de cada descritor permite-lhes clarificar o conteúdo dos descritores, tanto para avaliadores, como para avaliados, o que é um procedimento metodologicamente correcto.

Definidos os descritores, estes teriam de ser sujeitos a uma testagem interjuízes, isto é, por exemplo, na observação das aulas, várias pessoas haveriam de observar várias aulas e avaliá-las nas suas diversas dimensões. Discrepâncias significativas na avaliação interjuízes medidas pelo Kappa de Cohen indicariam deficiências nos descritores, que teriam de ser revistos e sujeitos a nova testagem. Chama-se a isto a fase do pré-teste.

Testadas que estivessem as várias dimensões, os resultados teriam que ser estudados na sua consistência interna, através de um modelo matemático que relaciona as propriedades de cada um dos descritores com a sua soma, operacionalizável com um procedimento estatístico designado de alpha de Cronbach. O item que se revelasse menos consistente teria de ser reformulado.

Estes são procedimentos essenciais na elaboração de qualquer instrumento de medida - designadamente, têm de ser aplicados aos exames nacionais - e seriam os procedimentos essenciais a uma avaliação de desempenho rigorosa, séria e criteriosa.



A questão está em saber se é isto que se quer fazer: melhorar, prestar contas, legitimar o esforço colectivo para educar os jovens cidadãos, criar, enfim, uma cultura de inovação, de melhoria, de capacidade interna de mudança ou se o que está em jogo é um mero exercício burocrático que justifique uma agenda política.


Estou assim com grande curiosidade em saber que especialistas em avaliação vão aceitar participar do conselho cienfífico para a avaliação de desempenho.

4 comentários:

PJ disse...

Kappa de Cohen e alpha de Cronbach para avaliar a testagem interjuízes e a consistência interna do instrumento de avaliação? Sabe seguramente 99% dos professores avaliadores não sabe miniamente do que se está referir quando aborda somente estes dois conceitos. Isto é puro sânscrito para quem não teve uma formação básica na área da investigação, como sucede com a maioria dos professores. Não me parece também que a formação inicial e contínua na área da avaliação educacional aborde estas questões. Estarei a ser pessimista?

Paideia disse...

Leia com atenção o que escrevi, incluindo o título.

E não me misture os tratamentos estatísticos, porque medem coisas diferentes.
O Kappa de Cohen mede a validade externa.O alpha de Cronbach mede a consistência interna.

Anónimo disse...

Gostava de saber em que cálculos se baseou PJ para chegar aos 99%...

Paideia disse...

PJ, tudo depende de onde se faz a formação contínua. Eu habitualmente ensino estes conceitos e ensino as pessoas a fazerem tratamentos estatísticos básicos no SPSS: Não ficam a saber tudo, mas sempre podem aprender com livros abertos. Eu aprendi bastante assim.
:)