Diz-me os teus resultados, dir-te-ei quanto vales...


Em teoria é razoável pensar-se que a forma mais simples de avaliar um professor é através dos resultados dos seus alunos, já que, em última instância, ensinar é ajudar os alunos a aprender.

Contudo, para avaliar os resultados dos alunos em larga escala, seria necessário que fossem construídos testes estandardizados, o que torna o procedimento, por um lado, oneroso, e por outro, injusto porque não tem em conta as tremendas diferenças individuais, locais e regionais.

Mais ainda, os testes estandardizados tendem a avaliar competências de nível inferior, tais como o conhecimento e a compreensão e em apenas algumas disciplinas. As competências superiores como o pensamento crítico, criativo e analítico ficariam largamente excluídas do processo de avaliação. Ora, é justamente no desenvolvimento destas competências superiores que os melhores professores, os mais empenhados, apostam.

Quem é professor, sabe que qualquer professor pouco qualificado e empenhado tem bons resultados com meninos privilegiados; pelo contrário, para quem trabalha com meninos carenciados, menos capazes e preparados, todos os progressos, por pequenos que sejam, consomem muito tempo e esforço, conquistam-se passo a passo, e não se medem por testes estandardizados. Não é, portanto, justo um sistema de avaliação baseado nos resultados dos alunos.

Um tal sistema de avaliação, num país pequeno como o nosso e ainda muito dominado por sistemas de influência baseados no poder social, é um incentivo à reprodução na sala de aula das desigualdades sociais - que parecem ser cada vez maiores - uma injustiça para os alunos mais mais frágeis, quer social, quer individualmente.

Mesmo que procurássemos medir as "mais-valias", como alguma investigação sugere, como seria possível calcular, nos professores de turma única ou mesmo naqueles que têm poucos alunos, porque têm turmas pequenas, com algum rigor estatístico, os impactos do ensino na aprendizagem dos estudantes?

São meras teorias, sem qualquer viabilidade prática, que, a serem aplicadas, só prejudicariam os alunos mais desfavorecidos, já que os professores tenderiam a rejeitá-los.

Mas se a Escola puder ser o contraponto para uma sociedade em que ainda há tantos meninos pobres, maltratados, incompreendidos, mal amados, melhor.

É com estes que eu gosto de fazer a diferença.

Paradigmas de avaliação
Desde meados dos anos oitenta, os professores estão habituados ao paradigma qualitativo, em matéria de avaliação.

Qual é afinal o paradigma de avaliação do desempenho docente?

A grande questão que se nos está a colocar, em matéria de definição de objectivos e de avaliação de desempenho, é:

- se regressamos ao paradigma quantitativo e definimos tudo em termos de objectivos mensuráveis; há professores que dizem que os objectivos têm que ser definidos em termos de aumento da eficácia, traduzido em números e percentagens.

- se permanecemos no paradigma qualitativo, predominantemente descritivo; há professores que dizem que os modelos de gestão empresarial, por objectivos, não se aplicam à educação, porque garantir que 90% dos meninos têm sucesso escolar não nos livra de os vermos um dia destes a praticar gestos heróicos como os de Guantánamo, ou a considerar normal que os nossos aeroportos estejam incluídos na rota do Guantánamo Express.

Ora, os vários modelos de avaliação, com as suas técnicas e procedimentos específicos reflectem, não apenas divergências de natureza epistemológica, mas também as dificuldades de ordem técnica e de formação dos avaliadores.

Estamos portanto numa situação de evidente conflitualidade filosófica sobre a natureza da avaliação.

Por um lado, vivemos um momento de grande - e natural - preocupação com a melhoria da qualidade do nosso ensino; por outro, sentimos uma grande necessidade de levar a efeito uma vasta recolha de informação susceptível de ajudar a determinar os aspectos em que os programas estão a ter êxito ou a falhar, para podermos tomar decisões fundamentadas de introdução de reformas cuja urgência é imperiosa.

Esta ênfase na recolha e utilização da informação concebe a avaliação como uma "recolha e interpretação sistemáticas de dados que permitem juízos de valor conducentes à acção" (Beeby,1977).

Uma avaliação sistemática implica que a avaliação tem de ser planificada e precisa, de recorrer a formas de recolha de informação como a observação, os questionários e checklists, as entrevistas.

A "interpretação dos dados" introduz um aspecto frequentemente ignorado: não basta recolher dados, é necessário interpretá-los. Uma vez que uma ocorrência pode ter diferentes razões, é sua interpretação que vai determinar a intervenção mais adequada, para que a informação recolhida venha a ser devidamente utilizada.

A expressão "juízo de valor" implica, muito para além da simples descrição dos fenómenos, a exigência de produzir juízos sobre o mérito ou a eficácia de um projecto ou de um programa.


A expressão "com vista à acção" implica que a avaliação educacional só se justifica, se levar a melhores políticas e práticas, que abrangem um vasto leque de decisões de organização, de conteúdos, de materiais, de actividades e de recursos.

Scriven (1967) utilizou o conceito de avaliação formativa para caracterizar este tipo de decisões e o conceito de avaliação sumativa para abranger decisões sobre a manutenção ou o abandono de um determinado programa e a utilização de programas alternativos.


Os factores que têm vindo a influenciar o desenvolvimento das diversas concepções de avaliação, foram descritos por Alkin, em 1991:

- a confrontação do trabalho dos avaliadores com as interpretações dos seus pares;
- a confrontação dos diferentes pontos de vista;
- a incorporação de diversos trabalhos e abordagens;
- a acumulação de investigação sobre as práticas de avaliação;
- o aumento da experiência de avaliação;
- as interacções entre avaliadores;
- as iniciativas de caracterização dos diversos modelos.

O desenvolvimento dos modelos de avaliação inclui os princípios filosóficos, os contextos de prática e as próprias agendas sociais.

Muitas das decisões são deixadas ao julgamento profissional do avaliador, em vez de serem determinadas por um modelo.Estando ou não conscientes do modelo, o conhecimento de alternativas de abordagem ajuda a conceber o processo, a representar o objecto, a seleccionar os procedimentos e a adoptar o papel mais apropriado.

Os modelos de avaliação são assim vistos como projectos heurísticos susceptíveis de melhorar as práticas, não obstante as análises e críticas a que são sujeitos. Têm, contudo, vindo a servir de base de apoio a práticas de avaliação desenvolvidas, no interface do trabalho de campo, com a preparação formal e o conhecimento da literatura profissional.

Anderson e Ball (1978) identificaram seis grandes objectivos da avaliação de programas, que não se excluem mutuamente:

1. contribuir para a tomada de decisão sobre a aplicação dos programas;
2. contribuir para a tomada de decisão sobre a continuação, o desenvolvimento ou a "certificação" dos programas;
3. contribuir para a tomada de decisão sobre a introdução de modificações nos programas existentes;
4. reunir informação que justifique o apoio ou a suspensão de um programa;
5. contribuir para a compreensão dos processos psicológicos, sociais e outros.

Será possível sintetizar e integrar as diversas perspectivas epistemológicas em torno de cinco questões fundamentais que têm vindo a gizar a avaliação de programas:


- A programação social;
- A construção do conhecimento;
- Os valores;
- A utilização do conhecimento;
- A prática da avaliação.

Que modelo subjaz à avaliação do desempenho docente?
- Um modelo que se caracteriza pela preocupação de avaliar a eficácia dos programas na resolução dos problemas sociais? (uma espécie de regresso ao clima da guerra fria?)

- Um modelo que reflecte a necessidade de maior realismo acerca da natureza dos programas sociais e da forma como as observações e resultados das avaliações estão a ser utilizados?

- Um modelo que procura integrar estas duas perspectivas, que tem uma abordagem coerente e abrangente da avaliação?


Reconheço que esta divisão pode parecer algo simplista e que estes três modelos não se excluem mutuamente; na verdade eles traduzem os avanços e recuos no desenvolvimento da teoria da avaliação.

Em boa verdade, estes três modelos reflectem as seguintes tendências:
• a preocupação de procurar a verdade sobre as soluções para os problemas sociais;

• a busca de alternativas baseadas num conhecimento pormenorizado do funcionamento das organizações, no sentido de produzir resultados política e socialmente úteis;

• a produção perspectivas que integrem as alternativas geradas nos modelos anteriores.


Se é verdade que, teoricamente, sei que a melhor solução será sempre a que integra o paradigma do conhecimento descritivo a um paradigma mais associado à validade externa, mais mensurável- o que, em si mesmo, já não é nada fácil - na prática, esta questão está a tornar-se numa espécie de nó górdio, porque a maioria dos professores aprendeu e interiorizou que a avaliação por objectivos é pouco adequada ao campo da educação.

No debate televisivo entre a Sra. Ministra e os Professores, a melhor nota vai para:

Mário Nogueira



porque se preparou conveniente e foi o único que tocou num problema ao qual não se está a dar a devida importância:


Os instrumentos de avaliação do desempenho têm de ser pré-testados.

Algumas das razões por que os professores estão condenados a avaliar mal o desempenho docente e a ser mal avaliados enquanto docentes, e o Ministério da Educação e uma Comissão Científica para a avaliação de desempenho, sendo científica, hão-de saber

Os professores receberam da tutela grelhas que indicam as dimensões em que vão ser avaliados. Com base nessas grelhas, têm que redigir descritores que reflectem uma escala de medida e por isso têm de saber que escala utilizar, uma vez que, sem uma escala definida, não é possível definir descritores para cada patamar da escala. A escala tem de reflectir o grau de discriminação que se pretende na avaliação e esse grau de discriminação é operacionalizado através de descritores. Quanto mais discriminativa se pretender que a avaliação seja, maior será o número de descritores e vice-versa.

O facto de discutirem em grupo o significado de cada descritor permite-lhes clarificar o conteúdo dos descritores, tanto para avaliadores, como para avaliados, o que é um procedimento metodologicamente correcto.

Definidos os descritores, estes teriam de ser sujeitos a uma testagem interjuízes, isto é, por exemplo, na observação das aulas, várias pessoas haveriam de observar várias aulas e avaliá-las nas suas diversas dimensões. Discrepâncias significativas na avaliação interjuízes medidas pelo Kappa de Cohen indicariam deficiências nos descritores, que teriam de ser revistos e sujeitos a nova testagem. Chama-se a isto a fase do pré-teste.

Testadas que estivessem as várias dimensões, os resultados teriam que ser estudados na sua consistência interna, através de um modelo matemático que relaciona as propriedades de cada um dos descritores com a sua soma, operacionalizável com um procedimento estatístico designado de alpha de Cronbach. O item que se revelasse menos consistente teria de ser reformulado.

Estes são procedimentos essenciais na elaboração de qualquer instrumento de medida - designadamente, têm de ser aplicados aos exames nacionais - e seriam os procedimentos essenciais a uma avaliação de desempenho rigorosa, séria e criteriosa.



A questão está em saber se é isto que se quer fazer: melhorar, prestar contas, legitimar o esforço colectivo para educar os jovens cidadãos, criar, enfim, uma cultura de inovação, de melhoria, de capacidade interna de mudança ou se o que está em jogo é um mero exercício burocrático que justifique uma agenda política.


Estou assim com grande curiosidade em saber que especialistas em avaliação vão aceitar participar do conselho cienfífico para a avaliação de desempenho.

Tribunal do Porto aceita providência cautelar contra avaliação de desempenho dos professores.

A quarta.

Estou tramada

Não sei mesmo por onde pegar nesta coisa dos objectivos individuais. Primeiro, a minha turma não teve insucesso na minha disciplina e mais de metade tem entre níveis 4 e 5. Eu sei que a curva nada tem de Gaussiana, mas que querem, os marrecos também têm direito à vida, hom'essa

aposto que já estão a pensar que é uma turma de encomenda feita especialmente para os professores de primeira, a contar de cima na idade, meu Deus, amanhã passo aos 56, mas não é verdade, não sejam maldosos: tem sido tudo muito suadinho. Aliás, quando me dão uma turma muito compostinha, eu peço logo a outra ao lado, que querem, para cromo basto eu

ó Crominha, chama a minha Inês, é que toda a gente vê que gostas mais dos rapazes e quanto mais destrambelhados, melhor, diz ela

eu devia ter despachado uns três ou quatro a nível dois para agora poder dizer que me propunha baixar os níveis de insucesso, mas que querem? Foi mesmo falta de visão

também acabei com a história de não fazerem os TPC: tenho uma folha de registo completamente em branco há, pelo menos, dois meses. É que se podiam esquecer dos cadernos ou dos livros em casa, para eu aproveitar o papel e ter por onde melhorar, mas também já acabei com isso

podia pôr no meu plano que tinha de subir as percentagens de números de lições, datas e sumários a vermelho nos cadernos, mas não é que os habituei a isso todos os dias??? Que querem ficou-me esta fixação do estágio, lá nos idos de 77-78 e não sou capaz de andar sem giz de cor na mala, gosto mais do amarelo. Nos dias em que não há amarelo num bloco de aulas, vou de propósito buscá-lo a outro e tenho sempre a minha reserva secreta, não vá um dia haver crise de amarelo

o que eu escrever no quadro a amarelo é para vocês escreverem a vermelho no caderno

professora ,pode ser a verde?

pode

e o que eu escrever no quadro a branco é para voces escreverem a azul

pode ser a preto, professora?

pode

a lápis ou a caneta, professora?

os exercícios a lápis, o resto a tinta

dava para ficar rica se tivesse uma nota de 5 euros por cada vez que já pronunciei esta frase

também podia pôr que vou melhorar os aspectos organizativos na sala de aula, mas não é que assim que entram, desatam logo, sem o mínimo sinal de chamada, a conferir materiais, tpc’s, a escrever o número da lição no quadro, como se fossem os alphas do Aldous Huxley?!? Ou aquele personagem de Chaplin dos Tempos Modernos? Parecem tontinhos a pilhas duracell passe a publicidade

depois, tenho uma hora de Sala de Línguas para cada turma: tiro dúvidas, invento exercícios para repetir à exaustão o que ainda não está bem afinado, sinto-me extremamente feliz por os ter tão “escovadinhos”, como costumo dizer. Então não é que também me aparecem lá os betinhos de 4 e de 5? Professora, venho ajudar o Frederico, desculpa-se o Pablo com o seu ar cool, melenas compridas puxadas à direita, bom malandro

é que dá gosto, a sério. Bom, agora estão a ensaiar uma canção para o dia de Aristides Sousa Mendes, alguns parecem um eléctrico a travar na descida da Misericórdia para o Cais do Sodré... iiiiiimmmm, não é por nada, mas são mais os rapazes e não posso pô-los a todos a servirem de porta-partituras como no filme do outro. Antevê-se aqui uma nesga de intervenção para os objectivos colectivos: a professora de Educação Musical e eu pô-los a cantar sem eu ficar com taquicardia, mas lá está, preciso de estar ligada a um aparelho para medir o objectivo

esta noite sonhei com eles: tinham saído da Educação Física e estavam muito cansados, mais os rapazes, que são uns fiteiros, claro

professora, deixe-nos descansar

o Duarte, que gosta dos meus exercícios de relaxamento, diz o pai dele que os professores deviam fazer todos aqueles exercícios, não há pachorra para pais tão interventivos, não querem lá ver ainda temos que saber fazer exercícios de relaxamento - eu ia ao Porto fazer aquele curso de yoga para os professores, mas lá está, não posso faltar - senta-se na minha mesa de frente para mim, olha-me desafiadoramente, com ar de Teixeira que tem o nome do tecto de Sintra e até me fez, para os apelidos, um trabalho de projecto que era um cartaz com o brasão dos Teixeira, olha o meu apelido Pereira também lá está, não é só o teu, pf...- poisa os braços e sobre eles a cabeça e inicia o movimento reivindicativo pró-descanso, logo seguido do Francisco, da Núria e da Renata numa demonstração do imparável poder juvenil

olho-os abismada, corro as cortinas da sala e concedo

‘bora lá descansar um bocadinho. Nós merecemos

e poiso a cabeça sobre os braços se a Sra. Ministra sabe acaba com as cortinas

Será que os directores escolares são capazes de avaliar a eficácia dos docentes?


É a pergunta de partida de um estudo de Brian e Lars, que será publicado em 2008, a cujo resumo já tive acesso.

Esta investigação conclui que

Os directores escolares são geralmente capazes de avaliar os docentes cujo grau de eficácia se situa nos pontos extremos do continuum nos diversos parâmetros, mas são muito menos capazes de avaliar os professores cujo grau de eficácia se encontra nas zonas intermédias da distribuição.