Teorias da avaliação - O esforço integrativo


As teorias do terceiro estádio da avaliação têm como preocupação principal sintetizar e integrar o trabalho dos estádios precedentes. Procuram que o conhecimento produzido seja, não apenas descritivo, mas que satisfaça igualmente os requisitos de validade, que constituíram a preocupação do primeiro estádio.
Os seus mais destacados teorizadores são Cronbach e Rossi: ambos procuram abarcar todas as posições legítimas dos estádios anteriores, criar teorias de contingência e especificar em que circunstâncias e com que objectivos as diferentes práticas se justificam.

- Da programação social

Os avaliadores do terceiro estádio consideram que a melhoria dos programas oferece as melhores oportunidades de contribuição para a mudança social a curto prazo, na medida em que as mudanças no sentido da melhoria são consideradas mais praticáveis.
Cronbach considera que as avaliações são sobretudo utilizadas para melhorar futuros programas e distingue entre melhorias mais ou menos importantes, sendo que o critério de avaliação envolveria variáveis como os custos, o número de sujeitos afectados, os eventuais efeitos colaterais e o número de programas idênticos que viriam a ser afectados pela informação produzida pela avaliação.
Rossi reconhece o papel central da mudança incremental: aceita a estabilidade dos programas, prescreve práticas de melhoria e pretende garantir a disponibilidade de informações de avaliação para os programadores de políticas que, no futuro, pretendam introduzir novos programas e novas políticas.

- Da utilização

Cronbach procura integrar no seu modelo os princípios dos avaliadores do segundo estádio – o esclarecimento e a utilização mais sofisticada, em que os responsáveis colocam as questões de avaliação e monitorizam o seu progresso.
Em termos de esclarecimento, tanto Cronbach como Rossi sugerem o estudo de questões relacionadas com as raízes dos problemas sociais e as causas das dificuldades em operar mudanças e salientam o primado da avaliação iluminativa sobre a avaliação para a melhoria.
Comparada com a avaliação para a melhoria, a avaliação iluminativa é mais facilmente efectuada por avaliadores que não estejam sujeitos a pressões determinadas pela necessidade de informação e pode ser mais frequentemente conduzida por avaliadores académicos ou avaliadores de centros de avaliação "que têm fundos suficientes para se darem ao luxo da reflexão".

- Da construção do conhecimento

Rossi e Cronbach reconhecem que não há um paradigma para o campo da avaliação, suficientemente apoiado em conhecimentos empíricos e teóricos, e ambos admitem múltiplas epistemologias e métodos.
Nenhum dos dois propõe novos paradigmas ou formas de resolução dos conflitos epistemológicos que caracterizam a avaliação. O seu trabalho caracteriza-se sobretudo por dúvidas sobre as anteriores formas de pensar, pela abertura a novas formas e pelo cepticismo relativamente a soluções unilaterais.
Na fase inicial dos programas, ambos dão prioridade à descoberta e à descrição. Em novos programas, dão primazia à recolha sequencial da informação. No caso de grandes programas já instalados, o primado vai para a monitorização descritiva, incluindo a análise descritiva dos resultados. Estabelecidas as relações causais dignas de investigação, ambos recomendam o método experimental.
Ambos preconizam a utilização de várias metodologias, em combinação, embora com diferentes prioridades, tendo em conta as circunstâncias, assim como a importância da possibilidade de generalização dos resultados dos estudos.
Ambos revêem os pontos fortes e fracos dos diferentes métodos, em termos de exequibilidade, validade e capacidade de exploração versus confirmação.
Nesta perspectiva, ambos reconhecem que a metodologia de estudo de caso produz descrições pormenorizadas, orientadas para a descoberta, mas pouco consistentes quanto à confirmação das hipóteses causais e à generalização dos resultados.
Basicamente, ambos concordam que a multiplicidade metodológica é desejável, uma vez que um único método não produz respostas equitativas.

- Dos valores

Tanto Rossi como Cronbach se fundamentam em diversos pontos para definirem os seus critérios de mérito: 1) indagação das opiniões do público-alvo, dos prestadores de serviços e dos gestores; 2) identificação dos factores que justificam as tomadas de decisão previstas a curto prazo; 3) avaliação de modelos que explicam a transmutação das intervenções, em processos subsequentes e destes em resultados; 4) estimativa da satisfação das necessidades materiais dos clientes e 5) inventário dos efeitos benéficos e prejudiciais, esperados ou não.

Uma outra característica deste estádio consiste na preocupação de Rossi com a análise de custos-benefícios.

- Da prática

À excepção de Weiss, os teóricos do primeiro e do segundo estádio preconizavam um conjunto de práticas que diferiam muito de autor para autor.
Embora Weiss recomendasse práticas mais variadas, não especificou quando cada uma devia ser utilizada.
Os teóricos do terceiro estádio procuram exactamente suprir esta lacuna, especificando as contingências em que certas práticas devem ser utilizadas. Uma das variáveis de controlo dessas contingências é o estádio de desenvolvimento do programa. Na teoria de Rossi, há práticas mais adequadas a programas em processo de planificação, a projectos de demonstração ou a programas já existentes.
Para os programas já existentes, tanto Rossi como Cronbach recomendam a monitorização como processo de incrementação. Para novos programas, ambos recomendam um grande investimento em técnicas de descoberta, incluindo a avaliação de necessidades, os métodos de estudo de caso e as técnicas quantitativas.
O objectivo é compreender problemas de execução, verificar se o programa é adequado às necessidades relevantes e detectar problemas não esperados.
Na avaliação de projectos de demonstração, ambos os investigadores se apoiam em métodos de relação de causalidade, incluindo os métodos experimentais ou quase experimentais, embora ambos sugiram a utilização concomitante dos métodos descritivos.
Estas teorias da contingência têm como base um esforço de explicitação das condições em que as diferentes técnicas de avaliação fazem sentido e o desenvolvimento destas perspectivas integrativas resultará certamente num conjunto coerente e consistente de procedimentos.