O Texto Completo Do Público Online

Até aproveitei para corrigir uma gralha numa referência e um lapso menor, na sequência de dois parágrafos. Como seria de esperar, o estudo do Edulog suscitou os entusiasmos costumeiros, acríticos quanto à metodologia e nulos quanto a sugestões concretas de “operacionalização” da distinção entre bons e maus, sem ser com base em estatísticas aplicadas a duas disciplinas no Básico. Terreno fértil para economistas da Educação fabricados à la minute, desde o início da pandemia.

Até à Lua e mais Além

Confesso que o mais difícil foi encontrar um título adequado e não redundante para este texto, nascido da leitura muito rápida do estudo O Impacto do Professor nas Aprendizagens do Aluno: Estimativas para Portugal, realizado por uma equipa da SBE Nova e do University College de Londres para o Edulog, think tank para a Educação da Fundação Belmiro de Azevedo, assim como dos destaques que surgiram a seu propósito aqui nas páginas do Público.

O tema está muito longe de ser novo, algo que não transparece na apressada revisão da literatura feita no estudo em apenas uma página. Eric Hanushek merecia pelo menos uma referência de passagem, já que foi dele a introdução da ideia de avaliar a eficácia dos professores há exactamente 50 anos (cf. Eric A. Hanushek, “Teacher characteristics and gains in student achievement: Estimation using micro data.” American Economic Review v. 60, no. 2, May 197: 280–88). A Economia da Educação dedica-lhe numerosos estudos desde as últimas décadas do século XX, em especial nos países anglo-saxónicos e qualquer pesquisa, por exemplo, sobre Value-Added Models (VAM) of Teacher Effectiveness, dá-nos um retorno de muitas centenas de contributos, análises de caso ou meta-análises da validade destes modelos destinados a medir a eficácia dos professores. A teoria, na sua aparente simplicidade, tem a sua capacidade de atração e confesso que lhe dediquei alguma atenção, antes de compreender todas as suas limitações em termos práticos, mesmo nos casos em que é possível um corpo de dados fiável e desenvolver uma metodologia sem demasiados enviesamentos no sentido da análise puramente estatística de algo que tem componentes dificilmente mensuráveis.

Os autores do estudo parecem ter noção das dificuldades, acrescidas no caso português, pois os dados nem sempre são os mais completos ou sequer coerentes, mesmo se tiveram um raro acesso à MISI (base de dados anonimizada da rede de escolas públicas da DGEEC). Como declaram logo na página 7 “a estimação do VAP em Portugal é dificultada pelo facto de os exames/provas nacionais ocorrerem apenas nos finais de ciclo: de facto, no intervalo entre dois exames/provas, os alunos são muitas vezes expostos a mais do que um professor de uma mesma disciplina nos vários anos do ciclo de ensino”, pelo que tiveram de desenvolver uma metodologia que consideram nova para superar algumas especificidades do nosso contexto. Não vou fazer qualquer juízo de valor sobre a metodologia específica porque, mesmo que tenha tido alguma formação rudimentar em métodos de análise em História Económica, não consigo encontrar qualquer significado relevante num cálculo de um Valor Acrescentado da Combinação de Professores (VAC) que se traduza pela fórmula apresentada na página 19:

Se a qualidade de um professor, se o seu valor para os seus alunos se pode transformar numa fórmula deste tipo é porque talvez seja mesmo melhor substituir os docentes humanos por máquinas. Aceito que existem ferramentas estatísticas que podem dar um contributo útil para medir a evolução dos resultados dos alunos, mas há aqui algo que em termos filosóficos me provoca uma enorme rejeição. Porque se a Economia da Educação é uma disciplina que pode ter a sua aplicação, muitas vezes bem perversa, em algumas áreas da gestão financeira do sistema educativo, já o mesmo me parece muito mais problemático quanto à definição da qualidade, ou “eficácia”, do trabalho de um professor com os seus alunos.

A esse respeito, pela sua clareza e objectividade vou resumir e comentar as reservas colocadas em relação aos estudos com base nos modelos do valor acrescentado, entre muitas outras análises, no artigo Value-added models: What the experts say de Audrey Amrein-Beardsley, Margarita Pivovarova, e Tray Geiger no Phi Delta Kappan – The professional journal for educators (colocado online a 1 de Outubro de 2016 e consultado a 23 de Junho de 2021).

São cinco os principais focos de discussão acerca do alcance de tais estudos:

Fiabilidade – professores considerados eficazes num dado ano, podem surgir como ineficazes em outro, sem que o contexto escolar tenha mudado, o que nos deixa perante a possibilidade do desempenho dos alunos ser afectado de forma decisiva por outros factores, intra ou extra-escolares.

Validade – não existem provas de que este modelo tenha maior valor do que os que usam dados recolhidos de outras formas, como sejam a observação feita pelos órgãos de gestão ou supervisão pedagógica das escolas ou em pesquisas baseadas na avaliação dos alunos.

Enviesamento – apesar das tentativas para bloquear alguns desvios e reduzir o seu impacto estatístico, é difícil controlar os efeitos das variáveis demográficas associadas aos grupos de alunos que cada professor ensina. E acrescento ainda a questão da dimensão das turmas e número de alunos atribuídos a cada docente, mesmo se o estudo nacional se resumiu a duas disciplinas.

Transparência – a opacidade e complexidade destes modelos, com uma complexidade matemática que se afasta de qualquer representação reconhecível do trabalho pedagógico, torna-os muitas vezes incompreensíveis para os próprios professores avaliados. Isto porque, em grande parte, este é um modelo basicamente estatístico que nada diz sobre o que é feito em sala de aula que explique a “eficácia”.

Equidade – este é um modelo que, como no caso do estudo do Edulog, acaba por se basear apenas em duas disciplinas (Língua Materna e Matemática), deixando de fora a larga maioria dos docentes de todas as restantes disciplinas e, muito em especial, os professores dos primeiros anos, que são reconhecidos como os que estabelecem os alicerces das futuras aprendizagens. Por isso, apresentam-se conclusões sobre a “eficácia” e o “valor acrescentado” dos professores (e das próprias escolas) que se ficam a dever apenas a uma parcela dos professores.

Mas, para além destas críticas gerais ao modelo do “valor acrescentado”, existem algumas notas a sublinhar sobre o estudo feito agora para Portugal e sobre algumas das evidências que pretende apresentar.

Em primeiro lugar, chamar a atenção para o facto de no período usado para o estudo (de 2007/2008 até 2017/2018) terem existido alterações sensíveis no tipo das provas aplicadas no Ensino Básico, com a introdução de provas finais em vez de provas de aferição no 4º e 6º ano de escolaridade em 2012-13 e pouco depois, em 2015-16, com o desaparecimento de provas nesses anos. Se nos lembrarmos de toda a polémica associada a essas duas decisões, parece-me no mínimo curioso que se considere ser possível fazer um estudo que assuma que os dados recolhidos apresentam suficiente coerência.

Em segundo lugar, destacar que na segunda conclusão apresentada no “sumário executivo” (p. 8) se confirma “a importância, entre outras variáveis, do sexo, do nível de rendimento, da nacionalidade e da formação académica dos pais (principalmente da mãe) nos resultados dos alunos”, o que poderia servir de ponto de partida para um debate sério sobre o que existe a fazer para melhorar o desempenho dos alunos e que escapa por completo ao trabalho docente.

Em terceiro lugar, quando se distingue que existem professores com um maior efeito na probabilidade dos alunos terem classificação “positiva” e outros com maior efeito na probabilidade de terem classificações mais elevadas, seria da maior importância identificar quais as características desses professores, das suas metodologias e do perfil dos alunos e turmas com que costumam trabalhar. Porque há diferentes concepções de “eficácia” a ter em conta.

Em seguida, que é por demais óbvio que mais vale um professor “melhor” pelo menos um ano em cada ciclo de escolaridade e de preferência no último, quando se realizam provas/exames, do que o mesmo todos os anos desse ciclo de escolaridade, se for “menos bom”. Mas isso deveria ser melhor explicado quando se afirma, nas mesmas conclusões que “a ‘continuidade pedagógica’ (…) não tem impacto nos resultados dos alunos”.

Por fim, é impossível não relacionar esta demanda quase obsessiva pelos “melhores” ou “mais eficazes” professores, no sentido de os recrutar e os generalizar no sistema de ensino com outros aspectos como o próprio processo de avaliação do seu desempenho baseado em quotas de mérito. A verdade é que, de acordo com um modelo de avaliação do desempenho docente inspirado em outras teorias da Economia da Educação, o reconhecimento da excelência está reservado a 5% dos docentes e apenas mais 20% podem ser considerados muito bons, o que nos deixa sem perceber que estímulos possam existir para a criação de um ecossistema docente em que se procure manter os “melhores” ou uma maioria dos mais “eficazes”, pois 75% deles não verá isso formalmente reconhecido em termos de progressão na carreira.

Mais grave, pelo contacto directo com vários processos de reclamação ou recurso das classificações atribuídas, percebe-se que os parâmetros e descritores usados em muitas escolas e agrupamento dão maior prevalência a aspectos burocráticos e administrativos da docência do que aos propriamente pedagógicos. E não é raro que se considerem como excelentes e muito bons docentes com uma carga lectiva muito mais reduzida do que outros ou com turmas com perfis que garantem, à partida, um melhor ambiente de aprendizagem e nível de desempenho. E sobre isso este estudo nada fala.

Os autores terminam o estudo, afirmando que “os resultados e conclusões obtidos no nosso estudo são relevantes para o debate acerca da importância do professor no sistema de ensino e das políticas de recrutamento e alocação de professores.”

Mas o estudo em pouco (ou mesmo nada) contribui para que se perceba exactamente o que é um professor “eficaz”, muito menos em sala de aula, para além da medição dos resultados dos alunos em provas finais/exames, numa lógica simplista não muito diversa da usada nos primeiros rankings de escolas com base nesses mesmos resultados.

10 thoughts on “O Texto Completo Do Público Online

  1. Na “mouche”! . Obrigado, Paulo! Escreva, escreva, por favor… enquanto não lhe travarem o pio. É que as vozes lúcidas são incómodas e fazem cair pela base os “brilhantes” castelos de cartas. Coitados. Afianl são mesmo expostos ao ridículo por um professor (zeco) do básico, não é? 🙂

    Gostar

  2. 1. Explicações.

    2. Fraude nos exames (alegadamente, para não haver chatices) em muita escolinha por esse país fora.

    3. Os exames não eram um péssimo instrumento, porque … ?

    Gostar

  3. Completamente de acordo.

    Os números escondem uma realidade muito diversa e, em certos casos, perversa.
    Não creio que o nosso sistema educativo esteja a caminhar na direção da valorização do conhecimento e do trabalho. É uma batalha que tem vindo a ser perdida há séculos!
    Talvez seja bom recordar que a geração mais bem preparada de sempre não exigiu tanta “métrica”!
    A escola precisa de coerência, trabalho, resiliência e tempo para enfrentar os desafios.
    O tempo será o grande juiz e o mercado ditará a sua sentença, independente das suas responsabilidades no passado. Reflete-se pouco e suporta-se cada vez menos o contraditório, o que é um sinal de fraqueza!

    Gostar

  4. “os parâmetros e descritores usados em muitas escolas e agrupamento dão maior prevalência a aspectos burocráticos e administrativos da docência”

    Os descritores sim, mas at the and of the day, quem decide é a SAD e as cotas vão para os amigos da Direção.

    A prova da cautela dos professores são os comentários assinados por Tó, Ana, Pereira, Teixeira, Silva. Enfim…

    Gostar

  5. Somos cada vez mais equiparados a máquinas. A inteligência artificial anda a fazer muito mal a certas picaretas falantes que a endeusam sem olhar aos seus efeitos perversos. E não são só os opinion makers que a glorificam. A realidade económica e o teletrabalho usam-na cada vez mais. Assim cada profissional está cada vez mais isolado, é reduzido a um mero tarefeiro para algo muito concreto e mecânico, cortam-se os laços de solidariedade entre os que trabalham numa organização, desumaniza-se, isola-se, corta-se a autonomia e a massa crítica. No fim o que interressa é pagar-lhe cada vez menos quando já está totalmente despojado de poder reivindicativo.
    Reduzir pessoas e sobretudo professores a algoritmos é do mais perverso que há!
    Que presente e que futuro! Gente acrítica, solitária, obediente, desinspirada, amorfa ou que vê só para um lado ao ponto de embarcar em fanatismos?! É isto que querem mesmo?

    Gostar

Deixe uma Resposta

Preencha os seus detalhes abaixo ou clique num ícone para iniciar sessão:

Logótipo da WordPress.com

Está a comentar usando a sua conta WordPress.com Terminar Sessão /  Alterar )

Google photo

Está a comentar usando a sua conta Google Terminar Sessão /  Alterar )

Imagem do Twitter

Está a comentar usando a sua conta Twitter Terminar Sessão /  Alterar )

Facebook photo

Está a comentar usando a sua conta Facebook Terminar Sessão /  Alterar )

Connecting to %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.