Por Acaso…

… dou aulas mesmo ali nos limites entre os concelhos da Moita e do Barreiro (que são os restantes do top 5 dos casos positivos no Continente) e a minha turma de DT já teve de ir para casa, sendo que o mesmo se anda a passar pelas redondezas. Lá vou fazer teste amanhã (apesar de vacinado, foi-me dito que era imperativo), cinco dias depois de ter estado com @ alun@ que testou positivo na 3ª feira. Tudo porque laboratórios e os serviços de saúde locais começaram a ficar submersos em casos positivos, grande parte de alunos e famílias. Enquanto isso, temos uns maduros e umas maduras a largar bitaites de rabo sentado sobre como se deve ser um bom professor, flexibilizar, recuperar e calar.

Estas duas semanas de aulas que ainda aí vêm fazem algum sentido? Talvez para os “especialistas” que vão deliciar-se com a doce ambrósia que verterá da “bazuca” para planos da treta.

O Texto Completo Do Público Online

Até aproveitei para corrigir uma gralha numa referência e um lapso menor, na sequência de dois parágrafos. Como seria de esperar, o estudo do Edulog suscitou os entusiasmos costumeiros, acríticos quanto à metodologia e nulos quanto a sugestões concretas de “operacionalização” da distinção entre bons e maus, sem ser com base em estatísticas aplicadas a duas disciplinas no Básico. Terreno fértil para economistas da Educação fabricados à la minute, desde o início da pandemia.

Até à Lua e mais Além

Confesso que o mais difícil foi encontrar um título adequado e não redundante para este texto, nascido da leitura muito rápida do estudo O Impacto do Professor nas Aprendizagens do Aluno: Estimativas para Portugal, realizado por uma equipa da SBE Nova e do University College de Londres para o Edulog, think tank para a Educação da Fundação Belmiro de Azevedo, assim como dos destaques que surgiram a seu propósito aqui nas páginas do Público.

O tema está muito longe de ser novo, algo que não transparece na apressada revisão da literatura feita no estudo em apenas uma página. Eric Hanushek merecia pelo menos uma referência de passagem, já que foi dele a introdução da ideia de avaliar a eficácia dos professores há exactamente 50 anos (cf. Eric A. Hanushek, “Teacher characteristics and gains in student achievement: Estimation using micro data.” American Economic Review v. 60, no. 2, May 197: 280–88). A Economia da Educação dedica-lhe numerosos estudos desde as últimas décadas do século XX, em especial nos países anglo-saxónicos e qualquer pesquisa, por exemplo, sobre Value-Added Models (VAM) of Teacher Effectiveness, dá-nos um retorno de muitas centenas de contributos, análises de caso ou meta-análises da validade destes modelos destinados a medir a eficácia dos professores. A teoria, na sua aparente simplicidade, tem a sua capacidade de atração e confesso que lhe dediquei alguma atenção, antes de compreender todas as suas limitações em termos práticos, mesmo nos casos em que é possível um corpo de dados fiável e desenvolver uma metodologia sem demasiados enviesamentos no sentido da análise puramente estatística de algo que tem componentes dificilmente mensuráveis.

Os autores do estudo parecem ter noção das dificuldades, acrescidas no caso português, pois os dados nem sempre são os mais completos ou sequer coerentes, mesmo se tiveram um raro acesso à MISI (base de dados anonimizada da rede de escolas públicas da DGEEC). Como declaram logo na página 7 “a estimação do VAP em Portugal é dificultada pelo facto de os exames/provas nacionais ocorrerem apenas nos finais de ciclo: de facto, no intervalo entre dois exames/provas, os alunos são muitas vezes expostos a mais do que um professor de uma mesma disciplina nos vários anos do ciclo de ensino”, pelo que tiveram de desenvolver uma metodologia que consideram nova para superar algumas especificidades do nosso contexto. Não vou fazer qualquer juízo de valor sobre a metodologia específica porque, mesmo que tenha tido alguma formação rudimentar em métodos de análise em História Económica, não consigo encontrar qualquer significado relevante num cálculo de um Valor Acrescentado da Combinação de Professores (VAC) que se traduza pela fórmula apresentada na página 19:

Se a qualidade de um professor, se o seu valor para os seus alunos se pode transformar numa fórmula deste tipo é porque talvez seja mesmo melhor substituir os docentes humanos por máquinas. Aceito que existem ferramentas estatísticas que podem dar um contributo útil para medir a evolução dos resultados dos alunos, mas há aqui algo que em termos filosóficos me provoca uma enorme rejeição. Porque se a Economia da Educação é uma disciplina que pode ter a sua aplicação, muitas vezes bem perversa, em algumas áreas da gestão financeira do sistema educativo, já o mesmo me parece muito mais problemático quanto à definição da qualidade, ou “eficácia”, do trabalho de um professor com os seus alunos.

A esse respeito, pela sua clareza e objectividade vou resumir e comentar as reservas colocadas em relação aos estudos com base nos modelos do valor acrescentado, entre muitas outras análises, no artigo Value-added models: What the experts say de Audrey Amrein-Beardsley, Margarita Pivovarova, e Tray Geiger no Phi Delta Kappan – The professional journal for educators (colocado online a 1 de Outubro de 2016 e consultado a 23 de Junho de 2021).

São cinco os principais focos de discussão acerca do alcance de tais estudos:

Fiabilidade – professores considerados eficazes num dado ano, podem surgir como ineficazes em outro, sem que o contexto escolar tenha mudado, o que nos deixa perante a possibilidade do desempenho dos alunos ser afectado de forma decisiva por outros factores, intra ou extra-escolares.

Validade – não existem provas de que este modelo tenha maior valor do que os que usam dados recolhidos de outras formas, como sejam a observação feita pelos órgãos de gestão ou supervisão pedagógica das escolas ou em pesquisas baseadas na avaliação dos alunos.

Enviesamento – apesar das tentativas para bloquear alguns desvios e reduzir o seu impacto estatístico, é difícil controlar os efeitos das variáveis demográficas associadas aos grupos de alunos que cada professor ensina. E acrescento ainda a questão da dimensão das turmas e número de alunos atribuídos a cada docente, mesmo se o estudo nacional se resumiu a duas disciplinas.

Transparência – a opacidade e complexidade destes modelos, com uma complexidade matemática que se afasta de qualquer representação reconhecível do trabalho pedagógico, torna-os muitas vezes incompreensíveis para os próprios professores avaliados. Isto porque, em grande parte, este é um modelo basicamente estatístico que nada diz sobre o que é feito em sala de aula que explique a “eficácia”.

Equidade – este é um modelo que, como no caso do estudo do Edulog, acaba por se basear apenas em duas disciplinas (Língua Materna e Matemática), deixando de fora a larga maioria dos docentes de todas as restantes disciplinas e, muito em especial, os professores dos primeiros anos, que são reconhecidos como os que estabelecem os alicerces das futuras aprendizagens. Por isso, apresentam-se conclusões sobre a “eficácia” e o “valor acrescentado” dos professores (e das próprias escolas) que se ficam a dever apenas a uma parcela dos professores.

Mas, para além destas críticas gerais ao modelo do “valor acrescentado”, existem algumas notas a sublinhar sobre o estudo feito agora para Portugal e sobre algumas das evidências que pretende apresentar.

Em primeiro lugar, chamar a atenção para o facto de no período usado para o estudo (de 2007/2008 até 2017/2018) terem existido alterações sensíveis no tipo das provas aplicadas no Ensino Básico, com a introdução de provas finais em vez de provas de aferição no 4º e 6º ano de escolaridade em 2012-13 e pouco depois, em 2015-16, com o desaparecimento de provas nesses anos. Se nos lembrarmos de toda a polémica associada a essas duas decisões, parece-me no mínimo curioso que se considere ser possível fazer um estudo que assuma que os dados recolhidos apresentam suficiente coerência.

Em segundo lugar, destacar que na segunda conclusão apresentada no “sumário executivo” (p. 8) se confirma “a importância, entre outras variáveis, do sexo, do nível de rendimento, da nacionalidade e da formação académica dos pais (principalmente da mãe) nos resultados dos alunos”, o que poderia servir de ponto de partida para um debate sério sobre o que existe a fazer para melhorar o desempenho dos alunos e que escapa por completo ao trabalho docente.

Em terceiro lugar, quando se distingue que existem professores com um maior efeito na probabilidade dos alunos terem classificação “positiva” e outros com maior efeito na probabilidade de terem classificações mais elevadas, seria da maior importância identificar quais as características desses professores, das suas metodologias e do perfil dos alunos e turmas com que costumam trabalhar. Porque há diferentes concepções de “eficácia” a ter em conta.

Em seguida, que é por demais óbvio que mais vale um professor “melhor” pelo menos um ano em cada ciclo de escolaridade e de preferência no último, quando se realizam provas/exames, do que o mesmo todos os anos desse ciclo de escolaridade, se for “menos bom”. Mas isso deveria ser melhor explicado quando se afirma, nas mesmas conclusões que “a ‘continuidade pedagógica’ (…) não tem impacto nos resultados dos alunos”.

Por fim, é impossível não relacionar esta demanda quase obsessiva pelos “melhores” ou “mais eficazes” professores, no sentido de os recrutar e os generalizar no sistema de ensino com outros aspectos como o próprio processo de avaliação do seu desempenho baseado em quotas de mérito. A verdade é que, de acordo com um modelo de avaliação do desempenho docente inspirado em outras teorias da Economia da Educação, o reconhecimento da excelência está reservado a 5% dos docentes e apenas mais 20% podem ser considerados muito bons, o que nos deixa sem perceber que estímulos possam existir para a criação de um ecossistema docente em que se procure manter os “melhores” ou uma maioria dos mais “eficazes”, pois 75% deles não verá isso formalmente reconhecido em termos de progressão na carreira.

Mais grave, pelo contacto directo com vários processos de reclamação ou recurso das classificações atribuídas, percebe-se que os parâmetros e descritores usados em muitas escolas e agrupamento dão maior prevalência a aspectos burocráticos e administrativos da docência do que aos propriamente pedagógicos. E não é raro que se considerem como excelentes e muito bons docentes com uma carga lectiva muito mais reduzida do que outros ou com turmas com perfis que garantem, à partida, um melhor ambiente de aprendizagem e nível de desempenho. E sobre isso este estudo nada fala.

Os autores terminam o estudo, afirmando que “os resultados e conclusões obtidos no nosso estudo são relevantes para o debate acerca da importância do professor no sistema de ensino e das políticas de recrutamento e alocação de professores.”

Mas o estudo em pouco (ou mesmo nada) contribui para que se perceba exactamente o que é um professor “eficaz”, muito menos em sala de aula, para além da medição dos resultados dos alunos em provas finais/exames, numa lógica simplista não muito diversa da usada nos primeiros rankings de escolas com base nesses mesmos resultados.

Acesso Ao 5º E 7º Escalão

Despacho n.º 6325-A/2021

(…)

1 – São fixadas, para o ano de 2021, as seguintes vagas para a progressão aos 5.º e 7.º escalões:

a) 5.º escalão: 2100 vagas;

b) 7.º escalão: 1442 vagas.

(espero que tenham consultado @s economistas peralta e conraria, antes de terem definido estes valores…)

Não Digam Que Não Perceberam Ainda… 2

… que seria muito importante avaliarem a evolução dos contágios nas escolas ainda com aulas do 1º e 2º ciclo na zona de Lisboa e Vale do Tejo e entenderem que os riscos de as manter abertas é superior às vantagens (do próprio ponto de vista das famílias). Lixem-se, por uma vez, para meia dúzia de articulistas do Expresso/Observador/Público/Renascença e façam o que está certo. As autoridades de saúde certamente vos agradecerão. E deixem-se de tertúlias ridículas sobre a recuperação das aprendizagens.

Aprendam a “priorizar”.

No Público Online

Aviso de texto longo mas, mesmo assim, só aflorando a coisa pela rama da árvore frondosa que muito esconde. E o início é mais detalhado para que não me apareça logo por aí criatura a dizer que não sei sobre o que estou a escrever (há uns anos aconteciam, em privado, uns mails manhosos a dar a entender que eu deveria estar calado sobre coisas que excedem em muito a competência reconhecida a um “básico”, embora em público não assumissem a azia).

O que é inegável é que com que os do costume colocassem a cabecinha de fora a clamar pela selecção dos melhores professores, sendo que tamanha obsessão é muito vulgar em quem não tem qualquer experiência docente, a menos que seja ali um biscate num colégio da confraria certa. Ou em quem tem o desejo muito mal disfarçado de fazer parte do comité de fuzilamento, desculpem, exclusão dos que consideram professores “pouco eficazes”. Pelo que se passou com a PACC sabemos bem o que isso costuma dar por estas paragens. E nem é bom falar na tertúlia de ex-ministros a protestar contra a formação de professores que tutelaram ou que poderiam ter ajudado a melhorar, quando estiveram no cargo ou em outros poleiros com influência.

Até à Lua e mais Além

(…)

A verdade é que, de acordo com um modelo de avaliação do desempenho docente inspirado em outras teorias da Economia da Educação, o reconhecimento da excelência está reservado a 5% dos docentes e apenas mais 20% podem ser considerados muito bons, o que nos deixa sem perceber que estímulos possam existir para a criação de um ecossistema docente em que se procure manter os “melhores” ou uma maioria dos mais “eficazes”, pois 75% deles não verá isso formalmente reconhecido em termos de progressão na carreira.

Mais grave, pelo contacto directo com vários processos de reclamação ou recurso das classificações atribuídas, percebe-se que os parâmetros e descritores usados em muitas escolas e agrupamento dão maior prevalência a aspectos burocráticos e administrativos da docência do que aos propriamente pedagógicos. E não é raro que se considerem como excelentes e muito bons docentes com uma carga lectiva muito mais reduzida do que outros ou com turmas com perfis que garantem, à partida, um melhor ambiente de aprendizagem e nível de desempenho. E sobre isso este estudo nada fala.

6ª Feira

Eu bem posso responder que tudo conta para a nota, que a avaliação é um processo, que o envolvimento e empenho deles é mais importante, que me são dirigidos olhares duvidosos de quem acha que não é bem assim. Aliás, lá em casa, não é raro que a grande preocupação seja a da “nota” e não tanto se o “processo” decorreu melhor ou pior. E fazem-se médias e por muito que se apresentem “ponderações” específicas para cada “instrumento”, nem sempre isso é encarado como se fosse mesmo a sério.

Tod@s Botam Faladura…

… sobre o que deve ser um bom professor (ou professora). Hoje é a economista Peralta, que tem sido cooptada para coisas giras e interessantes como o Global Teacher Prize. O quanto eu gostaria, em vez de a saber em cerimónias, de a ver numa sala de aula do 2º ou 3º ciclo durante um mês, a demonstrar na prática a sua bondade ou, quiçá mesmo, excelência docente.

Para quando um qualquer algoritmo ou fórmula econométrica para recrutar bons decisores políticos ou cortesãos mediáticos menos oportunistas?