E Quem Controla Isso?

No fim de semana tive uma bela conversa com amigo de longa data e responsabilidades na gerência 😀 de uma instituição do ensino superior politécnico, comparando os respectivos modelos de avaliação dos docentes. A certa altura perguntei se os procedimentos estavam todos “plasmados” num Regulamento de Avaliação aprovado pelo(s) orgão(s) competente(s).

Sim, claro que temos.

Mas, perguntei eu, quem controla isso?

O Ministério.

Mas como? insisti.

É o Ministério que trata disso.

Pois, sim, mas como é que controla, vai lá alguém ver se vocês têm isso feito e aprovado conforme o figurino?

Em regra, não.

Então, efectivamente, na prática, quem é que controla se tudo decorre como deveria?

Os professores, respondeu-me ele.

E costumam fazer isso?

Nem por isso.

(pois, bem me parecia! Afinal, não é muito diferente do não-Superior nessa parte. Metade não sabe, metade não se interessa, metade aproveita-se disso, metade pergunta como é se precisa e os esquisitos que não ficam amochadinhos “têm pouco espírito de equipa” e ainda levam má nota na parte do “trabalho colaborativo” prá imagem da instituição)

Este Mês, No JL/Educação

Vem a seguir, destoando no tom, a prosas gémeas do SE Costa e de um dos seus directores do coração sobre as maravilhas do programa 21|23 e dos seus “eixos”. Há textos deste pessoal que, no seu tom gongórico, me fazem lembrar os panegíricos de outros tempos e outros regimes a toda e qualquer política promovida pelos Grandes Líderes do momento.

Auto e heteroavaliação

Vai terminando a custo um dos mais complicados e longos anos lectivos de sempre. Quem pensou em 2020 que tinha passado pelo pior, descobriu este ano que tinha sido apenas uma preparação para o que estava para vir. Esta semana ainda decorrem reuniões de avaliação dos alunos do 1º e 2º ciclo e continuam as tarefas típicas de qualquer ano escolar, acrescidas a cada rotação da Terra de novas obrigações que outrora se considerariam impensáveis de ser realizadas por pessoal docente que agora os poderes consideram qualificado para praticamente todo o tipo de função.

Já tivemos a parte do acompanhamento e vigilância dos alunos nos intervalos e refeições, agora temos a parte da recolha, triagem e arrumação de manuais escolares. Porque a “racionalização” dos recursos humanos nas “unidades orgânicas” outrora conhecidas como escolas fez com que o pessoal não docente (administrativo ou outro) seja deficitário, precário e não chegue para as encomendas, pelo que se considera que devem ser os professores a assegurar muito do que antes eram funções administrativas das “secretarias” (continuamos a chamar-lhes assim apesar das novas designações mais criativas e extensas), mais as novas tarefas que é preciso desempenhar e, como vida de professor é coisa descansada, vão lá receber computadores, manuais e chaves de cacifo e não se esqueçam de fazer matrículas e actualizar os dados dos alunos naquele belo sistema informático, mesmo muito intuitivo que é o E360.

Lá está ele sempre a queixar-se, parece que nunca está satisfeito, que nunca vê a parte meio cheia do copo de água fresquinha, que pensa que só deve ter direitos e privilégios e férias de três meses, como há alguma gente que gosta de escrever (e algumas até o chegam a pensar como se fosse mesmo verdade). Não o vou negar. Não consigo ignorar que as funções dos professores, não apenas em Portugal, sofreram uma enorme desqualificação ao serem-lhes sucessivamente acrescentadas obrigações claramente desadequadas às suas qualificações.

Mas se sou rápido nas críticas ao que outros decidem e fazem (ou melhor, decidem que outros devem fazer), também gosto de olhar um pouco para dentro e analisar aquilo que fiz ao longo do ano e avaliar até que ponto poderei ter contribuído de algum modo para a melhoria dos meus alunos, não apenas em termos de desempenho académico, mas também ao nível das atitudes. Não falo do que se coloca naquelas três páginas a que chamam relatório de auto-avaliação do desempenho docente, que esse é aquele espartilho no qual tudo e nada deve caber, para que sirva de base a uma classificação atribuída por quem nada observou de concreto ou sabe se mesmo aconteceu assim, como lá está ou não há forma de estar, por muito que se disfarce que se diminui a letra de trebuchet 11 para 10.

Falo de alguma forma de introspeção, quando ainda há energia ou motivação para isso. De fazer alguma auto-análise, de modo a perceber se terei algum crédito para apontar o dedo a inconseguimentos alheios, a incompetências organizacionais, a puros disparates da hierarquia decisora, em especial a central, que sobre todos derrama crenças particulares altamente discutíveis como se fossem verdades universais e intemporais. Só que, como nos tais relatórios de auto-avaliação, mesmo que em menor escala, tendemos sempre, em causa própria, a fazer alguma encenação do que realmente aconteceu, porque não há quem queiramos mais enganar do que a nós mesmos, mesmo quando se tem ainda aquela pontinha de consciência que nos sussurra ao ouvido interior que temos alguns deveres éticos e deontológicos a respeitar, mesmo que não estejam escritos.

Por isso, é importante que essa auto-avaliação tenha um contributo externo, beneficie do olhar exterior de quem efectivamente observou o nosso trabalho e esteve presente no nosso quotidiano, na parte que deveria ser a mais importante em qualquer tipo de avaliação do desempenho docente, a que se passa na sala de aula e no que de mais perto rodeia a prática lectiva. Porque eu sou dos antiquados professores que, mesmo achando que se deve cumprir com brio tarefas como escrever uma acta sem erros ortográficos ou de sintaxe básicos ou fazer um qualquer relatório final (quase sempre de utilidade duvidosa, mas já começa a fazer parte da paisagem), os professores deveriam ocupar a larga maioria do seu tempo em trabalho directo com os alunos e não no seu registo administrativo ou representação burocrática para a respectiva monitorização.

Tudo isto para referir que todos os anos, naquelas aulas em que já na recta final, quando estamos a tropeçar nas próprias palavras, sumariamos “auto e heteroavaliação”, gosto de pedir aos alunos que façam não apenas a sua avaliação, mas também a minha, a do professor, em termos quantitativos e curtamente descritivos, identificando uma ou duas qualidades que se consideram importantes e os defeitos que acham que devem ser corrigidos. De forma anónima, claro. Uma avaliação que, como se diz há umas décadas, tenha uma componente “formativa”, para que eu possa melhorar o meu desempenho ou, pelo menos, tomar consciência do que pensa quem me observa com maior proximidade e para quem, em primeira e última instância, o meu desempenho tem mais importância.

(momento adequado para um breve interlúdio explicativo: que não se confunda esta minha prática com uma adesão às teorias que postulam que os alunos devem ter um papel sistemático na avaliação formal dos professores, em especial quando isso é surge ao serviço de modelos essencialmente punitivos do desempenho docente)

De regresso à avaliação feita pelos alunos: em regra é generosa, muito generosa e tão mais generosa quanto a miudagem é mais nova e ainda não deixou que se lhe entranhassem alguns dos vícios que o sistema lhes transmite e o cinismo que acaba por lhe ser inerente. E mais do que na mera quantificação, é muito interessante a leitura das curtas considerações descritivas que fazem com um olhar que, como referi, é ainda muito limpo e puro, ingénuo, mas perspicaz.

Este ano, com metade dos meus alunos em isolamento na última semana de aulas, só pude recorrer à minha direcção de turma para recolher estas opiniões, embora a verdade é que é com eles que passo mais tempo todos os dias na escola (Português, H.G-P., Cidadania e Formação pessoal e Social, permite que estejamos juntos quase tantas horas juntos com o Sol no Céu como com os nossos familiares mais directos).

Mais do que estar a fazer aqui uma indulgente listagem de qualidades ou defeitos que possam afagar o ego e ajudar a minorar algumas dores profissionais, gostava de destacar que boa parte dos alunos, em vez de atribuir um valor, decidiu completar a pergunta “E o professor merece ter?” como se de uma frase declarativa se tratasse, apesar do curto espaço reservado para escrever.

E foram vários a expressar o mesmo tipo de pensamento: “descanso” ou “descanço”, conforme a proficiência ortográfica, ou “descanso de nós” ou mesmo “descansar e ganhar o euromilhões”. Sendo respostas anónimas, é enorme a tentação para descobrir quem escreveu esta última possibilidade para lhe subir as notas todas para o máximo.

4ª Feira

Em regra, os alunos são extremamente generosos e este ano não foi excepção. Não vou por aqui fazer o elenco autoindulgente de qualidades/defeitos, mas apenas destacar que três alunos optaram por não me atribuir nota quantitativa no espaço destinado a responder à questão “O professor merecer ter?” e responderam “descanso”, “o professor precisa descansar de nós” e “o professor precisa de descanso”.

6ª Feira

Qualquer modelo de avaliação do desempenho dos docentes deveria preocupar-se em 1) prevenir situações como as de exaustão que levam à quebra da qualidade do trabalho dos docentes; 2) na eventualidade de não ser possível essa prevenção, ter mecanismos tendentes a facilitar a recuperação; 3) detectar casos de mau desempenho recorrente, com base em limitações científicas ou pedagógicas, e procurar a sua remediação, antes de uma penalização apressada; 4) desincentivar práticas tendentes a substituir a competência profissional propriamente dita, por outro tipo de comportamentos nas escolas, como sejam as que resultam da mera subserviência operacional à hierarquia.

O Texto Completo Do Público Online

Até aproveitei para corrigir uma gralha numa referência e um lapso menor, na sequência de dois parágrafos. Como seria de esperar, o estudo do Edulog suscitou os entusiasmos costumeiros, acríticos quanto à metodologia e nulos quanto a sugestões concretas de “operacionalização” da distinção entre bons e maus, sem ser com base em estatísticas aplicadas a duas disciplinas no Básico. Terreno fértil para economistas da Educação fabricados à la minute, desde o início da pandemia.

Até à Lua e mais Além

Confesso que o mais difícil foi encontrar um título adequado e não redundante para este texto, nascido da leitura muito rápida do estudo O Impacto do Professor nas Aprendizagens do Aluno: Estimativas para Portugal, realizado por uma equipa da SBE Nova e do University College de Londres para o Edulog, think tank para a Educação da Fundação Belmiro de Azevedo, assim como dos destaques que surgiram a seu propósito aqui nas páginas do Público.

O tema está muito longe de ser novo, algo que não transparece na apressada revisão da literatura feita no estudo em apenas uma página. Eric Hanushek merecia pelo menos uma referência de passagem, já que foi dele a introdução da ideia de avaliar a eficácia dos professores há exactamente 50 anos (cf. Eric A. Hanushek, “Teacher characteristics and gains in student achievement: Estimation using micro data.” American Economic Review v. 60, no. 2, May 197: 280–88). A Economia da Educação dedica-lhe numerosos estudos desde as últimas décadas do século XX, em especial nos países anglo-saxónicos e qualquer pesquisa, por exemplo, sobre Value-Added Models (VAM) of Teacher Effectiveness, dá-nos um retorno de muitas centenas de contributos, análises de caso ou meta-análises da validade destes modelos destinados a medir a eficácia dos professores. A teoria, na sua aparente simplicidade, tem a sua capacidade de atração e confesso que lhe dediquei alguma atenção, antes de compreender todas as suas limitações em termos práticos, mesmo nos casos em que é possível um corpo de dados fiável e desenvolver uma metodologia sem demasiados enviesamentos no sentido da análise puramente estatística de algo que tem componentes dificilmente mensuráveis.

Os autores do estudo parecem ter noção das dificuldades, acrescidas no caso português, pois os dados nem sempre são os mais completos ou sequer coerentes, mesmo se tiveram um raro acesso à MISI (base de dados anonimizada da rede de escolas públicas da DGEEC). Como declaram logo na página 7 “a estimação do VAP em Portugal é dificultada pelo facto de os exames/provas nacionais ocorrerem apenas nos finais de ciclo: de facto, no intervalo entre dois exames/provas, os alunos são muitas vezes expostos a mais do que um professor de uma mesma disciplina nos vários anos do ciclo de ensino”, pelo que tiveram de desenvolver uma metodologia que consideram nova para superar algumas especificidades do nosso contexto. Não vou fazer qualquer juízo de valor sobre a metodologia específica porque, mesmo que tenha tido alguma formação rudimentar em métodos de análise em História Económica, não consigo encontrar qualquer significado relevante num cálculo de um Valor Acrescentado da Combinação de Professores (VAC) que se traduza pela fórmula apresentada na página 19:

Se a qualidade de um professor, se o seu valor para os seus alunos se pode transformar numa fórmula deste tipo é porque talvez seja mesmo melhor substituir os docentes humanos por máquinas. Aceito que existem ferramentas estatísticas que podem dar um contributo útil para medir a evolução dos resultados dos alunos, mas há aqui algo que em termos filosóficos me provoca uma enorme rejeição. Porque se a Economia da Educação é uma disciplina que pode ter a sua aplicação, muitas vezes bem perversa, em algumas áreas da gestão financeira do sistema educativo, já o mesmo me parece muito mais problemático quanto à definição da qualidade, ou “eficácia”, do trabalho de um professor com os seus alunos.

A esse respeito, pela sua clareza e objectividade vou resumir e comentar as reservas colocadas em relação aos estudos com base nos modelos do valor acrescentado, entre muitas outras análises, no artigo Value-added models: What the experts say de Audrey Amrein-Beardsley, Margarita Pivovarova, e Tray Geiger no Phi Delta Kappan – The professional journal for educators (colocado online a 1 de Outubro de 2016 e consultado a 23 de Junho de 2021).

São cinco os principais focos de discussão acerca do alcance de tais estudos:

Fiabilidade – professores considerados eficazes num dado ano, podem surgir como ineficazes em outro, sem que o contexto escolar tenha mudado, o que nos deixa perante a possibilidade do desempenho dos alunos ser afectado de forma decisiva por outros factores, intra ou extra-escolares.

Validade – não existem provas de que este modelo tenha maior valor do que os que usam dados recolhidos de outras formas, como sejam a observação feita pelos órgãos de gestão ou supervisão pedagógica das escolas ou em pesquisas baseadas na avaliação dos alunos.

Enviesamento – apesar das tentativas para bloquear alguns desvios e reduzir o seu impacto estatístico, é difícil controlar os efeitos das variáveis demográficas associadas aos grupos de alunos que cada professor ensina. E acrescento ainda a questão da dimensão das turmas e número de alunos atribuídos a cada docente, mesmo se o estudo nacional se resumiu a duas disciplinas.

Transparência – a opacidade e complexidade destes modelos, com uma complexidade matemática que se afasta de qualquer representação reconhecível do trabalho pedagógico, torna-os muitas vezes incompreensíveis para os próprios professores avaliados. Isto porque, em grande parte, este é um modelo basicamente estatístico que nada diz sobre o que é feito em sala de aula que explique a “eficácia”.

Equidade – este é um modelo que, como no caso do estudo do Edulog, acaba por se basear apenas em duas disciplinas (Língua Materna e Matemática), deixando de fora a larga maioria dos docentes de todas as restantes disciplinas e, muito em especial, os professores dos primeiros anos, que são reconhecidos como os que estabelecem os alicerces das futuras aprendizagens. Por isso, apresentam-se conclusões sobre a “eficácia” e o “valor acrescentado” dos professores (e das próprias escolas) que se ficam a dever apenas a uma parcela dos professores.

Mas, para além destas críticas gerais ao modelo do “valor acrescentado”, existem algumas notas a sublinhar sobre o estudo feito agora para Portugal e sobre algumas das evidências que pretende apresentar.

Em primeiro lugar, chamar a atenção para o facto de no período usado para o estudo (de 2007/2008 até 2017/2018) terem existido alterações sensíveis no tipo das provas aplicadas no Ensino Básico, com a introdução de provas finais em vez de provas de aferição no 4º e 6º ano de escolaridade em 2012-13 e pouco depois, em 2015-16, com o desaparecimento de provas nesses anos. Se nos lembrarmos de toda a polémica associada a essas duas decisões, parece-me no mínimo curioso que se considere ser possível fazer um estudo que assuma que os dados recolhidos apresentam suficiente coerência.

Em segundo lugar, destacar que na segunda conclusão apresentada no “sumário executivo” (p. 8) se confirma “a importância, entre outras variáveis, do sexo, do nível de rendimento, da nacionalidade e da formação académica dos pais (principalmente da mãe) nos resultados dos alunos”, o que poderia servir de ponto de partida para um debate sério sobre o que existe a fazer para melhorar o desempenho dos alunos e que escapa por completo ao trabalho docente.

Em terceiro lugar, quando se distingue que existem professores com um maior efeito na probabilidade dos alunos terem classificação “positiva” e outros com maior efeito na probabilidade de terem classificações mais elevadas, seria da maior importância identificar quais as características desses professores, das suas metodologias e do perfil dos alunos e turmas com que costumam trabalhar. Porque há diferentes concepções de “eficácia” a ter em conta.

Em seguida, que é por demais óbvio que mais vale um professor “melhor” pelo menos um ano em cada ciclo de escolaridade e de preferência no último, quando se realizam provas/exames, do que o mesmo todos os anos desse ciclo de escolaridade, se for “menos bom”. Mas isso deveria ser melhor explicado quando se afirma, nas mesmas conclusões que “a ‘continuidade pedagógica’ (…) não tem impacto nos resultados dos alunos”.

Por fim, é impossível não relacionar esta demanda quase obsessiva pelos “melhores” ou “mais eficazes” professores, no sentido de os recrutar e os generalizar no sistema de ensino com outros aspectos como o próprio processo de avaliação do seu desempenho baseado em quotas de mérito. A verdade é que, de acordo com um modelo de avaliação do desempenho docente inspirado em outras teorias da Economia da Educação, o reconhecimento da excelência está reservado a 5% dos docentes e apenas mais 20% podem ser considerados muito bons, o que nos deixa sem perceber que estímulos possam existir para a criação de um ecossistema docente em que se procure manter os “melhores” ou uma maioria dos mais “eficazes”, pois 75% deles não verá isso formalmente reconhecido em termos de progressão na carreira.

Mais grave, pelo contacto directo com vários processos de reclamação ou recurso das classificações atribuídas, percebe-se que os parâmetros e descritores usados em muitas escolas e agrupamento dão maior prevalência a aspectos burocráticos e administrativos da docência do que aos propriamente pedagógicos. E não é raro que se considerem como excelentes e muito bons docentes com uma carga lectiva muito mais reduzida do que outros ou com turmas com perfis que garantem, à partida, um melhor ambiente de aprendizagem e nível de desempenho. E sobre isso este estudo nada fala.

Os autores terminam o estudo, afirmando que “os resultados e conclusões obtidos no nosso estudo são relevantes para o debate acerca da importância do professor no sistema de ensino e das políticas de recrutamento e alocação de professores.”

Mas o estudo em pouco (ou mesmo nada) contribui para que se perceba exactamente o que é um professor “eficaz”, muito menos em sala de aula, para além da medição dos resultados dos alunos em provas finais/exames, numa lógica simplista não muito diversa da usada nos primeiros rankings de escolas com base nesses mesmos resultados.

6ª Feira

Eu bem posso responder que tudo conta para a nota, que a avaliação é um processo, que o envolvimento e empenho deles é mais importante, que me são dirigidos olhares duvidosos de quem acha que não é bem assim. Aliás, lá em casa, não é raro que a grande preocupação seja a da “nota” e não tanto se o “processo” decorreu melhor ou pior. E fazem-se médias e por muito que se apresentem “ponderações” específicas para cada “instrumento”, nem sempre isso é encarado como se fosse mesmo a sério.

5ª Feira

Haverá quem ache que chega “ser bom menino” para se ter boa classificação num trabalho escolar; eu mesmo, confesso que acho “querida” a expressão que saiu a rapaz matulão perante a evidente incompreensão da professora. Mas há qualquer coisa de profundamente errado, desculpem, errado não se diz, direi antes desadequado em tudo isto. Talvez seja eu que estou a ver mal as coisas, a não encarar estas problemáticas pela perspectiva certa. Mas, não sou capaz de aceitar sem protesto todo o processo de infantilização que se instalou, mansamente, na nossa “educação de sucesso”.

Na 6ª Feira…

… vou tentar responder a algumas das questões que já chegaram à organização do “evento” e dar a minha opinião, que alguns acham pouco consensual, acerca da ficção que vivemos em termos de avaliação de alunos e professores. Assim haja tempo para tudo e para dialogarmos.

Alunos e Professores, o que andamos a avaliar?

De Regresso A Alcácer

Há coisas em que só me meto em nome das boas memórias e da amizade. Porque entre Fevereiro de 1989 e Maio de 1990 andei por lá e fiz amigos, mesmo se já tinha um feitio complicado, como poderá confirmar quem andou pelos Salemas ao mesmo tempo.

Que ninguém vá ao engano… não vou revisitar teorias da avaliação, dar “dicas” ou recomendar grelhas. Vou apenas partilhar o meu olhar, muito crítico, sobre o que anda por aí a acontecer, em geral e em particular. E prefiro o diálogo à exposição sem contraditório ou debate.

Alunos e Professores, o que andamos a avaliar?