4ª Feira

Só que durante esse período, pelo menos no Ensino Básico, não existem provas universais e comparáveis, porque se deram importantes mudanças, quer em 2012/13 (passagem de provas de aferição, sem impacto na avaliação final, para provas finais no 4.º e 6.º ano, com peso na avaliação final), quer em 2015/16 (com o fim das provas finais e a passagem a provas de aferição no 2.º e 5.º ano, com uma codificação diferente do desempenho dos alunos). O que torna muito questionável qualquer pretensão de fazer um estudo diacrónico do desempenho dos alunos, para mais pretendendo com isso aferir o “impacto” dos professores que tiveram.

3ª Feira

Embora o título do estudo refira o “impacto”, expressão já de si passível de várias interpretações, a verdade é que o debate que suscitou foi no sentido de sublinhar a necessidade de identificar os “bons” professores e afastar os “maus”, sem que em nenhum momento se analise qualquer variável relacionada com o trabalho dos professores em sala de aula. Essa é a limitação mais evidente de um trabalho que acaba por seguir uma lógica similar à que considera como melhor operário, o que coloca mais parafusos durante uma hora.

O Texto Completo Do Público Online

Até aproveitei para corrigir uma gralha numa referência e um lapso menor, na sequência de dois parágrafos. Como seria de esperar, o estudo do Edulog suscitou os entusiasmos costumeiros, acríticos quanto à metodologia e nulos quanto a sugestões concretas de “operacionalização” da distinção entre bons e maus, sem ser com base em estatísticas aplicadas a duas disciplinas no Básico. Terreno fértil para economistas da Educação fabricados à la minute, desde o início da pandemia.

Até à Lua e mais Além

Confesso que o mais difícil foi encontrar um título adequado e não redundante para este texto, nascido da leitura muito rápida do estudo O Impacto do Professor nas Aprendizagens do Aluno: Estimativas para Portugal, realizado por uma equipa da SBE Nova e do University College de Londres para o Edulog, think tank para a Educação da Fundação Belmiro de Azevedo, assim como dos destaques que surgiram a seu propósito aqui nas páginas do Público.

O tema está muito longe de ser novo, algo que não transparece na apressada revisão da literatura feita no estudo em apenas uma página. Eric Hanushek merecia pelo menos uma referência de passagem, já que foi dele a introdução da ideia de avaliar a eficácia dos professores há exactamente 50 anos (cf. Eric A. Hanushek, “Teacher characteristics and gains in student achievement: Estimation using micro data.” American Economic Review v. 60, no. 2, May 197: 280–88). A Economia da Educação dedica-lhe numerosos estudos desde as últimas décadas do século XX, em especial nos países anglo-saxónicos e qualquer pesquisa, por exemplo, sobre Value-Added Models (VAM) of Teacher Effectiveness, dá-nos um retorno de muitas centenas de contributos, análises de caso ou meta-análises da validade destes modelos destinados a medir a eficácia dos professores. A teoria, na sua aparente simplicidade, tem a sua capacidade de atração e confesso que lhe dediquei alguma atenção, antes de compreender todas as suas limitações em termos práticos, mesmo nos casos em que é possível um corpo de dados fiável e desenvolver uma metodologia sem demasiados enviesamentos no sentido da análise puramente estatística de algo que tem componentes dificilmente mensuráveis.

Os autores do estudo parecem ter noção das dificuldades, acrescidas no caso português, pois os dados nem sempre são os mais completos ou sequer coerentes, mesmo se tiveram um raro acesso à MISI (base de dados anonimizada da rede de escolas públicas da DGEEC). Como declaram logo na página 7 “a estimação do VAP em Portugal é dificultada pelo facto de os exames/provas nacionais ocorrerem apenas nos finais de ciclo: de facto, no intervalo entre dois exames/provas, os alunos são muitas vezes expostos a mais do que um professor de uma mesma disciplina nos vários anos do ciclo de ensino”, pelo que tiveram de desenvolver uma metodologia que consideram nova para superar algumas especificidades do nosso contexto. Não vou fazer qualquer juízo de valor sobre a metodologia específica porque, mesmo que tenha tido alguma formação rudimentar em métodos de análise em História Económica, não consigo encontrar qualquer significado relevante num cálculo de um Valor Acrescentado da Combinação de Professores (VAC) que se traduza pela fórmula apresentada na página 19:

Se a qualidade de um professor, se o seu valor para os seus alunos se pode transformar numa fórmula deste tipo é porque talvez seja mesmo melhor substituir os docentes humanos por máquinas. Aceito que existem ferramentas estatísticas que podem dar um contributo útil para medir a evolução dos resultados dos alunos, mas há aqui algo que em termos filosóficos me provoca uma enorme rejeição. Porque se a Economia da Educação é uma disciplina que pode ter a sua aplicação, muitas vezes bem perversa, em algumas áreas da gestão financeira do sistema educativo, já o mesmo me parece muito mais problemático quanto à definição da qualidade, ou “eficácia”, do trabalho de um professor com os seus alunos.

A esse respeito, pela sua clareza e objectividade vou resumir e comentar as reservas colocadas em relação aos estudos com base nos modelos do valor acrescentado, entre muitas outras análises, no artigo Value-added models: What the experts say de Audrey Amrein-Beardsley, Margarita Pivovarova, e Tray Geiger no Phi Delta Kappan – The professional journal for educators (colocado online a 1 de Outubro de 2016 e consultado a 23 de Junho de 2021).

São cinco os principais focos de discussão acerca do alcance de tais estudos:

Fiabilidade – professores considerados eficazes num dado ano, podem surgir como ineficazes em outro, sem que o contexto escolar tenha mudado, o que nos deixa perante a possibilidade do desempenho dos alunos ser afectado de forma decisiva por outros factores, intra ou extra-escolares.

Validade – não existem provas de que este modelo tenha maior valor do que os que usam dados recolhidos de outras formas, como sejam a observação feita pelos órgãos de gestão ou supervisão pedagógica das escolas ou em pesquisas baseadas na avaliação dos alunos.

Enviesamento – apesar das tentativas para bloquear alguns desvios e reduzir o seu impacto estatístico, é difícil controlar os efeitos das variáveis demográficas associadas aos grupos de alunos que cada professor ensina. E acrescento ainda a questão da dimensão das turmas e número de alunos atribuídos a cada docente, mesmo se o estudo nacional se resumiu a duas disciplinas.

Transparência – a opacidade e complexidade destes modelos, com uma complexidade matemática que se afasta de qualquer representação reconhecível do trabalho pedagógico, torna-os muitas vezes incompreensíveis para os próprios professores avaliados. Isto porque, em grande parte, este é um modelo basicamente estatístico que nada diz sobre o que é feito em sala de aula que explique a “eficácia”.

Equidade – este é um modelo que, como no caso do estudo do Edulog, acaba por se basear apenas em duas disciplinas (Língua Materna e Matemática), deixando de fora a larga maioria dos docentes de todas as restantes disciplinas e, muito em especial, os professores dos primeiros anos, que são reconhecidos como os que estabelecem os alicerces das futuras aprendizagens. Por isso, apresentam-se conclusões sobre a “eficácia” e o “valor acrescentado” dos professores (e das próprias escolas) que se ficam a dever apenas a uma parcela dos professores.

Mas, para além destas críticas gerais ao modelo do “valor acrescentado”, existem algumas notas a sublinhar sobre o estudo feito agora para Portugal e sobre algumas das evidências que pretende apresentar.

Em primeiro lugar, chamar a atenção para o facto de no período usado para o estudo (de 2007/2008 até 2017/2018) terem existido alterações sensíveis no tipo das provas aplicadas no Ensino Básico, com a introdução de provas finais em vez de provas de aferição no 4º e 6º ano de escolaridade em 2012-13 e pouco depois, em 2015-16, com o desaparecimento de provas nesses anos. Se nos lembrarmos de toda a polémica associada a essas duas decisões, parece-me no mínimo curioso que se considere ser possível fazer um estudo que assuma que os dados recolhidos apresentam suficiente coerência.

Em segundo lugar, destacar que na segunda conclusão apresentada no “sumário executivo” (p. 8) se confirma “a importância, entre outras variáveis, do sexo, do nível de rendimento, da nacionalidade e da formação académica dos pais (principalmente da mãe) nos resultados dos alunos”, o que poderia servir de ponto de partida para um debate sério sobre o que existe a fazer para melhorar o desempenho dos alunos e que escapa por completo ao trabalho docente.

Em terceiro lugar, quando se distingue que existem professores com um maior efeito na probabilidade dos alunos terem classificação “positiva” e outros com maior efeito na probabilidade de terem classificações mais elevadas, seria da maior importância identificar quais as características desses professores, das suas metodologias e do perfil dos alunos e turmas com que costumam trabalhar. Porque há diferentes concepções de “eficácia” a ter em conta.

Em seguida, que é por demais óbvio que mais vale um professor “melhor” pelo menos um ano em cada ciclo de escolaridade e de preferência no último, quando se realizam provas/exames, do que o mesmo todos os anos desse ciclo de escolaridade, se for “menos bom”. Mas isso deveria ser melhor explicado quando se afirma, nas mesmas conclusões que “a ‘continuidade pedagógica’ (…) não tem impacto nos resultados dos alunos”.

Por fim, é impossível não relacionar esta demanda quase obsessiva pelos “melhores” ou “mais eficazes” professores, no sentido de os recrutar e os generalizar no sistema de ensino com outros aspectos como o próprio processo de avaliação do seu desempenho baseado em quotas de mérito. A verdade é que, de acordo com um modelo de avaliação do desempenho docente inspirado em outras teorias da Economia da Educação, o reconhecimento da excelência está reservado a 5% dos docentes e apenas mais 20% podem ser considerados muito bons, o que nos deixa sem perceber que estímulos possam existir para a criação de um ecossistema docente em que se procure manter os “melhores” ou uma maioria dos mais “eficazes”, pois 75% deles não verá isso formalmente reconhecido em termos de progressão na carreira.

Mais grave, pelo contacto directo com vários processos de reclamação ou recurso das classificações atribuídas, percebe-se que os parâmetros e descritores usados em muitas escolas e agrupamento dão maior prevalência a aspectos burocráticos e administrativos da docência do que aos propriamente pedagógicos. E não é raro que se considerem como excelentes e muito bons docentes com uma carga lectiva muito mais reduzida do que outros ou com turmas com perfis que garantem, à partida, um melhor ambiente de aprendizagem e nível de desempenho. E sobre isso este estudo nada fala.

Os autores terminam o estudo, afirmando que “os resultados e conclusões obtidos no nosso estudo são relevantes para o debate acerca da importância do professor no sistema de ensino e das políticas de recrutamento e alocação de professores.”

Mas o estudo em pouco (ou mesmo nada) contribui para que se perceba exactamente o que é um professor “eficaz”, muito menos em sala de aula, para além da medição dos resultados dos alunos em provas finais/exames, numa lógica simplista não muito diversa da usada nos primeiros rankings de escolas com base nesses mesmos resultados.

Gosto De Estudos

Mesmo quando discordo deles. Em vez de ver a 213ª antevisão do Portugal-França, fiz uma selectiva recensão crítica com cerca de 10.000 caracteres ao que o Edulog apresentou hoje e mandei para o Público, a ver se dá para ficar online, porque em papel sei que não dá.

Na apresentação pública, foi curioso ver uma pessoa que há uns bons anos, quando lhe falei desta metodologia, torceu logo o nariz e falou nas suas ,limitações (com as quais cada vez concordo mais), mas agora já aparece a aplaudir as conclusões e tal. O aroma de negócio é mais forte do que qualquer convicção fraca.

A Redescoberta Da Roda Quadrada

A OCDE descobriu que os alunos têm dificuldade em distinguir factos de opiniões na Internet e o ME acrescenta que são preocupantes os problemas resultantes da dificuldade em compreenderem o que lêem. Que constatações extraordinárias e inesperadas, só ao alcance de estudos internacionais. Claro que nestas ocasiões aparece logo o SE Costa (tão parco em intervenções em outras matérias menos demagógicas) a debitar chavões e verborreia variada, em alegre troca de preconceitos com o seu grande amigo Schleicher.

Entre os dois, espremendo bem, ainda se ficará a saber, quase por certo, que tudo isto resulta dos efeitos da pandemia (mesmo que o estudo seja anterior) e que tudo se resolve recuperando aprendizagens e formando os professores para ensinarem os alunos o que deveriam saber e foi culpa dos professores não terem ensinado, apesar dos alunos terem dito que ensinaram. E lá aparecem as “aprendizagens essenciais” como salvadoras do gosto pela leitura, quando a cada ano que passa o espartilho das obras a analisar nas aulas é maior. Quando o ensino da língua faz, em muitas passagens das tais “aprendizagens”, lembrar uma checklist de tipo administrativo.

Não tenho paciência para isto. Mandem-me costinhas, arianinhas e tiaguinhos da nova geração que aceitem dar aulas sem pensar, que não há mais pachorra para este nível de patacoada propagandística sem substância de quem confunde as suas opiniões com factos.

Este Mês, No JL/Educação

(é uma síntese com acrescentos de dois textos aqui do Quintal)

Um fraco diagnóstico

Andamos há algumas semanas a discutir a solução para um problema em grande parte detectado com base num diagnóstico que levanta muitas reservas quanto ao método usado para o fazer. Porque é muito problemático e dificilmente terá eficácia a definição de uma “cura” quando a “doença” se encontra diagnosticada de forma pouco rigorosa.

Refiro-me à questão das “aprendizagens perdidas” nos tempos do ensino remoto de emergência com base, em primeiro lugar, em apreciações algo impressionistas, e em segundo, num estudo preliminar desenvolvido pelo IAVE para avaliar os efeitos da pandemia nas aprendizagens dos alunos do Ensino Básico no início deste ano lectivo, o qual foi apresentado publicamente com o título Estudo Diagnóstico das Aprendizagens.

Quanto à parte impressionista assente no “acho que”, pouco há a dizer porque quase todos, como sobre o futebol, achamos qualquer coisa sobre Educação e, por exemplo eu “acho que” há muitas aprendizagens importantes que ficam por realizar na sequência de uma estruturação errada do currículo, da distribuição dos tempos lectivos e de uma aplicação voluntariosa mas pouco fundamentada dos princípios da chamada “autonomia e flexibilidade”. E parte do que anda a ser diagnosticado como efeito da pandemia é bem possível que seja o efeito acumulado de outras causas. É o meu “acho que”, que terá tanto valor como muitos outros “achismos” que inundam o debate público sobre a Educação em Portugal.

Já quanto ao estudo promovido pelo IAVE, por determinação superior, as reservas que coloco são de natureza metodológica, porque se usarmos métodos ou ferramentas inadequadas, dificilmente obteremos uma visão clara daquilo que pretendemos conhecer. E analisando este “estudo preliminar” são várias as reservas que considero naturais, mesmo que parte da informação não tenha sido desde já disponibilizada.

Vou agrupar estas reservas, num primeiro olhar, em dois núcleos fundamentais: o da amostra usada e o da metodologia e ferramentas aplicadas na recolha da informação.

Comecemos pelo tipo e características da amostra usada, em particular no que se refere à sua representatividade em relação à população acerca da qual se quer conhecer o desempenho escolar. Porque se uma amostra não respeitar as características da população que se pretende estudar, a sua falta de fiabilidade inviabiliza a sua utilidade. De acordo com uma definição comum de amostra representativa “o critério para definir o perfil da amostra pode ser baseado em características demográficas como idade, sexo e classe social, assim como em características atitudinais de comportamento de consumo, por exemplo. É importante ter bastante cuidado nessa etapa, uma vez que deixar de incluir algumas características relevantes pode levar a conclusões erradas”[i].

Se queremos trabalhar com uma amostra probabilística ou aleatória, é indispensável garantir que temos informações actualizadas sobre a população onde é recolhida a amostra para assegurar a sua representatividade. A amostra deve ser escolhida de forma aleatória exactamente para que cada membro da população tenha a mesma probabilidade de selecção e inclusão na amostra que vai ser usada.

Uma das principais críticas que faço à amostra usada pelo IAVE é que ela me parece estratificada de forma muito deficiente, por muito que se garanta o contrário na sua apresentação. Não entrando pelos detalhes do estatuto socio-económico dos alunos, a natureza dos estabelecimentos (alguma coisa deverá ficar para as notáveis economistas da Educação que apareceram por aí nos últimos tempos) ou a completa ausência de dados sobre a distribuição por sexo, vou concentrar-me na distribuição geográfica dos alunos que fizeram as provas ou responderam ao inquérito realizado.

Se analisarmos um quadro com a comparação entre a amostra usada e os dados globais para o país em termos de NUTS II, que é a unidade geográfica usada nesta apresentação, facilmente percebemos o problema. Os dados de referência para os cálculos globais (que nem sempre batem certo de publicação para publicação) foram obtidos no site oficial da Direcção-Geral das Estatísticas da Educação e Ciência (nomeadamente nas publicações relativas ao Perfil do Aluno), faltando apenas números por ano de escolaridade para as regiões autónomas dos Açores e Madeira.

É evidente a partir destes dados que as regiões mais populosas (Norte e Lisboa e Vale do Tejo) estão grosseiramente sub-representadas, com pouco mais de 30% da amostra, quando o peso real da sua população escolar no Ensino Básico é mais do dobro no contexto nacional. Em contrapartida, o Algarve e a Região Autónoma da Madeira estão claramente sobre-representadas, o que provoca uma natural distorção da distribuição geográfica da amostra.

Se isso teve uma influência decisiva nos resultados obtidos? Não sabemos. Só sabemos que a amostra para ser verdadeiramente representativa e válida, não pode ter estes desvios na estratificação geográfica. E torna-se irrelevante afirmar que a margem de erro das respostas é de apenas 1% se a amostra está de tal modo distorcida.

Em segundo lugar, temos a questão crítica dos referenciais e das ferramentas usadas para a determinação das aprendizagens que deveriam ter sido realizadas e não o foram.

Há diversas reservas que se podem colocar à metodologia usada para avaliar as aprendizagens afectadas pela pandemia, quando se resume essa avaliação a um grupo restrito de áreas, deixando de fora grande parte das disciplinas em que alunos e professores trabalharam. O que significa que, afinal o “paradigma” continua o mesmo que tanto se criticou num passado recente e se acusou, com razão ou não, de ”afunilar” o currículo. Onde está a avaliação das Línguas, Letras e Artes? Em lado nenhum. Foi a ferramenta desenhada de acordo com os princípios do famoso “Perfil do Aluno”? Não me parece.

Outra crítica é o facto de ter sido adoptada uma ferramenta de avaliação totalmente digital, que agiliza a classificação dos itens, mas é muito redutora quanto à capacidade de avaliar de forma diferenciada as competências dos alunos. Ao que acresce a tipologia das questões, que neste tipo de “ambiente”, é bastante diferente das que os professores usam nas suas aulas, curiosamente (ou não), muito mais flexíveis e “abertas”.


[i] https://www.questionpro.com/blog/pt-br/amostragem-representativa/.

A Pobreza, Vista Ao Longe…

… surpreende muito os investigadores, quando chegam perto dela. Estes estudos têm o mérito de dar chancela “científica” a realidades mais do que conhecidas por quem vive fora de casulos, mas acabam quase sempre a irritar-me em certa medida. Porque depois há daquelas constatações que “surpreendem” os engomados de gabinete, por estimáveis que sejam. Parece que descobriram que ter um emprego, mesmo estável, não dá imunidade à pobreza. Logo pela manhã, fiquei a falar com o rádio do carro ao ouvir a peça da TSF e as declarações do principal investigador que descobriu que quem nasce em meio pobre, dificilmente se endireita ou passa de remediado, mesmo que seja “efectivo”. O problema de algumas tertúlias académicas certificadas é que tomam os seus conceitos, nascidos dos seus problemas pessoais (como os de pós-doutorados, com bolsas anos a fio, que ainda não conseguiram vaga nos quadros da Universidade e depois despejam raivas contra Básicos e Secundários), por uma realidade social que não existe. Sim, o “precariado” é indesejável, mas os baixos salários são uma chaga ainda maior. Por acaso, o período em que mais ganhei, em termos relativos, foi quando era professor contratado e tinha mais um par de biscates que me davam outro tanto de remuneração. Há precários a ganhar muito bem e “estáveis” a ganhar muito mal. O problema é estes últimos serem muitos. Mesmo muitos.

Pode andar-se anos ou décadas a fio a dizer que a desregulação das condições de trabalho (abusivas em termos de horário e remuneração) estão na base de muitos problemas, incluindo o insucesso escolar ou o “sucesso remediado”, mas há sempre aquela malta que teoriza a batata na perspectiva do contra-factual e do camandro ao cubo e conclui que a pobreza é apenas um estado de espírito. Sim, é verdade que há muita pobreza de espirito por aí. Mas essa tem uma distribuição transversal nos diversos escalões de rendimento. A pobreza material, daquelas pessoas que sobrevivem um mês com menos dinheiro do que custa uma bicicleta (ou uma roda, que as há a mais de 1000 euros e não necessariamente para profissionais) dos ciclistas chique que se pavoneiam ao fim de semana em leque por aí, é muito diferente. É aquela pobreza, como constatou com ar de alarme o investigador, para a qual uma diferença mensal de 10-20 euros pode ser decisiva.

Que em 2021 seja preciso um estudo com uma dezena de autores para o demonstrar revela muito sobre a tal “pobreza de espírito” de que falava mais acima.

Sábado – Dia 55

Logo coloco link, quando sair no Educare.

Dia 55 – Um Diagnóstico Estranho

Gostava de voltar ao todo o aparato que se armou em torno do “diagnóstico” realizado pelo IAVE às aprendizagens que se diz terem sido perdidas em virtude dos efeitos da pandemia na Educação. Porque há muitas inconsistências na metodologia do estudo, mas ainda mais na encenação que envolveu a divulgação dos seus resultados. Não me parece que tenha sido por falta de preparação – tudo está a decorrer de acordo com uma lógica facilemnte perceptível – mas porque os encenadores parecem voltar a tomar-nos todos por tolos. Haverá uma quantidade razoável por aí, que nem dá por isso, mas nem todos gostamos de ser assim tratados.

Desde logo, são estranhos alguns dos resultados obtidos, até porque acontecem de forma sistemática e transversal às provas e aos anos, dando a entender – sem ironia – que a concepção da ferramenta de avaliação não foi a melhor. Não é muito normal que os alunos respondam de forma mais acertada a questões apresentadas como de maior dificuldade do que às consideradas mais fáceis.

Na prova de “Literacia da Leitura e da Informação”, mais de 80% dos alunos do 9º ano conseguiram responde a pelo menos dois terços das questões de nível 3, enquanto menos de 50% conseguiram isso para as questões de nível 1 ou 2 (os mais baixos, numa escala até 4). No caso dos alunos de 6º ano, as respostas a questões de nível 2 e 3 também tiveram melhores resultados dos que as de de nível 1. Na prova de “Literacia Matemática”, as discrepâncias são menores, mas de qualquer modo, os alunos de 9º ano responderam melhor às questões de nível 2 do que às de nível 1, e às de nível 4 melhor do que às de nível 3. Os do 3º e 6º ano responderam de modo equivalente às de nível 3 e 4. Já na prova de “Literacia Científica”, voltam a verificar-se incongruências que, se fosse em testes feitos nas escolas por professores (não especialistas em avaliação recrutados para o efeito, portanto), levariam a críticas quanto á fiabilidade da ferramenta usada: Os de 3º e 6º ano ano respondem melhor a questões de nível 3 e 4 dos que às de nível 2, enquanto os de 9º ano respondem melhor às de nível 2 do que às de nível 1.

Gostava de sublinhar que a “categorização” da dificuldade das questões foi feita pelos “especialistas” do IAVE, sendo que qualquer manual de avaliação nos explica que uma distribuição tão irregular e assimétrica dos resultados (acontece, repito, em todas as provas realizadas e em quase todos os anos diagosticados), não é “culpa” dos alunos, mas sim de quem elaborou a prova/teste/ferramenta.

Basear qualquer estratégia de combate a aprendizagens alegadamente perdidas com base em ferramentas que parecem ter sido elaboradas seguindo pressupostos desadequados, mesmo que tenham sido pensadas de acordo com os pré-conceitos de quem ordenou o referido “diagnóstico”, parece-me muito arriscado, muito pouco fiável e pouco sério.

Uma Amostra Representativa?

Fica aqui a apresentação preliminar do Estudo Diagnóstico das Aprendizagens realizado pelo IAVE para avaliar os efeitos da pandemia nas aprendizagens dos alunos:

Há diversas reservas que se podem colocar à metodologia usada para avaliar as aprendizagens afectadas pela pandemia, quando se resume essa avaliação, aparentemente por comodidade, às áreas do costume, deixando de fora grande parte das disciplinas em que alunos e professores trabalharam. O que significa que, afinal o “paradigma” continua o mesmo que tanto se criticou num passado recente e se acusou, com razão ou não, de”afunilar” o currículo. Não andaram anos a criticar o Crato por achar que havia disciplinas de 1ª e outras de 2ª? Afinal, não andam a fazer o mesmo? Onde está a avaliação das Línguas, Letras e Artes? Em lado nenhum. Foi a ferramenta desenhada de acordo com os princípios do famoso “Perfil do Aluno”? Não me parece.

Outra crítica à metodologia é o facto de terem adoptado uma ferramenta de avaliação totalmente digital, automatizada para facilitar a classificação dos itens, mas muito redutora quanto à capacidade de avaliar de forma diferenciada as competências dos alunos. Ao que acresce a tipologia das questões, que neste tipo de “ambiente”, é bastante diferente das que os professores usam nas suas aulas, curiosamente (ou não), muito mais flexíveis e “abertas”.

Mas a crítica que aqui me ocupa algum tempo é a relativa à amostra usada que me parece claramente insuficiente e estratificada de forma muito deficiente, por muito que se garanta o contrário. Não entrando pelos detalhes do estatuto socio-económico dos alunos ou a natureza dos estabelecimentos (alguma coisa deverá ficar para as notáveis economistas da Educação que apareceram por aí nos últimos tempos), vou concentrar-me na distribuição geográfica dos alunos que responderam ao inquérito.

Vou colocar um quadro com a comparação entre a amostra usada e os dados globais para o país em termos de NUTS II, que é a unidade geográfica usada nesta apresentação. Os dados de referência para os cálculos globais (que nem sempre batem certo de publicação para publicação) foram obtidos aqui, aqui e aqui, faltando apenas números por ano de escolaridade para as regiões autónomas dos Açores e Madeira.

É fácil perceber que as regiões mais populosas (Norte e Lisboa e Vale do Tejo) estão grosseiramente sub-representadas com pouco mais de 30% da amostra, quando o peso real da sua população escolar no Ensino Básico é mais do dobro no contexto nacional. Em contrapartida, o Algarve e a RAM estão claramente sobre-representadas, o que provoca uma natural distorção da distribuição geográfica da amostra.

Se isso teve uma influência decisiva nos resultados obtidos? Não sabemos. Só sabemos que a amostra para ser verdadeiramente representativa e válida, não pode ter estes desvios na estratificação geográfica. E só em sonhos se pode dizer que a margem de erro das respostas (entre os 67% no 9º ano e os 76% no 6º) é de apenas 1%.