Dia: 21 de Abril, 2021

Este Mês, No JL/Educação

~ Paulo Guinote ~ 2 comentários

(é uma síntese com acrescentos de dois textos aqui do Quintal)

Um fraco diagnóstico

Andamos há algumas semanas a discutir a solução para um problema em grande parte detectado com base num diagnóstico que levanta muitas reservas quanto ao método usado para o fazer. Porque é muito problemático e dificilmente terá eficácia a definição de uma “cura” quando a “doença” se encontra diagnosticada de forma pouco rigorosa.

Refiro-me à questão das “aprendizagens perdidas” nos tempos do ensino remoto de emergência com base, em primeiro lugar, em apreciações algo impressionistas, e em segundo, num estudo preliminar desenvolvido pelo IAVE para avaliar os efeitos da pandemia nas aprendizagens dos alunos do Ensino Básico no início deste ano lectivo, o qual foi apresentado publicamente com o título Estudo Diagnóstico das Aprendizagens.

Quanto à parte impressionista assente no “acho que”, pouco há a dizer porque quase todos, como sobre o futebol, achamos qualquer coisa sobre Educação e, por exemplo eu “acho que” há muitas aprendizagens importantes que ficam por realizar na sequência de uma estruturação errada do currículo, da distribuição dos tempos lectivos e de uma aplicação voluntariosa mas pouco fundamentada dos princípios da chamada “autonomia e flexibilidade”. E parte do que anda a ser diagnosticado como efeito da pandemia é bem possível que seja o efeito acumulado de outras causas. É o meu “acho que”, que terá tanto valor como muitos outros “achismos” que inundam o debate público sobre a Educação em Portugal.

Já quanto ao estudo promovido pelo IAVE, por determinação superior, as reservas que coloco são de natureza metodológica, porque se usarmos métodos ou ferramentas inadequadas, dificilmente obteremos uma visão clara daquilo que pretendemos conhecer. E analisando este “estudo preliminar” são várias as reservas que considero naturais, mesmo que parte da informação não tenha sido desde já disponibilizada.

Vou agrupar estas reservas, num primeiro olhar, em dois núcleos fundamentais: o da amostra usada e o da metodologia e ferramentas aplicadas na recolha da informação.

Comecemos pelo tipo e características da amostra usada, em particular no que se refere à sua representatividade em relação à população acerca da qual se quer conhecer o desempenho escolar. Porque se uma amostra não respeitar as características da população que se pretende estudar, a sua falta de fiabilidade inviabiliza a sua utilidade. De acordo com uma definição comum de amostra representativa “o critério para definir o perfil da amostra pode ser baseado em características demográficas como idade, sexo e classe social, assim como em características atitudinais de comportamento de consumo, por exemplo. É importante ter bastante cuidado nessa etapa, uma vez que deixar de incluir algumas características relevantes pode levar a conclusões erradas”[i].

Se queremos trabalhar com uma amostra probabilística ou aleatória, é indispensável garantir que temos informações actualizadas sobre a população onde é recolhida a amostra para assegurar a sua representatividade. A amostra deve ser escolhida de forma aleatória exactamente para que cada membro da população tenha a mesma probabilidade de selecção e inclusão na amostra que vai ser usada.

Uma das principais críticas que faço à amostra usada pelo IAVE é que ela me parece estratificada de forma muito deficiente, por muito que se garanta o contrário na sua apresentação. Não entrando pelos detalhes do estatuto socio-económico dos alunos, a natureza dos estabelecimentos (alguma coisa deverá ficar para as notáveis economistas da Educação que apareceram por aí nos últimos tempos) ou a completa ausência de dados sobre a distribuição por sexo, vou concentrar-me na distribuição geográfica dos alunos que fizeram as provas ou responderam ao inquérito realizado.

Se analisarmos um quadro com a comparação entre a amostra usada e os dados globais para o país em termos de NUTS II, que é a unidade geográfica usada nesta apresentação, facilmente percebemos o problema. Os dados de referência para os cálculos globais (que nem sempre batem certo de publicação para publicação) foram obtidos no site oficial da Direcção-Geral das Estatísticas da Educação e Ciência (nomeadamente nas publicações relativas ao Perfil do Aluno), faltando apenas números por ano de escolaridade para as regiões autónomas dos Açores e Madeira.

É evidente a partir destes dados que as regiões mais populosas (Norte e Lisboa e Vale do Tejo) estão grosseiramente sub-representadas, com pouco mais de 30% da amostra, quando o peso real da sua população escolar no Ensino Básico é mais do dobro no contexto nacional. Em contrapartida, o Algarve e a Região Autónoma da Madeira estão claramente sobre-representadas, o que provoca uma natural distorção da distribuição geográfica da amostra.

Se isso teve uma influência decisiva nos resultados obtidos? Não sabemos. Só sabemos que a amostra para ser verdadeiramente representativa e válida, não pode ter estes desvios na estratificação geográfica. E torna-se irrelevante afirmar que a margem de erro das respostas é de apenas 1% se a amostra está de tal modo distorcida.

Em segundo lugar, temos a questão crítica dos referenciais e das ferramentas usadas para a determinação das aprendizagens que deveriam ter sido realizadas e não o foram.

Há diversas reservas que se podem colocar à metodologia usada para avaliar as aprendizagens afectadas pela pandemia, quando se resume essa avaliação a um grupo restrito de áreas, deixando de fora grande parte das disciplinas em que alunos e professores trabalharam. O que significa que, afinal o “paradigma” continua o mesmo que tanto se criticou num passado recente e se acusou, com razão ou não, de ”afunilar” o currículo. Onde está a avaliação das Línguas, Letras e Artes? Em lado nenhum. Foi a ferramenta desenhada de acordo com os princípios do famoso “Perfil do Aluno”? Não me parece.

Outra crítica é o facto de ter sido adoptada uma ferramenta de avaliação totalmente digital, que agiliza a classificação dos itens, mas é muito redutora quanto à capacidade de avaliar de forma diferenciada as competências dos alunos. Ao que acresce a tipologia das questões, que neste tipo de “ambiente”, é bastante diferente das que os professores usam nas suas aulas, curiosamente (ou não), muito mais flexíveis e “abertas”.

[i] https://www.questionpro.com/blog/pt-br/amostragem-representativa/.