Um texto muito interessante de João Marôco sobre a forma de fazer bem provas em suporte digital e o spin que tem estado a ser feito sobre os resultados (pela primeira vez menos bons) dos alunos portugueses no PIRLS.
Como o texto está em acesso reservado, transcrevo uns nacos interessantes, até porque duvido que a prosa tenha sido paga, não estando direitos autorais em causa.
No estudo PIRLS de 2021, os países participantes tiveram a opção de realizar o teste em formato digital ou em papel. Portugal foi um dos 25 países, dos 57 participantes, que escolheram o formato digital. Aos países que adotaram o digital, foi solicitado que aplicassem um teste em papel contendo apenas textos trend, a fim de estabelecer a equivalência entre os resultados obtidos no formato digital e nos testes em papel das edições anteriores. Essa análise de invariância de modo é conduzida numa subamostra de alunos que corresponde à amostra do estudo principal, com o único objetivo de garantir a validade das comparações ao longo do tempo. Só este procedimento estatístico especializado permite a comparação válida dos resultados de diferentes edições dos estudos (PIRLS, TIMSS, PISA, etc.). O estudo de invariância de modo não tem como objetivo estimar os resultados que o país teria obtido se o teste fosse realizado em formato papel em vez de digital.
(…)
O presidente do Iave, responsável pela tradução e aplicação do PIRLS — e que brevemente irá certamente disponibilizar o vídeo deste texto, com tradução portuguesa devidamente validada pelos especialistas nacionais do Iave e confirmada pelos revisores da IEA — afirma, segundo o que o ministro disse, que os alunos não conseguiam navegar no texto quando apareciam as perguntas, que a janela das perguntas tapava o texto impedindo a sua leitura, que não seria possível andar para a frente e para trás no teste digital como acontece num teste em papel. E isto — uma prova em formato digital, mal feita; não um confinamento; ou políticas educativas erradas; ou flexibilidade e metodologias obsoletas; ou a pouca valorização da leitura em ambiente familiar; ou outra coisa qualquer — explica a pioria dos resultados de 2016 (em papel) para 2021 (em digital).
Se o leitor ainda não foi a pirls2021.org, pare aqui! Esta é uma boa altura para ir ver o vídeo do texto The Empty Pot (ative a legendagem automática do YouTube) e verificar como é que o teste foi apresentado aos alunos portugueses e aos seus colegas dos 25 países participantes em formato digital.
O leitor poderá confirmar — como não poderia deixar de ser — que os alunos podem navegar nos blocos de texto, para trás e para a frente, como com as páginas de um livro; marcar passagens do texto, com um marcador amarelo, exatamente como se estivessem a fazer um teste em papel; podem ver ou esconder as perguntas para reler o texto, ou as partes marcadas a cor, antes de responder; rever as respostas e alterá-las. A IEA faz testes de avaliação educacional há mais de 60 anos. Todos os seus testes são pré-testados e validados pelos países participantes.