MEC diz ter usado a Teoria da Resposta ao Item (TRI) para mensurar o resultado do Enem, mas falta transparência em relação à prova

Desde o ano passado, o Ministério da Educação (MEC) diz utilizar a Teoria da Resposta ao Item (TRI) para mensurar as notas dos candidatos no Enem. A desconhecida TRI tem origem na psicometria, parte da ciência da psicologia. A utilização da técnica é possível graças ao desenvolvimento da informática e à possibilidade de usar potentes computadores e sofisticados softwares para calcular os dados gerados por milhares de pessoas. A lógica é muito simples. Quando queremos avaliar as habilidades e competências de uma pessoa, podemos propor testes que exijam a utilização delas. Para que possamos comparar as notas de duas ou mais provas diferentes, todas elas precisam ter o mesmo nível de dificuldade. A utilização da TRI na prova do ENEM tem como principal objetivo acompanhar o desenvolvimento da qualidade do Ensino Médio no Brasil. Como as provas anteriores tinham níveis de dificuldade diferentes, não podemos dizer, olhando as notas de provas distintas, qual aluno tem mais proficiência para ocupar um lugar no Ensino Superior.

Até aí, ótimo. É realmente muito bom termos instrumentos para avaliar as políticas públicas de educação, ainda que eles não sejam perfeitos. O problema é a falta de transparência em relação à prova aplicada no ano passado. Segundo o MEC, as questões tiveram pesos diferentes no exame. Dois alunos que acertaram o mesmo número de perguntas podem ter recebido notas diferentes. Para exemplificar, imagine que dois estudantes, em uma sala de aula, façam uma prova qualquer de 30 questões e os dois acertem 20 delas. Quando recebem as notas, apesar de terem acertado o mesmo número de itens, elas são diferentes. Isso é possível se o considerado não for o acúmulo de questões corretas, mas a dificuldade delas. Neste caso, se um deles acertou itens mais difíceis, pode receber uma nota maior, apesar de ter assinalado corretamente o mesmo número de questões.

Até agora, a sociedade não sabe qual foi o peso dado a cada questão. O Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) deveria divulgar um relatório pedagógico, como fez nos anos anteriores, e nele deveria estar relatado o nível de dificuldade de cada questão. Sem ele, a nota de cada aluno no último ano parece ser um critério arbitrário, sem base científica. Além disso, fica impossível para qualquer candidato questionar seu aproveitamento. Apesar de a TRI poder ser utilizada de várias formas, o natural era que o MEC tivesse um grande banco de dados com questões pré-testadas. Uma questão testada hoje, em grupos que representem o conjunto dos inscritos no Enem, com 70% de acerto, não é igual a uma questão que, daqui a 10 anos, 70% das pessoas responderão corretamente. Isso ocorre porque neste período a qualidade da educação pode melhorar ou piorar. Se todas as questões forem testadas no mesmo ano em que forem aplicadas, o resultado será que, todo ano, teremos a mesma média nacional no Enem. Possíveis melhorias ficariam por conta da margem de erro.

Um fator que coloca em dúvida se o MEC tem este banco de questões e se a prova realmente terá o mesmo nível de dificuldade em todas as suas edições é a diferença entre as provas do ano passado. A primeira, que vazou, foi uma prova bem feita, com questões que realmente avaliavam os eixos cognitivos, as competências e as habilidades propostas pelo novo Enem. A segunda prova, a que foi aplicada, era o contrário: mal feita, com questões de respostas questionáveis. Em alguns momentos, apelava para o conteudismo e a decoreba que prometia combater. Tenho convicção de que as duas não tinham a mesma dificuldade. Se ambas forem aplicadas em qualquer grupo de 100 pessoas, com certeza as notas na primeira prova serão mais altas.

Agora, com os novos depoimentos do atual presidente do Inep fica claro que realmente este banco de dados não existe, ou que pelo menos hoje é muito pequeno e que o MEC mentiu para a sociedade no último ano. O MEC precisa dar transparência ao TRI para que todos entendam melhor a prova do Enem. Não adianta falar que cada questão tem peso diferente, que o exame tem dispositivo “anti-chute”, que todas as provas têm o mesmo nível de dificuldade, que agora teremos parâmetros para medir o desenvolvimento do Ensino Médio, que logo a prova poderá ser individualizada, entre outras coisas, se não podemos confiar no que foi dito. Os educadores não podem se contentar em ter “fé” nas palavras do Ministério. É claro que seria melhor se o MEC tivesse realmente usado o TRI, mas seria mais honesto com a sociedade admitir que ele não estava presente, ou que só estava parcialmente, na prova aplicada no ano passado.