Curva Normal

“Um em cada três cursos de direito tem desempenho ruim no Enade – Administração e economia também tiveram desempenho ruim na avaliação”, anuncia o Portal do O Globo, como se fosse uma grande novidade.  Todo ano é a mesma confusão,  na qual participam não só jornalistas, mas também autoridades governamentais menos avisadas.

Para quem não acompanha de perto, vale a pena explicar: as provas do ENADE são testes de conhecimento aplicados aos alunos que estão terminando os cursos superiores nas diversas áreas de conhecimento.  Conforme a média dos resultados dos alunos de um curso, o curso recebe uma pontuação. Mas o Ministério da Educação não informa quantos pontos são necessários para dizer que o curso é bom. O que ele faz é pegar todas as pontuações e colocar em uma curva que divide os cursos em duas partes iguais, os que estão acima da média e os que estão abaixo, aproximando os resultados do que os estatísticos chamam de “curva normal” (veja o gráfico ao lado).  Depois os dados são divididos em 5 categorias de 1 a 5, de tal maneira que a média de todos os cursos de cada área é sempre 3.  E como se pode ver na curva, quanto mais próximo da média, mais cursos existem, e quanto mais afastados, menos.

Estes dados permitem dizer se um curso ficou melhor ou pior do que outro na prova, mas não permitem dizer que determinado curso é bom ou ruim. Se todos forem ruins, ou se forem excelentes, de qualquer forma metade estará abaixo da média e metade acima.  Estes resultados também não permitem comparar uma área para outra, para dizer que Tecnologia está pior do que o Direito, por exemplo, já que todos tem, por definição, rigorosamente a mesma média, com alguma variação na distribuição das notas ao redor da média ou nos extremos, o que produz pequenas discrepâncias. Estes dados também não permitem dizer se os resultados deste ano foram melhores do que os do ano passado, já que em todos os anos o procedimento é o mesmo, a média é sempre 3 para cada uma das áreas avaliadas, e a grande maioria dos cursos se concentra ao redor da média.

A razão pela qual o INEP faz isto é que ele não tem ou prefere não adotar um conceito claro do que seja um curso ruim, razoável, bom ou excelente em cada uma das áreas de conhecimento (em outras palavras, não existem padrões de qualidade). Se tivéssemos estes padrões poderíamos descobrir, por exemplo, que 70 ou 80% dos cursos de determinada área são de qualidade inaceitável, e deveriam ser fechados ou sofrer intervenção, o que seria realmente uma notícia sensacional. Sem este conceito (que não é fácil estabelecer, e criaria muita insegurança)  podemos ficar com o resultado mais cômodo de que o número de cursos péssimos sempre ficará na casa de poucos por cento.

Então, a única novidade que o ENADE pode trazer a cada ano são eventuais mudanças na posição relativa de determinados cursos na distribuição. Mas isto não dá manchete de jornal, nem justifica entrevistas coletivas de Ministros.

Texto publicado no Simon’s Site