O texto abaixo foi enviado por José Francisco Soares, professor do programa de pós-graduação em Educação da Universidade Federal de Minas Gerais (UFMG), coordenador do Grupo de Avaliação e Medidas Educacionais (GAME) na mesma universidade e doutor em Estatística pela Universidade de Wisconsin – Madison.

O Enem tem outras funções além de ser o vestibular único nacional usado pelas universidades federais para a admissão de seus alunos. O escore obtido no Enem é usado para a certificação de conclusão do ensino médio e para acesso ao Prouni e Fies. Com menor visibilidade, o Enem é ainda um instrumento de verificação do aprendizado dos alunos que estão terminando a educação básica.

Essa última finalidade, central no Enem antigo, foi redefinida, quando da introdução do novo Enem, como uma forma de acompanhamento longitudinal do aprendizado dos alunos. Essa decisão tem influenciado de forma definitiva outros aspectos do exame e não sofreu ainda o escrutínio social a que toda política pública deve ser submetida.

Para que o Enem cumpra a função de ser instrumento de acompanhamento longitudinal do aprendizado dos alunos, é necessário que seus escores pertençam a uma escala de medida do aprendizado. Isso exige que os itens usados nos diferentes anos sejam colocados na métrica escolhida, que deve ser única, para que os escores dos diferentes anos sejam comparáveis. Como conseqüência, pode-se verificar a ocorrência de mudanças no patamar do desempenho dos alunos de diferentes origens escolares e sociais. 

A questão que precisa ser debatida e ainda não foi adequadamente explicitada é que a forma de atribuição de escores para um acompanhamento longitudinal não é necessária em um vestibular e na realidade conflita, nas condições atuais do país, com as características de um exame tão importante para os seus candidatos.  Isto porque, para desempenhar suas funções de acompanhamento longitudinal, as questões usadas no Enem devem ser referenciadas à escala de medida escolhida. Isso exige o pré-teste dos itens. Depois do que ocorreu recentemente, é impossível fazer esse pré-teste.

Os alunos do segundo ano do ensino médio e do primeiro ano da universidade, que têm sido usados para pré-testar os itens, não compõem um grupo similar aos candidatos. Além disso, há os insuperáveis problemas de segurança. A opção, usada no SAT americano, de testar itens junto com uma realização real do exame parece que não pode ser usada no Brasil dentro do atual ordenamento jurídico. Soluções heterodoxas como testar itens em outros países de língua portuguesa não parecem factíveis. Ou seja, neste momento é preciso dar nova definição ao quarto objetivo do Enem. Isso pode ser feito. No entanto não há como manter o Enem como uma ferramenta de acompanhamento longitudinal do aprendizado dos alunos e ao mesmo tempo como um vestibular único nacional.

#Q#

O significado da TRI
O Enem enquanto vestibular precisa essencialmente de questões que cubram de forma adequada o conhecimento que um aluno deve ter ao fim do ensino médio e de um processo sólido de agregação em um escore das informações presentes nas respostas às questões do teste.

A agregação dos resultados das respostas dos alunos em um escore deve ser obtida através do uso da TRI. Essa teoria tem, por exemplo, a flexibilidade de diminuir o impacto no escore final de item ambíguo. Infelizmente, difundiu-se, no âmbito da discussão do Enem, a ideia equivocada de que o uso da TRI implica o acompanhamento longitudinal e portanto exige o pré-teste de itens. Essa interpretação não é correta e a ausência dessa informação tem levado à adoção de posições questionáveis.

A construção das questões para o Enem poderia usar a mesma metodologia que há anos vem sendo usada nos bons vestibulares de universidades. Nesse caso, questões são propostas e exaustivamente analisadas por professores em oficinas específicas. Os itens aprovados seriam incluídos no teste do Enem, cujos resultados seriam corrigidos pela TRI.  Claro que esse processo pode levar à inclusão de itens pouco adequados. Isso já está aceito pela sociedade, que sabe que, mesmo nos melhores vestibulares ou concursos, eventualmente alguns poucos itens podem ser anulados sem que isso seja visto como comprometimento da lisura do resultado. O uso da TRI como forma de atribuição de escores torna esse processo ainda menos impactante.

No entanto, é importante que o escore do Enem possa ser usado em vários anos. Isso pode ser facilmente resolvido usando-se os processos de equalização de escores baseados em percentis. Nessa metodologia, para criar a comparabilidade dos escores dos diferentes anos, bastaria escolher um grupo normativo, como, por exemplo, os candidatos que terminaram o ensino médio no ano em que realizaram o Enem. Em seguida define-se que a distribuição de escores desse grupo será a mesma em todos os anos. Assim a cada ano a comparação dos escores calculados pela TRI dos alunos do grupo normativo nos dois anos produziria a forma de transformar os escores obtidos em um ano nos  escores de outros anos.

Essa solução permitiria que o debate e os esforços se voltassem para o tema essencial e até aqui negligenciado: como os alunos estão adquirindo as capacidades e aprendendo os conhecimentos de que precisam para uma inserção produtiva na sociedade.  O papel do Enem como determinante do que é ensinado no ensino médio ganharia assim proeminência no debate educacional.

Para isso, primeiramente, as matrizes de especificação do Enem precisam ser mais detidamente analisadas. Há nelas expressões muito pouco claras que não informam nenhum projeto pedagógico. E é pouco conhecido o fato de que, ao agregar às matrizes cognitivas uma matriz de conhecimentos, algumas áreas simplesmente reproduziram o programa dos vestibulares. Ou seja, hoje o Enem contém o mesmo dilúvio de exigências, tão criticado até pelos que defendem o exame.

Depois é preciso estancar o enorme desperdício de energia e de recursos gerado pela não utilização pedagógica das preciosas informações sobre aprendizado coletadas pelo Enem. Idealmente, a divulgação do Enem deveria ter uma dimensão de informação pedagógica. Nesse material cada item usado receberia um comentário construído, considerando-se o escore necessário para sua solução e suas características  substantivas. Isso seria de uso imediato pelas escolas para análise de seus projetos pedagógicos e das diferenças.  A divulgação pública, feita no âmbito do MEC por comitês de especialistas, impediria que exigências paroquiais e pouco razoáveis dominassem o exame.

Claro que o Enem tem muitos outros aspectos que precisam de escrutínio público. Em particular a sua unicidade, a forma de inclusão da língua estrangeira e a correção das redações. Mas isso é mais do que pode ser tratado em um único texto.

+Leia artigo de Francisco Soares sobre os problemas técnicos gerados pelas múltiplas funções do Enem