Desde o vazamento do pré-teste do Exame Nacional do Ensino Médio (Enem), ocorrido no final de 2011, alguns termos técnicos tomaram conta do debate sobre os rumos do ensino médio. Entre eles, os conceitos de Teoria da Resposta ao Item (TRI), pré-teste, e item. Apesar de expostos na mídia com bastante frequência, eles não foram devidamente explicados. É o que defende José Francisco Soares, professor do programa de pós-graduação em Educação da Universidade Federal de Minas Gerais (UFMG), coordenador do Grupo de Avaliação e Medidas Educacionais (GAME) na mesma universidade e doutor em Estatística pela Universidade de Wisconsin-Madison, nos EUA. “Passaram a dizer que só podemos usar a TRI com o pré-teste. Não é verdade”, alerta.

+ Leia mais: Em artigo exclusivo, José Francisco Soares revela os problemas técnicos gerados pelas múltiplas funções do Exame Nacional do Ensino Médio

+ Para Chico Soares, vincular recursos ao desempenho de escolas não prejudica o ensino

A entrevista a seguir, concedida por telefone à editora Beatriz Rey, configura-se, em primeiro lugar, como uma tentativa de esclarecer as aplicações dos conceitos relacionados ao Enem. Além de explicitar algumas definições, Soares propõe uma solução à crise de identidade que vive a prova, já que desempenha diversas funções. Duas delas são destacadas por ele: a de avaliação (que prevê o acompanhamento longitudinal, ou seja, entre anos distintos, do desempenho dos alunos) e a de vestibular. “Esse acompanhamento longitudinal não foi escrutinado publicamente. A função foi incluída no Enem sem que se analisassem as consequências de forma ampla e completa”, defende. Um exemplo: se o Enem funcionasse apenas como exame de certificação ou avaliação do ensino médio, poderia se valer de itens (ou questões) repetidas, além de questões pré-testadas. “Isso não é possível, porque questões repetidas não funcionam em um vestibular”, diz.  Por fim, o pesquisador acredita que o debate sobre o Enem e o ensino médio só avançará quando o aparato técnico for acessível a mais pessoas. “Ainda não conseguimos criar uma linguagem que esse grupo maior, de não técnicos, domine, para poder então fazer as perguntas e tomar decisões”, diz.

+ Saiba mais: Francisco Soares defende novo significado para a função do Enem

Por que é preciso trazer o debate técnico, explicando os conceitos, ao mundo educacional?
O que o aluno e as universidades recebem e o que a sociedade pensa sobre o Enem é um número criado através de algoritmos. O escrutínio público, em algum momento, tem levado em consideração a forma como a nota do Enem está sendo calculada. Isso ficou evidente em 2011, quando as pessoas começaram a cobrar, por exemplo, o acesso à correção da prova.  Essas demandas são completamente legítimas, já que estamos falando do futuro educacional de um número muito grande de alunos. O técnico agora passa a ser importante. Na verdade, ele passa a ser fundamental. Não dá para o debate simplesmente deixar a discussão técnica a cargo dos técnicos. É preciso ter mais pessoas interessadas no debate educacional que, entendendo as dimensões técnicas, possam opinar.

Como a Teoria de Resposta ao Item (TRI) é usada no Enem hoje?
A TRI está sendo usada no Enem para várias finalidades, que devem ser separadas para que seja possível entender as decisões a serem tomadas. A primeira finalidade é a atribuição de uma nota final a partir das questões realizadas pelos estudantes. É tão comum pensar que cada questão acertada é igual a um ponto que esquecemos que este é um algoritmo. E é um algoritmo extremamente questionável porque se assume que toda questão dá a mesma informação. Todos os anos, mesmo no Enem, existem itens que carregam ambiguidade. Com essa atribuição de um ponto a cada questão acertada, forçamos uma igualdade. Ou seja, há várias outras possibilidades de você atribuir nota aos alunos. Durante anos, algumas universidades usaram o escore padronizado. O que é isso? Um exemplo: um aluno tirava nota 35 em matemática. Esse número poderia valer mais que os mesmos 35 em ciências humanas, porque muitas pessoas conseguiam essa nota na última área. Outra possibilidade é a aplicada no exame nacional dos economistas, chamado Anpec. Ali, uma questão correta anula uma errada. É outro algoritmo. A TRI é um deles, e é aquele indicado pela literatura como o mais flexível, já que foi desenvolvido para captar todas as dificuldades de questões diferentes. Sobre isso não há dúvida: ela é a melhor maneira de atribuir nota ao aluno, independentemente do que se fará com o resultado.

Por que ela é o melhor instrumento para a atribuição de notas?
Ela trabalha com perfis. Se há três questões no teste, existem oito possibilidades de respostas. Um aluno pode acertar as duas primeiras e errar a última. Outro, errar as duas primeiras e acertar a última. E assim por diante. Como há um grau de dificuldade diferente entre as questões, é razoável que se ganhe mais pontos ao acertar uma questão mais difícil. A TRI tem mecanismos para considerar essas nuances no processo de atribuir as notas. Outros algoritmos não conseguem fazer isso. Ou seja, a TRI se apoia em um modelo de análise da realidade cognitiva do aluno, muito mais elaborado do que outros algoritmos.

Quais são os outros usos da TRI no Enem?
Outra coisa que ela implementa de uma maneira muito elegante e poderosa é a comparabilidade entre outros anos. Só que ao mesmo tempo que implementa, ela cobra. Quando se trata apenas de uma avaliação, como o Sistema de Avaliação da Educação Básica (Saeb), é muito importante verificar a melhora ou piora ao longo dos anos. Para você ter essa informação, as notas devem ser comparáveis. Como faço isso? Através da repetição ou da pré-testagem das questões. Outras técnicas também são capazes de fazer esse acompanhamento longitudinal, de maneira pior, mas útil. Falarei sobre elas adiante.

O senhor defende que há uma interpretação errada sobre os usos da TRI. O que isso quer dizer?
O que ocorreu é que passaram a dizer que só podemos usar a TRI com o pré-teste. Não é verdade. Posso fazer essa separação, usando a teoria só para dar a nota. São dois usos separados: a atribuição de notas e a possibilidade de comparar resultados entre anos. Seria possível, por exemplo, corrigir a prova da Fundação Universitária para o Vestibular (Fuvest) pela TRI.  Seria até melhor. Mas isso não tem nada a ver com o acompanhamento longitudinal. É justamente esse acompanhamento que não foi escrutinado publicamente. A função foi incluída no Enem sem que se analisassem as consequências de forma ampla e completa. Acredito que não havia clareza na época da decisão. Por exemplo: poderíamos usar itens repetidos no Enem, se ele fosse apenas uma avaliação. Mas isso não é possível, porque questões repetidas não funcionam em um vestibular.

Qual é a sua proposta para resolver essa crise de identidade do Enem?
É preciso tomar alguma decisão. Não há como o Enem ser, ao mesmo tempo, um instrumento de acompanhamento longitudinal do desempenho dos alunos e um vestibular. Mas é possível que as notas de anos diferentes sejam comparáveis. O que sugiro é o uso da técnica de equi-percentil, muito conhecida na literatura técnica e usada antes e concomitantemente com a TRI. O que faríamos seria criar um grupo normativo composto, por exemplo, pelos alunos que terminaram o ensino médio no ano do Enem em um determinado ano, e definiríamos que a distribuição do desempenho desses estudantes seria a mesma em todos os anos (a partir das notas, eles seriam distribuídos entre ótimos, médios, ruins etc.). Essa distribuição também valeria para os alunos dos outros anos.

Isso não alteraria a distribuição das notas, já que a prova pode ser mais difícil ou mais fácil entre anos?
Se o teste de um ano X foi mais difícil, os alunos tomados como grupo normativo teriam notas maiores. Então, as notas teriam de ser ajustadas, diminuídas ou aumentadas, para que fossem iguais. O que estou fazendo é ajustar as notas para que a distribuição seja a mesma. Porque esta é uma questão muito importante: queremos que a nota do Enem valha para mais de um ano.

O senhor pode dar um exemplo?
Vamos pensar na nota tradicional de 0 a 100. Digo que há 2% dos alunos com nota acima de 90 em 2009. Em 2010, há 3% dos alunos com nota acima de 90. Se há acompanhamento longitudinal, pode-se dizer que houve melhora. Com a minha proposta, perdemos a capacidade de dizer isso. Diremos: 2% ficaram acima de 90 em 2009, então precisamos fazer ajustes para que 2% fiquem também acima de 90 em 2010. As notas obtidas dessa forma são comparáveis, mas a informação de que houve melhora se perde. A referência para comparação passa a ser a população (no caso, o grupo normativo), e não o item. E quando falo em comparação, refiro-me ao conjunto das notas do grupo normativo de um ano X com o conjunto das notas do grupo normativo de um ano Y. Assim, na prática, o aluno poderia buscar a nota do ano anterior do Enem e verificar se precisa estudar e tirar uma nota melhor, porque elas são comparáveis. Também as universidades poderiam usar notas de ciclos diferentes do Enem.

O fim do acompanhamento longitudinal não se constitui como um problema?
Essa é a pergunta que tem de ser feita. Alguém já usou o acompanhamento longitudinal para dizer que os alunos melhoraram ou pioraram? Ele não foi usado para nada. Posso imaginar aplicações para isso, mas o meu ponto agora é que o Enem é mais importante que essa função. Ela é muito necessária em uma avaliação como o Saeb e o Programa Internacional de Avaliação de Alunos (Pisa). Entretanto, nas condições atuais, de vestibular, é impossível que ela seja cumprida. Outra solução para que essa função se efetive é a pré-testagem durante o próprio exame. Mas pelo que sei a lei não permite isso no Brasil. O Scholastic Assessment Test (SAT), nos EUA, faz isso.

Durante o próprio exame?
Exatamente. Basta avisar os alunos: “vocês responderão a uma seção extra do teste, que não será usada para compor a nota final. Só será usada para criar a comparabilidade”. Isso seria fantástico porque não há como fazer pré-teste. O que me incomoda é que isso precisa ser discutido. Infelizmente, para essa discussão acontecer é preciso ter o mínimo de clareza técnica.

Outra mudança que o senhor defende é a alteração da matriz do Enem, no sentido de incorporar a ela um projeto pedagógico.
O que ocorreu é que houve uma justaposição de duas maneiras de olhar a prova. Quando se fala de competências e habilidades, a ideia é usar algo em alguma situação, sem deixar de lado os conteúdos, ou o conhecimento. O conhecimento deve estar a serviço de uma intencionalidade, que, no caso, é a do cidadão. O que aconteceu na passagem de um Enem para o outro? A edição anterior da prova era criticada, com razão, por dar ênfase às competências sem levar em conta os conteúdos. E a nova prova ficou centrada nos conteúdos! A matriz de física do Enem, por exemplo, é igual à matriz de física da Fuvest. Gostaria de ver competências e habilidades e conteúdos como uma coisa incorporada. Não seria razoável termos um relatório em que encontrássemos as questões do Enem e como elas estão relacionadas com o ensino? Alguém precisava apontar: “sobre essa questão, o que ela pretendia? Onde ela foi ensinada?”. Mas simplesmente não há intersecção pedagógica por parte de quem está propondo o exame. O Enem, que é um esforço fantástico e pauta a sociedade, tinha de ter consequências pedagógicas, mas não tem nenhuma. Só tem consequências de seleção, porque essa ideia sequestrou todo o resto.

Não seria o caso de desmembrarmos o Enem e criarmos um exame de certificação ou avaliação do ensino médio e outro para o ingresso na universidade?
Sim. Uma coisa é Educação Básica e outra coisa é o ensino superior. Discutimos pouco essa prova, e quando a discussão acontece há preconceitos extremos e também o lado político. Alguns países felizmente tiveram outras trajetórias com a transição do ensino médio para o ensino superior. Na Inglaterra, quando essa etapa educacional termina, se o aluno quer cursar biologia, fará um exame na área de biologia. O que é evidente: se você quer cursar jornalismo, deve chegar à universidade com uma capacidade melhor de escrever. Esse debate não foi feito no Brasil. A entrada no ensino superior deveria ser diferente. Fazer engenharia na Universidade de São Paulo (USP) é diferente de fazer pedagogia na Universidade Federal de Minas Gerais (UFMG). Infelizmente, muitas universidades usam o Enem como etapa única de seleção, o que é um absurdo completo. Claro que elas são autônomas, e é justamente por isso que a discussão precisa acontecer.

Por que essa opção foi adotada no Brasil?
Mais uma vez, porque nós discutimos pouco. Vou repetir meu argumento: há uma decisão que não deve ser tomada só pelos técnicos, que deve envolver mais pessoas. A educação tem dimensões técnicas, sim, mas não é uma decisão só técnica. Ainda não conseguimos criar uma linguagem que esse grupo maior, de não técnicos, domine, para poder então fazer as perguntas e tomar decisões. Houve uma decisão técnica que levou o sistema a uma dificuldade. Essa é a questão maior.

Autor

Beatriz Rey