Uma das maiores dificuldades para o entendimento público das notas do Enem (que indicarão a proficiência do aluno), com a utilização da Teoria de Resposta ao Item (TRI), é que essas notas não derivam diretamente do número de acertos do candidato, como ocorre tradicionalmente nas provas de vestibular, mas sim da proficiência estimada do aluno. Essa estimativa é aferida por meio de um processo que começa com a escolha de itens de diferentes complexidades.

Passa, a seguir, pela verificação de um padrão gerado pela análise das respostas de todos os candidatos, que propiciará a definição da curva característica de cada item, com a qual será cotejado cada um dos acertos de todos os candidatos para gerar o índice de proficiência individual. Esse processo permite estimar a proficiência de cada aluno, observando-se quais – mais do que quantos – itens acertou, levando-se em conta as proficiências que eram exigidas pelo modelo da TRI cuja expressão gráfica é a curva característica do item.

Como explica o professor Ocimar Alavarse, da Feusp, cada item (ou questão da prova) deve avaliar uma habilidade específica – ou descritor, segundo a terminologia adotada pelo Inep. A proficiência estimada do aluno, como resultado final da prova, expressa o domínio de habilidades e competências que foram exigidas para responder corretamente aos itens que compuseram a prova. É estimada porque retrata o desempenho do aluno naquele dado momento e para aquele conjunto de itens de sua prova. Essa estimativa depende da quantidade e da qualidade dos itens da prova: com poucos itens fica difícil estabelecer um padrão razoável de respostas.

A curva característica de um item é uma representação gráfica da probabilidade de acerto que alunos com diferentes graus de proficiência teriam, estatisticamente, com as características de cada item, pela determinação de cada um de seus parâmetros – discriminação, dificuldade e acerto ao acaso. No gráfico acima, a coordenada P equivale à probabilidade de acerto, e a θ equivale à proficiência do aluno. A letra C na coordenada P indica a chance mínima de um aluno com baixa proficiência para esse item: acertá-lo seria um acerto ao acaso (ou “chute”), que é de 20% (considerando cinco alternativas possíveis).

No caso da questão do gráfico, as chances de acerto começam a aumentar com candidatos que tenham índice a partir de 180 e chegam a cerca de 60% no ponto da escala horizontal onde está B. Os alunos com proficiência a partir de 400 tenderiam a ter quase 100% de probabilidade de acerto do item. A pequena separação entre a curva e o que falta para 100% indica que, apesar da alta proficiência, pode haver chance de erro, mas esse eventual erro não seria “descontado” do respondente, como costuma ocorrer tradicionalmente. Esse erro pode ser creditado a desvios como uma pequena desatenção ou cansaço do aluno, variáveis que não se repetiriam com vários itens de dificuldade semelhante para o mesmo aluno.

Definida a curva de cada item, o que só pode ser feito após a realização da prova, o conjunto de respostas do aluno será cotejado com a curva de cada item, gerando a estimativa de proficiência. Ou seja, serão observados quais itens acertou. Caso tenha acertado, por exemplo, muitos itens difíceis e errado poucos ou nenhum item fácil, pode-se afirmar que tem uma maior proficiência do que um aluno com o mesmo padrão para itens fáceis, mas com poucos acertos nos difíceis. Nesse caso, estima-se que os tenha acertado mais ao acaso do que com a devida proficiência.

Autor

Rubem Barros e Filipe Jahn