Uns 5 milhões de brasileiros fizerama prova do Exame Nacional do Ensino Médio (Enem) em outubro. O organizador da prova, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), mostrou ogabarito uns poucos dias depois. Suponha que um dos estudantes (vamos chamá-lo de Marconi) tenha resolvido as questões de matemática que ele sabia, e que, antes de entregar a prova, tenha chutado as respostas que não sabia. Afinal,entre cinco alternativas (A,B, C, D ou E), a chance de acertar uma delas no chute é de 1/5, ou de 20%. É boa. Com o gabarito oficial em mãos, Marconi descobre que acertou uma das questões no chute. Em janeiro de 2012, quando usar seu CPF para saber a nota individual, aprenderá uma lição: é difícil enganar computadores. Para azar dele, os computadores a serviço do Inep vão usar todas as respostas de todos os alunos para calcular certas correlações estatísticas avançadas, e vão soltar um relatório dizendo, mais ou menos, assim: “É muito alta a chance de que nosso amigo Marconi tenha acertado essa questão no chute. Nós, computadores, recomendamos desconsiderar essa questão na nota final do Marconi.”

Para organizar o Enem, técnicos do Inep usam um método estatístico conhecido como TRI, de teoria da resposta ao item. É um método usado por médicos, militares, propagandistas, administradores de empresas, esportistas. Quando uma empresa usa a TRI para organizar qualquer tipo de questionário, ela ganha condições de responder a uma pergunta importante: qual é a probabilidade de que uma pessoa tenha acertado a questão X por seu próprio mérito ou por acaso? Se a probabilidade for alta, a empresa atribui o mérito da resposta ao respondente. Se a probabilidade for baixa, ela ignora a questão, pois é mais provável que o respondente tenha chutado.

Ao usar a TRI, o governo ganha várias vantagens: ele consegue informação mais precisa de quem sabe exatamente o quê, consegue comparar os resultados de um ano com os resultados de outros anos, consegue comparar escolas da zona rural de Manaus com escolas do centro de São Paulo.A TRI, contudo, é menos ótima para quem faz o teste: o estudante, seu professor, seus pais. Se Marconi quisesse saber como a TRI funciona, e por que sua nota é aquela divulgada pelo governo, teria de estudar estatística avançada. Especialistas no assunto dizem que o Ministério da Educação (MEC) deve continuar usando a TRI nas avaliações oficiais, pois, pressupondo que o MEC esteja fazendo tudo com boa vontade, isso é bom para o Brasil. Mas, a cada rodada do Enem, falta divulgar informações de um jeito que o estudante, seu professor e seus pais possam compreender e usar.

O mais provável
Raquel Cunha Valle, estatística da Fundação Carlos Chagas, diz que podemos usar uma fita métrica para medir a altura de uma pessoa em centímetros, ou usar uma balança para medir seu peso em quilogramas, mas como medimos o que uma pessoa sabe ou ignora? “A proposta da teoria da resposta ao item”, diz Raquel, “é criar uma unidade de medida para o conhecimento.”

Uma tabela muito simples (abaixo) pode ajudar leitores como Marconi a entender o que lhes aconteceu. No caso de uma prova como a do Enem, “item” significa “questão”, “1” significa “acertou” e “0” significa “errou”.

A pessoa 1, que acertou as cinco questões, provavelmente sabe 100% do que deveria saber. A pessoa 2, que acertou quatro questões e errou uma, provavelmente sabe 80% do que deveria saber. A pessoa 3, que acertou três questões e errou duas, provavelmente sabe 60% do que deveria saber. E assim vai. (A ênfase na palavra provavelmente serve para destacar a natureza estatística da TRI.) Da mesma forma, a questão 1, que só uma pessoa soube responder, é difícil demais para 80% dos candidatos. A questão 2, que só duas pessoas souberam responder, é difícil demais para 60% dos candidatos. E assim vai.

Agora imagine o Marconi como a pessoa 6 na tabela acima.

Note que ele também acertou duas questões e errou três, e que portanto sua média é igual à média da pessoa 4: Marconi parece saber 40% do que deveria saber. Mas sua prova tem lógica? Até que ponto uma pessoa consegue acertar uma questão difícil, a questão 1, e errar três questões mais fáceis? Não é mais provável que Marconi tenha chutado a resposta da questão 1? Ao realizar um teste comum, o MEC só consegue descobrir duas coisas: quantas questões a pessoa acertou e quantas errou. Mas, ao realizar um teste com todas as ferramentas estatísticas da TRI, o MEC consegue saber, com maior grau de precisão, o que uma pessoa sabe ou ignora.

Tufi Machado Soares, professor da Universidade Federal de Juiz de Fora (MG) e coordenador de pesquisas do Centro de Políticas Públicas e Avaliação da Educação, explica as principais alavancas de ajuste num modelo estatístico feito com base na TRI: dá para ajustar o grau mínimo de conhecimento para responder a uma questão com 50% de chance, dá para ajustar até que ponto a questão vai discriminar entre quem sabe e quem ignora, e dá para saber a probabilidade de que alguém acerte a questão por acaso – chutando. Essas três alavancas têm nomes técnicos complicados (traço latente do j-ésimo indivíduo) e símbolos feitos com letras gregas e latinas (θj).

Para explicar a mágica da TRI, especialistas como Raquel e Tufi Machado sempre mostram uma curva famosa: é a curva característica do item (acima). 

Na imagem, θ representa o que a pessoa sabe, e θ = 0 significa que a pessoa tem conhecimentos suficientes para acertar a questão com probabilidade de 50% – ela tem conhecimentos suficientes para, nesta questão, decidir a resposta no cara e coroa. Se ela fizer isso, os computadores do Inep não conseguirão dedurá-la, pois ela acertou outras questões com o mesmo grau de dificuldade. Mas se θ = −5, significa que a pessoa tem conhecimentos suficientes para acertar a questão com probabilidade de 2%. Em outras palavras, significa que, caso ela acerte a questão, é bem provável que tenha chutado, e os computadores do Inep vão dedurá-la. Eles são energizados para isso.

Exame por computador
Especialistas independentes e técnicos do Inep não se cansam de mencionar as vantagens da TRI. Se a prova for bem desenhada, o avaliador pode cancelar uma questão errada sem prejudicar ninguém, pois as probabilidades são calculadas para as questões válidas. Se uma questão estiver escrita de modo a confundir pessoas com conhecimentos avançados, isso ficará claro, pois os computadores vão mostrar um grande número de pessoas com conhecimentos avançados errando a mesma questão, o que é pouco provável. Se uma pessoa se submeter a duas provas diferentes, mas feitas segundo a TRI, é provável que sua nota seja quase a mesma nas duas provas. O MEC pode comparar pessoas de regiões diferentes, que fizeram provas diferentes em anos diferentes. Se alguém obtiver os gabaritos da prova, e vendê-los por bom dinheiro, os computadores do Inep serão capazes de detectar a discrepância estatística.

A TRI só existe porque existem computadores. Sem eles, seria impossível calcular à mão todas as variáveis do modelo estatístico – na fórmula principal da TRI, cada pessoa é descrita por meio de sete variáveis e quatro constantes. No Enem, com 5 milhões de pessoas, são 35 milhões de variáveis e 20 milhões de constantes para calcular e comparar umas com as outras. Gilberto Matos, professor da Universidade Federal de Campina Grande (PB), diz que, se a TRI existe porque existem computadores, a TRI e os computadores casam bem. Quando o Inep tiver um banco de itens de tamanho adequado, os estudantes poderão realizar as provas por meio do computador: o estudante acerta uma questão e o computador puxa do banco de dados uma questão um pouco mais difícil; o estudante erra uma questão e o computador puxa do banco de dados uma questão um pouco mais fácil. Com esse método, o MEC conseguirá medir com precisão maior ainda o que o estudante sabe. “O TOEFL, um certificado de proficiência em inglês, é medido assim”, diz Gilberto. “Acredito que é possível um dia usar esse método no Enem.”

Bula indecifrável
Críticos do Enem vivem dizendo que o governo esconde os critérios pelos quais forma a nota de cada aluno. Afinal, os critérios são públicos ou são segredo de Estado? Tufi Machado diz que não há segredo nenhum: se a pessoa for ótima de estatística, se ela tiver conhecimentos profundos sobre a TRI, e se ela for persistente feito um mosquito da dengue, então ela conseguirá acesso aos critérios técnicos e talvez até aos dados brutos. “Os critérios até que são bem conhecidos pelos especialistas no assunto”, diz Tufi. Contudo, se a pessoa for um estudante, ou seu professor, ou um de seus pais, aí sim ela está numa enrascada. Até agora, o governo brasileiro não demonstrou interesse em divulgar critérios técnicos e dados brutos com frequência e clareza.

Explicar a TRI é difícil mesmo. Um exemplo: se o estudante tira a nota média do Enem,ele tira 500, pois o Inep atribui o valor 500 à nota média. Contudo, numa escala de 0 a 10, a nota média de um ano pode ser 6 e de outro ano pode ser 5,5. Nos dois casos, o aluno que tirar a nota média vai tirar 500. Se ele tirar mais que 500, significa apenas que tirou mais que a nota média. Se tirar menos que 500, significa que tirou menos que a nota média. “A TRI é como se fosse um tipo de mágica”, diz Raquel Valle, “mas poucos têm acesso ao truque.”

Especialistas em modelagem matemática sabem que, quanto mais fielmente o modelo matemático representa a realidade, mais complicado ele é, pois a realidade é complicada. A TRI é complicada simplesmente porque ela retrata a realidade de modo melhor. Gilberto Matos acha que tudo isso, porém, não é desculpa para explicar a TRI com linguagem supertécnica. “Você pode pensar na
TRI como uma bula”, diz Gilberto. “Se você escrever a bula com linguagem médica muito técnica, o paciente não vai entender nem mesmo para que serve o remédio.”

Autor

Redação revista Educação