No âmbito da avaliação educacional, as polêmicas sobre como avaliar determinadas características dos alunos e quais seriam as finalidades de seus resultados contabilizam quase um século de existência. Contudo, sem resolver esses impasses, desde a década de 1990, um novo elemento se incorpora à avaliação educacional. Trata-se das chamadas avaliações externas, assim denominadas porque são definidas, organizadas e conduzidas por quem não se encontra no interior das escolas, de certa forma em contraposição com as avaliações internas, estas conduzidas por professores. Essas avaliações externas, tendo em conta sua abrangência, também são denominadas de avaliações em larga escala, ressaltando sua visibilidade e, em decorrência, sua face de política pública em educação.

As experiências iniciais de avaliações em larga escala, até mesmo fora do Brasil, foram justificadas como necessárias para monitorar o funcionamento de redes de ensino e fornecer subsídios para seus gestores na formulação de políticas educacionais com dados mais bem definidos em termos dos resultados que, por sua vez, decorreriam das aprendizagens dos alunos. Não necessariamente essas avaliações tinham como foco cada escola das redes avaliadas, especialmente nos casos em que se recorria às avaliações por amostragem.

+ Leia mais: os assuntos que passaram pelos 200 números da revista revelam o recente percurso da educação brasileira

Deve-se destacar que essas avaliações têm como características, entre outras, a definição de uma matriz de avaliação, na qual são especificados os objetos de avaliação, e o emprego de provas padronizadas, como condição para que sejam possíveis, quando cabíveis, comparações baseadas em resultados mais objetivos.

Por iniciativa do Ministério da Educação (MEC), tivemos no início dos anos 1990 a criação do Sistema de Avaliação da Educação Básica (Saeb), desdobrado em 2005 na Avaliação Nacional do Rendimento Escolar (Anresc), denominada Prova Brasil, e na Avaliação Nacional da Educação Básica (Aneb), que, por sua vez, se articulam, em 2007, com o Índice de Desenvolvimento da Educação Básica (Ideb). Com efeito, o debate educacional brasileiro, particularmente envolvendo o ensino fundamental e o ensino médio, incorporou como duas características marcantes as avaliações em larga escala e a qualidade da educação escolar, pois esta passa a ser considerada por parte de gestores, mesmo que sem um consenso na comunidade educacional, como expressão dos resultados daquelas avaliações.

Ressalte-se que no cálculo do Ideb são incorporadas as taxas de aprovação de todas as séries de cada uma das etapas – anos iniciais e anos finais do ensino fundamental e ensino médio – e a proficiência média em leitura e resolução de problemas dos alunos da última série de cada uma das etapas avaliadas. Para o ensino fundamental a participação de escolas públicas na Prova Brasil é censitária, para alunos e escolas, e para o ensino fundamental de escolas privadas e de todo o ensino médio é amostral por estratos, sendo que em cada estado são escolhidas aleatoriamente escolas que representam cada uma das dependências administrativas – federal, estadual, municipal e privada. Paralelamente a essa avaliação conduzida pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), identificamos em muitas redes estaduais e municipais iniciativas no sentido de criarem suas próprias avaliações externas, processo que se intensificou após a criação da Prova Brasil.

Outro elemento a ser destacado é a Provinha Brasil, um teste padronizado disponibilizado pelo Inep que pode ser empregado tanto em avaliação em larga escala quanto para um aluno isoladamente, compreendendo ainda as usuais situações de avaliação em sala de aula com vários alunos. Sua elaboração foi justificada em face da necessidade de os professores disporem de bons instrumentos de avaliação, justamente em relação a um dos objetos mais salientes do processo educacional: a proficiência em leitura, considerada a pedra de toque dos desafios escolares brasileiros. Junto com a prova propriamente dita é disponibilizado um conjunto de textos para aplicação e fundamentação teórico-metodológica. Contudo, essa caracterização, ainda mais na vigência do Pacto Nacional pela Alfabetização na Idade Certa (Pnaic), deverá ser atualizada pelo mais recente desdobramento do Saeb, que passa a abarcar a Avaliação Nacional da Alfabetização (ANA), censitária para escolas públicas e destinada a alunos do 3º ano do ensino fundamental, igualmente com foco em leitura e resolução de problemas.

Outro exemplo, extremamente relevante, no que tange às avaliações em larga escala, é o Exame Nacional do Ensino Médio (Enem), que vem ocupando lugar privilegiado nas políticas educacionais, com fortes indícios de suas influências no currículo de escolas do ensino médio, somado aos possíveis impactos na educação de jovens e adultos (EJA) pelo fato de que esse exame incorporou funções antes destinadas para o Exame Nacional de Certificação de Competências da Educação de Jovens e Adultos (Encceja).

As avaliações em larga escala aprofundaram, também, a discussão de procedimentos estatísticos e a importância da construção de matrizes de avaliação, a padronização de provas e a interpretação pedagógica de resultados, com destaque para a Teoria da Resposta ao Item (TRI) que permite a comparabilidade de resultados ao longo do tempo e entre séries diferentes, expressos, geralmente, na Escala Saeb, que varia de 0 a 500 pontos, tanto para leitura quanto para resolução de problemas. Adicionalmente, em algumas redes públicas foram desencadeadas políticas de remuneração diferenciada para profissionais da educação em função dos resultados dos alunos, consolidando a denominada accountability, um tipo de política de responsabilização dos professores e gestores de escolas pelos resultados nas avaliações externas, incrementando ainda mais o debate em torno da avaliação educacional.

Nesse quadro, tomando-se como principal referência a Prova Brasil e o Ideb, podemos salientar alguns aspectos, com seus riscos e potencialidades. Como um aspecto negativo, é possível considerar a hipótese de que em algumas escolas tenda-se a ensinar, concentradamente, o que constitui os objetos de avaliação – leitura e resolução de problemas – e no formato da prova – com itens de múltipla escolha – o que seria configurar um reducionismo curricular e didático. Ademais, como outro efeito colateral, há o registro de atividades escolares de organização de “simulados” de aplicação de provas padronizadas, algo que deveria ser evitado, inclusive porque não produz o aumento de proficiência esperado. Mais grave, ainda, seria abandonar as avaliações internas, pois estas, mesmo quando revelam algumas restrições técnicas, integram a tarefa educativa a cargo, incontornavelmente, dos professores. Se as restrições às avaliações internas podem ser superadas com formação e capacitação, por seu turno, as avaliações externas não podem e não deveriam se converter em orientadoras privilegiadas dos processos formativos, mesmo quando parecem se constituir no mais saliente traço das políticas educacionais. Distinto disso seria a tarefa de articular, por vários meios e objetivos, as avaliações externas com as internas.

Como aspecto potencialmente positivo, podemos considerar que, com as avaliações em larga escala, a gestão de escolas e redes passa a incorporar indicadores de desempenho como mais um elemento para o conhecimento de suas realidades e, assim, pode estabelecer metas mais precisas e elencar prioridades de intervenção parametrizadas numa realidade mais ampla, envolvendo a comparação, dependendo da avaliação externa referenciada, com resultados do país, do estado e do município. Salienta-se, contudo, que as medidas resultantes dessas avaliações – as estimativas de proficiência – não se constituem, por si só, em avaliação, pois uma medida indica o quanto se atingiu numa determinada escala e a avaliação é o julgamento desse resultado em função de critérios, para os quais a interpretação pedagógica é parte insubstituível do processo avaliativo, que, também, deve levar em consideração as condições específicas de cada rede e escola, reforçando a importância da avaliação institucional.

Retomando o debate sobre qualidade do trabalho escolar, seria conveniente considerar que se, por um lado, esta não se confunde com desempenho – proficiência – em leitura e resolução de problemas, por outro, estes objetos de avaliação não são, de forma alguma, estranhos ao processo escolar que se pretenda de qualidade; ao contrário, configuram-se como suporte para, praticamente, todos os outros componentes curriculares e por isso não poderiam ser ignorados na análise da situação de cada rede ou escola. Com efeito, o incremento do Ideb, em médio e em longo prazos, se dará pelo incremento desses dois fatores articulados com aumento nas taxas de aprovação. Enquanto indicador, a questão consiste em dimensionar o seu potencial para contribuir no equacionamento e no enfrentamento de tarefas de planejamento educacional, uma vez que existem projeções do Ideb até 2020 para cada escola e rede, levando em conta, de alguma forma, as particularidades dessas unidades.

Deve-se ressaltar, entretanto, que a Prova Brasil contém uma limitação. Em seus boletins, que demoram a chegar às escolas, é impossível identificar os alunos que estariam sob os percentuais para cada nível da escala. O que é possível fazer – e isto não é pouco – é procurar, com as informações que cada escola tem, traçar a trajetória, na escola, dos alunos que fizeram a prova, apoiando-se principalmente nas avaliações internas e nos programas de ensino, notadamente, para cotejá-los com a interpretação pedagógica de cada nível da escala. Por exemplo, o resultado dos alunos da 4ª série (5º ano) que fizeram a Prova Brasil em 2011 reflete o trabalho de quatro ou cinco anos antes da realização da prova, pois as proficiências de cada aluno, que se expressaram nos resultados, têm um caráter cumulativo. Isto é, seria um erro procurar compreendê-las somente como fruto daquilo que se fez no ano de 2011.

Não se trata, portanto, de ignorar ou abandonar avaliações externas. Descartá-las nos impediria de ter acesso a informações que são relevantes e pertinentes aos desafios educacionais e que podem, inclusive, favorecer o seu equacionamento. Mas fazer delas o único procedimento para indicar a qualidade da escola e pautar iniciativas de políticas educacionais seria negar-se a enfrentar uma realidade que, por sua complexidade, demanda outros instrumentos e medidas, principalmente aquelas capazes de garantir as condições de existência e funcionamento das escolas, compreendidas em suas dimensões de infraestrutura material, pedagógica e profissional. Trata-se, então, entre outras possibilidades, de alimentar um diálogo entre a avaliação externa e a interna que permita às redes e escolas reunir condições para avançar seus projetos pedagógicos.

A necessidade de encarar a avaliação vinculando-a ao desafio da aprendizagem deriva do esforço de desvinculá-la dos mecanismos de aprovação ou reprovação e, mais importante, destaca outra finalidade da avaliação educacional, no que se concentra sua verdadeira dimensão política, pois numa escola que se pretenda democrática e inclusiva as práticas avaliativas deveriam se pautar por garantir que, no limite, todos aprendam tudo. Ainda mais, quando nos reportamos ao ensino fundamental e ao ensino médio, etapas obrigatórias, por força da lei ou por pressões sociais, obrigatoriedade assim fixada, entre várias razões, para que a ninguém seja dado o direito de se excluir de conhecimentos considerados indispensáveis para o aproveitamento de outros direitos.

Para finalizar, e retomar o título deste artigo, pode-se dizer que o principal objetivo, diante da disseminação de avaliações em larga escala, é estabelecer uma avaliação dessas avaliações. O que compreenderia avançarmos para um código de ética das avaliações no qual deveriam estar inscritas condições, de várias ordens, sobretudo no sentido de haver um maior controle sobre tais avaliações. Atualmente, ninguém tem acesso a dados que pudessem garantir, por exemplo, a validade – a propriedade de seus resultados refletirem o que se trabalha nas escolas – e sua fidedignidade – a propriedade de seus resultados terem um erro de medida aceitável. Isso parece ser, aliás, a condição para que as avaliações em larga escala conquistem a legitimidade política diante da comunidade dos profissionais da educação, sem a qual muito dificilmente se reverterá a situação em que a sala de aula é lugar onde menos se aproveita do que poderia ser conquistas de avaliações desse feitio.

*Ocimar Munhoz Alavarse é professor da Faculdade de Educação da Universidade de São Paulo

Autor

Ocimar Munhoz Alavarse