Realização do Enem 2014: abrangência da prova, que ano passado reuniu mais de nove milhões de alunos, teria concentrado as atenções do órgão

O Plano Nacional de Educação (PNE), sancionado pela presidente Dilma Rousseff em 2014, estipulou diversas tarefas que devem desembocar em breve no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). As principais são o monitoramento do cumprimento das próprias metas do plano através da produção de estudos e a implementação do Sistema Nacional de Avaliação da Educação  Básica (conhecido por Sinaeb), ainda não discutido pelo poder público. Mas o PNE vai além: estabelece que os resultados das provas padronizadas devem ser usados na melhoria de processos e práticas pedagógicas; que a avaliação não deve se restringir à proficiência dos alunos, já que os seus resultados devem ser contextualizados com indicadores sociais relevantes; e que é preciso garantir a transparência e o acesso público às informações técnicas de concepção e operação do sistema de avaliação.
Não é a primeira vez que o Inep amplia suas atribuições em decorrência da implementação de novas políticas educacionais (veja um resumo das funções assumidas pelo órgão no site de Educação). Mas o atual crescimento no escopo de atuação do instituto tem gerado dúvidas entre pesquisadores e educadores sobre a capacidade do órgão de assumir novas tarefas, sem que se invista no fortalecimento das ações já realizadas. Isso porque identificam-se, no meio educacional, diversos fatores que limitam a atuação do órgão no presente contexto. A reportagem de Educação ouviu pesquisadores, sete servidores ligados à Associação dos Servidores do Inep (Assinep), e ex-funcionários do instituto sobre o assunto. No caso da Assinep,  compilamos o que representou a ideia da maioria, e creditamos as informações ao órgão, como pediu a Associação. O presidente do Inep, Francisco Soares, foi convidado a debater essas questões com a reportagem, mas alegou problemas de agenda (leia nota da assessoria de imprensa em resposta às questões enviadas pela reportagem na página 70).
De maneira geral, os entrevistados apontam a necessidade de investimento em duas frentes de trabalho: o fortalecimento nas políticas de qualidade e maior transparência na comunicação das informações produzidas pelo órgão. “O Inep está virando um órgão operacional de produção de informação, e de uma informação que não tem relevância para a educação. Hoje o órgão é um prestador de serviços em avaliação, e isso não tem relevância do ponto de vista da política educacional”, avalia Maria Inês Pestana, ex-diretora de avaliação da Educação Básica (Daeb, 1995-2001 e 2010) e ex-diretora de estatísticas educacionais (Deed, 2004-2010) do Inep.
Qualidade e transparência
A qualidade das informações produzidas pelo Inep parece estar aquém do que o órgão pode oferecer à sociedade – mesmo no contexto de alguns esforços recentes da atual gestão para promover melhorias nesse sentido, como o lançamento do InepData e do novo painel do Ideb (detalhadas pelo órgão no  box  na pág. 70). Pesquisadores e servidores da Assinep criticam a ausência de autonomia do órgão e de transparência das metodologias utilizadas; a falta de detalhamento da forma como os dados são coletados; erros amostrais e não amostrais; além da carência de mecanismos que permitam a qualquer pessoa, fora de Brasília, acessar e cruzar os diferentes bancos de dados produzidos pelo órgão. Esses problemas, de acordo com as fontes ouvidas, dificultam a interpretação qualificada das informações divulgadas.
Em relação à comunicação são apontados problemas como a ausência de um calendário anual de divulgação. É recorrente o atraso na disponibilização dos resultados das avaliações, dos microdados e dos relatórios nacionais e pedagógicos. O último relatório nacional do Saeb, por exemplo, que permite ao usuário fazer a interpretação pedagógica dos dados, foi divulgado em 2003.
Organização de dados
Um exemplo emblemático da ausência de políticas de qualidade e de comunicação do Inep é o que ocorre com o Exame Nacional para Certificação de Competências de Jovens e Adultos (Encceja). Apesar de ter sido criado em 2001, as fragilidades da prova só vieram a público no fim de 2014, quando a associação civil Ação Educativa divulgou os resultados da pesquisa Educação de Jovens e Adultos: insumos, processos e resultados. Um dos principais resultados do levantamento é o de que o exame “foi absolutamente negligenciado no que se refere à organização de dados estatísticos e também com relação ao seu significado pedagógico”.
A pesquisa da Ação Educativa foi realizada em três frentes de trabalho – uma delas resultou na análise O Exame Nacional de Certificação de Competências de Jovens e Adultos – ENCCEJA: seus impactos nas políticas de EJA e nas trajetórias educacionais de jovens e adultos. De acordo com o relatório final, os pesquisadores não tiveram acesso ao conjunto dos microdados das edições do Encceja, apesar de a pesquisa ter sido financiada pelo próprio Inep, por meio de edital. A justificativa para a recusa na liberação foi a de que as bases não foram consolidadas.
Durante o trabalho de campo, os pesquisadores encontraram problemas de diferentes ordens. Várias séries de dados não puderam ser recuperadas ou nem mesmo existiam. Ao longo de quase 15 anos de existência do exame, foi observada instabilidade na aplicação, com investimento sempre maior na formulação e distribuição das provas do que na sistematização dos resultados para fins de pesquisa. Além disso, foram licitadas diferentes empresas para a realização de cada prova sem que houvesse a exigência de uma padronização na compilação dos dados com a finalidade de construir bancos de dados relacionados aos exames. Até o fechamento desta edição, os microdados das edições do Encceja que ocorreram entre 2001 e 2014 não estavam disponíveis no site do órgão.
A assessoria de imprensa do Inep não respondeu se os problemas encontrados no Encceja ocorrem em outras ações do órgão. No entanto, a Assinep confirma a falta de organização de algumas bases de dados, que resultam na falta de confiabilidade nos bancos existentes no Inep, geram problemas no atendimento ao público e mesmo a impossibilidade de produzir diagnósticos e recomendações a partir das informações coletadas de algumas avaliações.
Segundo eles, um relatório finalizado em dezembro de 2011 pelo Grupo de Trabalho dos Bancos de Dados da Diretoria de Avaliação da Educação Básica (Daeb) aponta a ausência das bases de dados da Prova Brasil 2005, do Encceja 2002 e 2005 e da Aneb 2005. A reportagem solicitou ao Inep esse levantamento, mas a assessoria informou que o relatório foi produzido “para dar suporte a futuras decisões da presidência” e que “esse não é um documento público”. De acordo com a Assinep, “a falta destas bases de dados prejudica estudos longitudinais, além de evidenciar um gravíssimo problema de gestão da autarquia pela falta de controle na entrega destas bases de dados pelas empresas aplicadoras”.
Boas práticas
Para evitar problemas como os encontrados na realização do Encceja, órgãos internacionais com atuação semelhante à do Inep têm criado um código de ética e de boas práticas com as diretrizes, princípios e indicadores que devem ser cumpridos na produção das estatísticas oficiais. Exemplo disso é o Código de Conduta para as Estatísticas Europeias. O documento foi aprovado em 2005 pelo Gabinete de Estatísticas da União Europeia (Eurostat) com o propósito de melhorar a confiança nas autoridades estatísticas. Em 2011, o Código foi revisado e aperfeiçoado. Essa iniciativa serviu de base para a elaboração de outros dois documentos: o Código Regional de Boas Práticas das Estatísticas para a América Latina e o Caribe (2012) e o Código de Boas Práticas Estatísticas do IBGE (2013).
Identificando problemas
Uma rápida consulta ao código de conduta do IBGE evidencia o tamanho dos desafios para a implementação de uma política de qualidade no Inep – a começar pela aparente inexistência de um documento que regule as suas práticas de estatísticas (não é possível encontrar nenhum documento de iniciativa similar ao do IBGE no site do Inep). Nesse cenário, não surpreende, por exemplo, que os erros amostrais (erro padrão das avaliações amostrais) e não amostrais (erros não aleatórios detectados durante o processo de aplicação das provas) das avaliações educacionais, um dos problemas apontados por pesquisadores e pela Assinep, não sejam reportados ou discutidos pelo Inep de forma sistemática. Segundo o código de conduta do IBGE, esses dados precisam ser analisados, documentados e divulgados.
De acordo com Maria Inês Pestana, a prática de abertura desses dados foi adotada pelo instituto até o início dos anos 2000 – hoje ela parece estar em desuso. “Publicavam-se os modelos de amostra, calculava-se erro de tudo. Hoje não sabemos quais são os problemas, nem sequer se há problemas”, diz. A própria Assinep reconhece o problema: “após a criação da Prova Brasil em 2005, parece que as avaliações deixaram de enfatizar o diagnóstico da educação brasileira, para priorizar a responsabilização de agentes educacionais e a produção de indicadores-síntese, tais como o Ideb, que passaram a adquirir um fim em si mesmos. Em decorrência disso, foram relegadas a segundo plano importantes atividades, tais como a produção de indicadores contextuais, a elaboração de relatórios técnico-pedagógicos, a divulgação bem documentada de informações educacionais”.
Eles mencionam que uma das metas originais do sistema de avaliação era, sobretudo, diagnosticar o aprendizado do alunado brasileiro. “Exemplo disso é o Relatório Nacional do Saeb 2003 – talvez o mais completo que já tenhamos publicado – o qual contemplava do desenho amostral à análise de proficiência, passando por um estudo do perfil do alunado e até mesmo por uma discussão a respeito das desigualdades raciais na educação”, dizem.
O código de conduta do IBGE também indica que as estatísticas oficiais devem ser elaboradas com metodologias e processos imparciais e transparentes. Simon Schwartzman, sociólogo e ex-presidente do Instituto Brasileiro de Geografia e Estatística (IBGE), acredita que o Inep é transparente, já que muitos dados importantes – como os microdados – estão acessíveis a qualquer pessoa no site do instituto. Mesmo assim, ele enxerga uma “cozinha interna” de metodologias que é desconhecida pela sociedade. “Um exemplo: usa-se a Teoria da Resposta ao Item (TRI) com a justificativa da comparabilidade dos resultados das provas ao longo dos anos. Mas não se sabe exatamente como esse uso é feito, como essa teoria se apropria dos itens da prova. Nesse sentido, esse processo de ‘cozinha’ precisa ser mais aberto”, aponta.
Outra recomendação do documento do IBGE é que “as estatísticas devem ser coerentes e conciliáveis ao longo do tempo sempre que possível”. Neste ponto, o Inep acumula problemas, como o já mencionado sobre o Encceja. Renan Pieri, economista que estuda educação há dez anos e professor da Universidade Mackenzie, acrescenta a impossibilidade de cruzar os dados do Censo Escolar com os dados das avaliações, já que o código do aluno de um banco de dados não bate com o de outro. Isso acontece porque, por lei, o CPF do aluno não pode ser disponibilizado publicamente.
Acesso à informação
A assessoria de imprensa do Inep informou à reportagem que a portaria número 467 de 19 de setembro de 2014 permite aos pesquisadores solicitar acesso aos dados com o identificador individual do aluno. Entretanto, esse acesso só é viabilizado caso o pesquisador se dirija até o Inep e trabalhe em uma sala dentro do órgão. Assim, o pesquisador só pode consultar e trabalhar com os dados nesse espaço, o que significa que ele não pode levá-los para o seu próprio espaço de trabalho. Na avaliação de Pieri, a ‘salinha’ tem dois problemas. “O primeiro é que precisa ter um financiamento compatível para custear suas viagens a Brasília. O segundo é que ela pressupõe que a manipulação dos bancos de dados ocorre instantaneamente após concebido o projeto científico”, diz o economista. Segundo ele, muitas ideias ou descobertas surgem durante o processo de tratamento dos dados, que estaria sendo prejudicado pelo procedimento instituído pela portaria.
Nos Estados Unidos, o Instituto de Ciências Educacionais, responsável pela aplicação do National Assessment of Education Progress (Naep), um dos exames mais importantes do país, também restringe o acesso ao identificador individual do aluno nos dados. Para contornar a proteção à privacidade dos estudantes, também estipulada por lei, o instituto solicita aos interessados que peçam uma licença para usar os dados. Uma vez que a licença é aprovada, o pesquisador recebe pelo correio o material em um CD-ROM com os dados criptografados (é necessário ter uma senha para acessar os dados), juntamente com cópias dos contratos firmados entre o instituto e o interessado e um documento que estipula as condições de segurança para o uso dos dados.
Gabriela Moriconi, pesquisadora da Fundação Carlos Chagas (FCC) e ex-coordenadora geral de instrumentos e medidas educacionais do Inep, faz uma sugestão nesse sentido: a criação de máscaras que substituam os dados sigilosos. “Seria um procedimento simples: basta que o Inep solte os bancos de dados já com uma máscara. Porque não precisamos saber quem é o estudante, nem o CPF. Com isso, todos teriam acesso às mesmas informações”, sugere.
Divulgação
O código do IBGE também toca em pontos relacionados à divulgação da  comunicação de dados. O documento diz, por exemplo, que “o calendário de divulgação das estatísticas oficiais deve ser anunciado com antecedência adequada para o conhecimento dos usuários”. No caso das estatísticas oficiais da educação, esse calendário parece ser inexistente – se existe, não é público, nem respeitado, como ocorre de forma geral com o IBGE. Os microdados da edição de 2013 da Prova Brasil não foram publicados até o fechamento dessa reportagem. Os resultados da Avaliação Nacional da Alfabetização (ANA), criada em 2013, não foram divulgados até o momento (a promessa era de que eles seriam anunciados em junho de 2014).
“Além do atraso, o calendário das avaliações parece estar relacionado ao calendário eleitoral”, diz Renan Pieri. Gabriela acrescenta que o estabelecimento de uma política de divulgação dos dados fortaleceria o Inep como instituição. “O ideal é definir as datas e quais informações, qual nível de detalhe e com que tipo de explicação serão divulgadas, e definir também quando serão divulgados os boletins pedagógicos, como faz o Pisa. Isso é básico para a qualidade do trabalho técnico e até para que o órgão possa se resguardar de críticas do tipo: não soltou por quê? É um problema técnico ou político?”, diz.
Um ponto de divergência entre os entrevistados é se o Inep deve ou não desenvolver pesquisas sobre educação ou apenas realizar as avaliações e o levantamento das estatísticas da educação básica e superior. Sobre esse tema, a Assinep lembra que a pesquisa é uma das missões do Inep, e se queixam de que ela está sendo deixada de lado por conta das avaliações. “O Inep acumula informações e competências para atuar, com qualidade, nessas três grandes áreas: avaliação, estatísticas e pesquisas”, apontam. Em uma visão oposta, Maria Helena Guimarães Castro, que presidiu o instituto de 1995 a 2002, afirma que o Inep não conseguirá dar conta das possibilidades de pesquisa que existem na área de avaliação. “Os técnicos do Inep não têm de ter uma defesa corporativa da sua autonomia na análise dos resultados. Se é essa a demanda deles, ela está errada. Eles têm de trabalhar junto com as universidades, com os centros de pesquisa. Têm de ter autonomia para a produção de editais, na escolha das metodologias, na divulgação de resultados, etc. Eles têm de ter outra autonomia.”
Atualmente, está em tramitação em caráter conclusivo na Câmara dos Deputados o PL 4372/2012, que cria o Insaes (Instituto Nacional de Supervisão e Avaliação da Educação Superior). Trata-se de uma nova autarquia vinculada ao Ministério da Educação, que será responsável pela avaliação, regulação e fiscalização do ensino superior no país. Até o fechamento desta edição, o PL também altera a missão do Inep, trocando a sua atribuição de avaliar a Educação Básica pela avaliação da aprendizagem e transferindo suas responsabilidades sobre a avaliação do ensino superior para o novo órgão. Até o momento o Inep são se posicionou publicamente sobre o impacto da possível aprovação na missão e no trabalho do órgão.
Carreira e qualificação
No Inep, a composição de um quadro qualificado e permanente tem sido um desafio, apontado como uma outra limitação que pode estar influenciando a rotina de trabalho e a qualidade da informação oferecida pelo instituto à sociedade. Até pouco tempo atrás, a maior parte das pessoas que trabalhava no instituto era constituída de consultores. Somente em 2008 e 2010 foram realizados os primeiros concursos para a carreira de pesquisadores. Contudo, as novas contratações não foram suficientes para solucionar o problema. Em dezembro de 2013 havia apenas 449 servidores, um número menor do que o de 2009. Neste ano, o relatório anual de gestão do Inep já indicava a necessidade de o órgão ter idealmente 620 funcionários.
O problema parece estar na baixa atratividade da carreira, que dificulta a retenção de profissionais. Em 2010, por exemplo, foram 102 servidores ingressos, contra 116 egressos. O próprio Inep reconhece, em seu relatório Quadrilátero da Gestão Educadora, sistematizando as práticas de Gestão 2012/2013, que o plano de carreira do órgão ainda não é atrativo o suficiente para manter servidores e que “cerca de 50% dos servidores chamados no último concurso público (2012) já buscaram outros espaços em carreiras mais atrativas”.
A rotatividade dos servidores também afeta a capacidade do Inep de acumular conhecimentos para aperfeiçoar e inovar suas ações. Em sua tese de dissertação de mestrado (Gestão da Informação e do Conhecimento: Desafios, Abordagens e Perspectivas do Inep), Alessandro Borges Tatagiba, que também é servidor do órgão, afirma que “os servidores acabam levando consigo toda uma expertise em avaliações e informações educacionais, construída no Inep, como fruto também de um investimento financeiro do instituto para a capacitação dos servidores”.
Maria Inês enxerga que o problema está mais presente na equipe que cuida de avaliação, e menos na que realiza os censos da Educação Básica. O quadro se complica ainda mais, diz, quando se observa a inexistência de formação para avaliação educacional na graduação. “O país tem muitos especialistas em avaliação educacional que não têm ideia do que uma medida, um resultado, representa. E a vivência que a equipe de avaliação do Inep tem é muito nova. Não tem ninguém com mais de dez anos de casa”, diz.
Casamento desfeito
A formação em serviço, que, segundo ela, costumava ocorrer, foi sacrificada com o aumento de atribuições do Inep em relação às avaliações de larga escala. “A formação de quem chega a avaliação não é suficiente para atuar na estatística, embora alguns dominem a parte conceitual. Outros sabem estatística, mas não discutem o desempenho cognitivo. Esse casamento era feito no Inep, mas não ocorre mais porque não há tempo de olhar a avalição de forma mais ampla.” Para a Assinep, “o Inep viu-se desafiado a investir cada vez mais fortemente em atividades de ordem logística de alta complexidade”. Se o investimento garantiu segurança e sigilo dos exames e avaliações, gerou também “uma concentração da presença de pesquisadores e outros servidores em atividades de cunho mais burocrático”.
Em que pesem as iniciativas para fortalecer institucionalmente o Inep nas duas últimas décadas, que representam avanços importantes do aperfeiçoamento das estatísticas educacionais, das avaliações externas e da ampliação do seu quadro técnico de servidores, os especialistas são unânimes: é preciso fazer mais. Para Gabriela, seria fundamental a criação de um código de ética de boas práticas estatísticas, com uma política clara de qualidade e de comunicação. “O documento produzido pela Eurostat seria uma boa referência.”
Para Maria Inês, “produzir o resultado do Enem é uma tarefa muito restrita para potencialidade e para as necessidades de informação analisada sobre as políticas educacionais”. Maria Helena concorda que o Inep não pode seguir com um grande investimento na produção de dados, sem que eles revertam em “boas evidências e boas análises para que as políticas públicas possam ser aprimoradas”. Sem responder aos problemas relacionados à autonomia, à qualidade e comunicação dos dados, à transparência e à qualificação e retenção do quadro técnico do Inep, dificilmente o órgão dará conta de cumprir o PNE, que atribui ao instituto a responsabilidade de acompanhar a execução das metas do plano nos próximos dez anos.