Pesquisadores e militantes criticam sistema de avaliação brasileiro e suas referências internacionais
17/01/2014
Cátia Guimarães - Escola Politécnica de Saúde Joaquim Venâncio (EPSJV/Fiocruz)
Acaba de ser divulgado, no início de dezembro, o resultado do Programa Internacional de Avaliação de Estudantes (Pisa), uma iniciativa da Organização para a Cooperação e Desenvolvimento Econômico (OCDE) que, a cada três anos, produz um ranking dos países com melhor educação. A nota é dada a partir de uma prova aplicada em alunos na faixa dos 15 anos que engloba as áreas de leitura, matemática e ciências. Na comparação com 65 países, o Brasil ficou em 58º lugar. Todos os jornais noticiaram e especialistas de diversas tendências comentaram o desempenho do país.
Processo semelhante, só que em escala menor, acontece a cada divulgação do resultado do Índice de Desenvolvimento da Educação Básica (Ideb). Nesse caso, o ranking é de estados, municípios e escolas. O cálculo é feito pelo Instituto Nacional de Estudos e Pesquisas Anísio Teixeira (Inep), do Ministério da Educação, a partir da nota que os alunos recebem nas provas de português e matemática que compõem o Sistema de Avaliação da Educação Básica (Saeb) e dos dados sobre aprovação escolar recolhidos no Censo Escolar. A cada nova edição, todos os jornais noticiam, destacam os melhores colocados e comentam as experiências de sucesso.
De fato, a reação é em cadeia: municípios e estados lutam para melhorar o seu Ideb, e o governo federal se esforça para melhorar a posição do Brasil no Pisa. “A lógica é a de que cada instância evolua de forma a contribuir, em conjunto, para que o Brasil atinja o patamar educacional da média dos países da OCDE”, diz o site do Inep. O mesmo texto explica que a meta nacional para o Ideb – ‘nota’ 6 até 2021 – foi calculada como equivalência ao nível de “qualidade educacional” da média dos países desenvolvidos. Para isso, foi inclusive produzida uma “técnica de compatibilização entre as proficiências observadas no Pisa e no Saeb”, como explica o site. O problema é que, com gestores, professores e alunos envolvidos nessa corrida de obstáculos, pouco se tem parado para avaliar se existe consenso sobre a concepção de qualidade da educação que embasa esses processos de avaliação.
O relatório da 1ª Conferência Nacional de Educação (Conae), realizada em 2010, fez apontamentos importantes sobre o processo de avaliação da educação no Brasil. “A avaliação deve considerar o rendimento escolar, mas, também, situar as outras variáveis que contribuem para a aprendizagem, tais como: os impactos da desigualdade social e regional na efetivação e consolidação das práticas pedagógicas, os contextos culturais nos quais se realizam os processos de ensino e aprendizagem; a qualificação, os salários e a carreira dos/das professores/as; as condições físicas e de equipamentos das instituições; o tempo de permanência do/da estudante na instituição; a gestão democrática; os projetos político-pedagógicos e planos de desenvolvimento institucionais construídos coletivamente; o atendimento extraturno aos/às estudantes que necessitam de maior apoio; e o número de estudantes por professor/a em sala de aula, dentre outros, na educação básica e superior, pública e privada. A avaliação deve, ainda, contribuir para a formação e valorização profissional. Deve ter caráter participativo, fundamentado em princípios éticos, democráticos, autônomos e coletivos”, diz o texto, que continua: “Por isso, a efetivação de uma política nacional de avaliação articulada ao subsistema deve ser entendida como processo contínuo e que contribua para o desenvolvimento dos sistemas de ensino, e não para o mero ‘ranqueamento’ e classificação das escolas e instituições educativas – tanto as públicas, quanto as privadas –, e do processo ensino-aprendizagem, resultando em uma educação de qualidade socialmente referenciada”. Como essas questões não entraram em discussão – e sequer constam do Plano Nacional de Educação que tramita no Congresso, que apenas reafirma o papel do Ideb –, o tema deve voltar na 2ª Conae, em 2014.
O que é qualidade da educação?
De acordo com o coordenador da Campanha Nacional pelo Direito à Educação, Daniel Cara, desde a década de 1990, na gestão do ex-ministro da Educação Paulo Renato Souza, o Brasil vem adotando esses processos de avaliação padronizados, que têm o Pisa como referência. Segundo ele, esse modelo parte daquilo que na ciência política se chama de “individualismo metodológico”, ou seja, pressupõe-se que, com o desempenho de um aluno, consegue-se avaliar o conjunto do sistema, desconsiderando o que ele chama de “variáveis ambientais”. “Isso pode até ser cientificamente verdade, dependendo dos pressupostos. O problema é que o desempenho desse aluno está altamente influenciado pelas variáveis ambientais em que ele se coloca e isso precisa estar esclarecido num processo de avaliação que possa ajudar a modelar políticas públicas”, questiona. Procurado pela Poli, o Inep, que coordena o Pisa e a avaliação educacional no Brasil, não teve disponibilidade para uma entrevista.
Mas, no seu site, o instituto informa que o Pisa também “coleta informações para a elaboração de indicadores contextuais, os quais possibilitam relacionar o desempenho dos alunos a variáveis demográficas”. Essa “coleta” é feita a partir de um questionário respondido pelos alunos – além de uma enquete distribuída para os pais que quiserem responder. Essas informações, no entanto, não influenciam a nota dos países no ranking mundial – que é o objetivo buscado pelo esforço dos governos. Esses dados, também padronizados, geram novos rankings sobre os países em que os alunos mais declaram se sentir bem na escola ou gráficos sobre a expectativa dos pais em relação ao futuro dos filhos, por exemplo.
Na raiz da crítica a esse sistema, está uma discussão sobre o que se considera qualidade da educação. “Ao se preocupar fortemente com o output, com o resultado da saída do sistema, com aquilo que se entende que os alunos aprendem, você esquece todo o resto, abandona toda e qualquer perspectiva de educar para a cidadania, para o mundo do trabalho, para o desenvolvimento pessoal e individual”, diz Daniel Cara. O professor da Universidade Estadual de Campinas (Unicamp) Dermeval Saviani lembra que, ao contrário do que tem sido implementado no Brasil, as teorias pedagógicas mostram que a avaliação precisa acompanhar o processo, não pode, portanto, se dar apenas sobre o produto final.
O coordenador da Campanha Nacional pelo Direito à Educação não nega que as questões que compõem a matriz de avaliação usada pelo Pisa e pelas provas replicadas no Brasil sejam pertinentes, mas não tem dúvidas de que a modelagem das políticas públicas de educação não pode se limitar a elas. “É como naquele clipe do Pink Floyd, em que os alunos entram numa máquina, são padronizados e perdem totalmente a identidade”, compara. E completa: “Qualquer outro saber de que os alunos precisam é esquecido em benefício de uma matriz de saberes que é importante, mas insuficiente para dar conta do que a gente considera qualidade da educação”, diz Daniel Cara.
Ideb
No caso da educação básica, que corresponde ao maior ciclo da educação escolar, o resultado desse sistema se expressa no Ideb. Para Daniel Cara, o principal problema desse sistema é que ele não tem sido capaz de dar um retrato mais complexo da educação no país, que possa subsidiar mudanças efetivas nas políticas educacionais. “Um sistema de avaliação baseado num índice como o Ideb mostra o que todo mundo sabe: que alunos com pais com melhor situação socioeconômica vão ter um desempenho melhor por conta daquilo que chamamos de ‘efeito família’. Basear um sistema de avaliação nesse índice é cometer um erro enorme porque não vamos descobrir por que algumas escolas não vão bem, por que as escolas com alunos que têm pais com baixa escolaridade ou estão localizadas em bolsões de violência não conseguem aprimorar o seu ensino”, critica, sugerindo: “Não se pergunta, por exemplo, qual o grau de formação dos professores, quais os insumos e infraestrutura de que as escolas dispõem, qual a quantidade de alunos por turma. Ou seja, não se analisam outros elementos que são importantes para se ter um quadro do que precisa ser melhorado para se superar os limites impostos pela baixa escolaridade dos pais e famílias que vivem em situação de vulnerabilidade”. Segundo ele, só com um sistema nacional de avaliação da educação básica que considere elementos como esses será possível identificar onde as políticas públicas devem investir para superar o ponto de partida dos alunos. “Isso daria maior possibilidade de a educação ser uma política equalizadora, não uma política que perpetua a desigualdade, como é atualmente”, conclui.
Inversão
Mais do que elencar princípios, essa crítica apresenta um diagnóstico: em vez de observar e analisar o quadro da educação no país, os sistemas de avaliação têm determinado as práticas de professores e alunos e as decisões dos governos. “O dia a dia em sala de aula está baseado nos descritores da Prova Brasil”, diz Daniel Cara.
Um exemplo concreto dessa inversão, na leitura de Dermeval Saviani é o aumento do uso dos chamados sistemas de ensino pelas escolas públicas no Brasil. Ele reconhece as denúncias de que a compra de pacotes educacionais privados pode ser uma fonte de desvio de recursos públicos, mas lembra também o argumento que tem sido apresentado por muitos gestores para dispensarem os livros distribuídos gratuitamente pelo MEC. “A justificativa é que, com esses pacotes, eles conseguem aumentar um pontinho no Ideb. Já os livros do MEC não permitem isso, o que é compreensível porque estes são selecionados por critérios das comissões de analistas, que veem a qualidade do livro e não estão preocupados se ele vai ou não auxiliar naquelas provas. Esses pacotes são voltados diretamente para isso porque essas empresas, que se originaram de cursos pré-vestibulares, têm know how de treinar para a prova”, diz. Segundo ele, esses pacotes são montados a partir da análise das provas que compõem o sistema de avaliação e já estão sendo criados, inclusive, cursos para treinar os alunos para a Prova Brasil, o Enem [Exame Nacional do Ensino Médio] e o Enade [Exame Nacional de Desempenho de Estudantes]. “Já se tinha clareza de que os cursos pré-vestibulares eram uma excrescência, tanto que as próprias universidades começaram a mudar os vestibulares para escapar desse mecanismo de distorção. Mas agora o chamado sistema de avaliação aplica isso”, denuncia. E completa: “Aquilo que era uma excrescência vira a filosofia da educação, de todo o ensino do país”.
A referência internacional
A correspondência entre o sistema de avaliação da educação que vem sendo implementado no Brasil e um modelo internacional, representado principalmente pelo Pisa, da OCDE, é não apenas consensual como utilizada como argumento para defender essa estrutura, compreendida como um alinhamento aos padrões dos países mais desenvolvidos. Mas o fato é que esse modelo padronizado tem enfrentado críticas ou relativizações também nesses países.
Quando foi diretor da Campanha Global pela Educação, Daniel Cara acompanhou o processo de discussão do Pisa e diz que não havia consenso sobre pontos importantes do modelo que esse sistema de avaliação incentiva. Ele exemplifica: “O grupo escandinavo defendia fortemente que o professor tem que ter carreira, plena estabilidade e ganhar um salário decente. Já Estados Unidos, Inglaterra e Canadá – este um pouco constrangido – defendiam que o professor tinha que ter educação por mérito. Agora, eu pergunto: qual educação tem melhor qualidade, a dos escandinavos ou a dos EUA? Claro que é a dos escandinavos!”. Mas o discurso de ‘modernização’ da educação em diversas iniciativas no Brasil diz o contrário: recentemente, a Finlândia foi exatamente a referência que o prefeito do Rio de Janeiro usou para defender um plano de carreiras que foi criticado pelos profissionais do município, entre outras coisas, por incentivar a meritocracia. “Esse não é o modelo da Finlândia”, garante Daniel Cara, que completa: “Eles usam o Pisa muito mais como propaganda finlandesa vinculada ao Ministério de Relações Exteriores do que como parte do debate educacional em si”.
Também nos EUA já começam a ganhar espaço pesquisas que põem em xeque a qualidade da formação dos jovens dessa geração que teve uma grande evolução nos exames padronizados. E a maior e mais conhecida crítica a esse modelo que se internacionalizou é o livro ‘Vida e morte do grande sistema escolar americano: como os testes padronizados e o modelo de mercado ameaçam a educação’, escrito por Diane Ravitch, ex-secretária adjunta de educação, líder do movimento pela criação de um currículo nacional nos Estados Unidos no governo Bush e indicada por Bill Clinton para a coordenação dos institutos responsáveis pelos testes federais. Em entrevista ao jornal O Estado de São Paulo em 2010, quando perguntada por que “mudou de ideia” sobre a reforma que ajudou a implementar, ela respondeu: “Eu apoiei as avaliações, o sistema de accountability (responsabilização de professores e gestores pelo desempenho dos estudantes) e o programa de escolha por muitos anos, mas as evidências acumuladas nesse período sobre os efeitos de todas essas políticas me fizeram repensar. Não podia mais continuar apoiando essas abordagens. O ensino não melhorou e identificamos apenas muitas fraudes no processo”. Tratando mais especificamente do sistema de avaliação, Diane completou: “Avaliações padronizadas dão uma fotografia instantânea do desempenho. Elas são úteis como informação, mas não devem ser usadas para recompensas e punições, porque, quando as metas são altas, educadores vão encontrar um jeito de aumentar artificialmente as pontuações. Muitos vão passar horas preparando seus alunos para responderem a esses testes, e os alunos não vão aprender os conteúdos exigidos nas disciplinas, eles vão apenas aprender a fazer essas avaliações”.
