1. INTRODUÇÃO

Desde o surgimento da política de avaliação em larga escala no Brasil tem-se feito um monitoramento sistemático sobre o desempenho escolar, no que diz respeito à Matemática e à Língua Portuguesa, dos estudantes brasileiros. O mais utilizado, neste sentido, tem sido o Índice de Desenvolvimento da Educação da Educação Básica (IDEB) que estabelece metas para cada ciclo de avaliação a serem alcançadas até 2021, conforme previsto pelo Plano Nacional de Educação^[1] (PNE 2014-2024).

Dados do IDEB^[2], relativos a 2017, indicam que o Brasil não irá alcançar as metas estabelecidas do PNE. Em contraposição há exemplos, tanto em escolas Federais, como Estaduais e Municipais, que demonstram o alcance dos ditos “bons resultados”, ou seja, mostram o alcance e até a superação das metas que foram estabelecidas pelo PNE. Isto posto, é possível aventar-se alguns questionamentos sobre o assunto, tais como, o quão significativamente “bons” são esses resultados no que tange às aprendizagens dos estudantes brasileiros? É possível questionar a qualidade educacional dos que apresentam “bons resultados no IDEB”? Este artigo intenciona apresentar uma interpretação sobre o desempenho de estudantes brasileiros nas avaliações em larga escala em Matemática realizadas no Brasil e mostrar as limitações do IDEB como principal indicador de qualidade educacional. Consequentemente, problematizar sobre propagandas feitas em torno do ranking do IDEB que, por sua vez, oportunizam ocultação de baixos resultados educacionais e elaboração de informações “enviesadas” com vistas aos possíveis ganhos frente à sociedade (ganhos financeiros ou de prestígio moral, por exemplo).

Para tanto este artigo apresenta-se dividido em três seções: a primeira tem por objetivo apresentar a Matriz de Referência de Matemática do Sistema de Avaliação da Educação Básica (SAEB) para mostrar em que habilidades os estudantes são avaliados; a segunda seção discute sobre os limites do IDEB para o uso nas interpretações de desempenho em provas no cotidiano escolar e qualidade da educação tendo em vista, principalmente, as variáveis utilizadas para a construção deste índice; a terceira e última seção apresenta um estudo sobre como a realidade se apresenta em termos de desigualdade de desempenho em Matemática no Brasil, considerando lugares onde as metas do IDEB foram alcançadas. Finalmente, são apresentadas conclusões e reflexões gerais sobre o trabalho.

2. O QUE SE AVALIA EM MATEMÁTICA E COMO FUNCIONA O IDEB

2.1. As matrizes de referência do SAEB e o desempenho dos estudantes

É inegável a importância de um sistema de avaliação como o SAEB no cenário da educação no Brasil. Este sistema, alinhado ao Plano Nacional de Educação^[3] (PNE – 2014/2024) e com participação de instituições da sociedade civil, tem permitido clareza sobre a situação educacional do Brasil e criado possibilidades para planos de intervenção com vistas à melhoria da qualidade educacional brasileira. Além da aplicação de provas de proficiência em Língua Portuguesa e Matemática, para estudantes da Educação Básica (5. e 9. ano do Ensino Fundamental e 3. ano do Ensino Médio), os questionários SAEB (em denominações anteriores, Aneb^[4] e Anresc^[5],[6]) permitem obter informações sobre estudantes, professores de Língua Portuguesa e Matemática, diretores e sobre a escola. Esses questionários são instrumentos complementares para a análise do contexto no qual a aprendizagem estudantil está associada.

Para os estudantes, os questionários contêm mais de 50 (cinquenta) questões que buscam informações sobre: características sociodemográficas, nível socioeconômico, capital cultural, capital social entre outras como o hábito de estudos. Para os professores, os questionários apresentam mais de 120 (cento e vinte) questões com propósito de levantar informações relativas à formação inicial e continuada; hábitos de leituras; hábitos culturais; percepções sobre violência; percepções relacionadas a expectativa de aprendizagem dos estudantes; práticas pedagógicas entre outras. Para os diretores, o questionário é composto com mais de 100 (cem) questões a fim de levantar informações sobre: formação inicial e continuada; políticas educacionais; ações e programas escolares; recursos financeiros que chegam na escola; percepções sobre violência, entre outras. Além desses questionários, há ainda um outro questionário preenchido por um aplicador externo para obter informações sobre infraestrutura, segurança e condições dos recursos pedagógicos.

Considerando todos estes instrumentos, é notável que apenas um deles, de modo geral, tem sido alvo de maior atenção: as provas que aferem o desempenho escolar em Língua Portuguesa e Matemática. A prova de Matemática, por exemplo, tem quatro temas, e dentro de cada tema, há um conjunto de descritores que expõem as habilidades esperadas pelos estudantes dentro de cada tema. Alguns descritores^[7] que indicam as habilidades esperadas no 5. ano também se apresentam para o 9. ano e 3. ano do Ensino Médio, sendo diferenciados em cada um dos anos por um aumento de seus níveis de complexidade, respectivamente. (Brasil, 2008a). Os itens podem ser compreendidos como situações-problema nas quais são avaliadas habilidades de “observação, estabelecimento de relações, comunicação (diferentes linguagens), argumentação e validação de processos, estimulando formas de raciocínio, como intuição, indução, dedução e estimativa.” (Brasil, 2018b, p.29). Essas provas têm por objetivo medir a proficiência^[8] dos estudantes nas matérias avaliadas e, para tanto, utiliza-se uma escala de proficiência que vai de 0 a 500 pontos, com média 250 e desvio-padrão 50, no ano de referência (1997).

Com base na Teoria de Reposta ao Item (TRI), cada item tem um conjunto de parâmetros que o define em termos de grau de discriminação, dificuldade e acerto ao acaso. Assim, cada item apresenta uma dificuldade intrínseca que não depende do estudante, portanto, com um conjunto de itens pode-se inferir sobre a proficiência dos participantes da prova. Desta forma pode se ter uma Matriz de referência indicando os conhecimentos que são esperados em cada ano no qual é procedida a avaliação.

Na Figura 1, trazemos um exemplo da escala de proficiência em Matemática, composta por: domínios, conhecimentos, descritores e a escala evidenciando que um mesmo descritor (habilidade) pode ter diferentes níveis de dificuldade. Por exemplo, o segundo domínio que aparece na Figura 1 incide sobre Grandezas e Medidas com conhecimentos como: Utilizar sistemas de medidas; Medir grandezas e Estimar e comparar grandezas.

Figura 1
Matriz do SAEB para o 9o Ano do Ensino Fundamental.
Fonte: Escala SAEB de Matemática para o 9o ano, com gradação de cores indicando diferentes níveis de proficiência. Disponível em: http://www.educadores.diaadia.pr.gov.br/arquivos/File/saep/matematica/saep_mat_9ef/imags/tabela.jpg

Quanto ao conhecimento sobre sistemas de medidas, a Figura 2 mostra em detalhe como funciona a “régua” de proficiência na qual estudantes com menos de 100 pontos não desenvolveram habilidades para esta competência. A partir desta pontuação observa-se a alteração da cor na escala, o que indica que o estudante tem proficiência diferente e que esta vai aumentando conforme aquele torna-se mais habilidoso.

Figura 2
Matriz do SAEB para o 9o Ano do Ensino Fundamental.
Fonte: http://www.educadores.diaadia.pr.gov.br/arquivos/File/saep/matematica/saep_mat_9ef/internas/escala.html#identFig

No Quadro 1, podemos perceber que alguns descritores surgem em todos os anos, com a diferença quanto ao nível de dificuldade. Um exemplo são os descritores D1, D2, D3, D4 e D5 do tema Espaço e Forma, que estão presentes nos três anos e escolaridades da Educação Básica (5. ano e 9. ano do Ensino Fundamental e 3. ano do Ensino Médio).

A escala do SAEB de Matemática foi dividida em 10 níveis para facilitar a interpretação pedagógica dos resultados nas matérias avaliadas. No caso da Matemática, a escala pode ser vista no Quadro 3, a seguir. Assim, uma das grandes vantagens de ter uma única “régua” para toda a Educação Básica consiste na possibilidade de comparar, ao longo dos anos, ou do mesmo ano, a quantidade de estudantes em um dado de nível de proficiência. Com esta régua pode-se perceber que é possível ter estudantes do 9. ano com desempenho esperado para o 5., ou, estudantes do 3. ano com desempenho esperado para o 9. ano. Deste modo, uma única “régua” para toda a Educação Básica permite saber se os estudantes estão com desempenho adequado para a sua etapa de avaliação. Desta forma, para o 5. ano, estudantes que estejam na média da escala, nível 6, devem ter proficiência na faixa 250 – 274. Neste mesmo nível, espera-se que estudantes do 9. ano estejam na faixa 325 – 349 pontos e, do 3. ano do Ensino Médio, na faixa de 350 – 374 pontos. Além disso, uma escola pode verificar a pontuação dos estudantes, em determinado ano, e comparar com outros anos para perceber alguma evolução ou comparar o resultado de seus estudantes com estudantes de outras escolas do mesmo munícipio ou de outro lugar do Brasil.

Outra vantagem advinda do fato de se utilizar a Teoria de Resposta ao Item (TRI) reside na possibilidade de comparar os resultados dos estudantes de um ciclo de avaliação com resultados de outros anos de aplicação (Autor, 2000). Esta é a forma de compreender como as escolas, ou sistemas de ensino, estão contribuindo com o desempenho dos estudantes.

Importa enfatizar que a Matriz de referência é basilar para a elaboração dos itens dos testes, e estes representam em torno 60% do currículo dos estudantes, uma vez que o currículo escolar é mais amplo que a Matriz de referência. Sendo assim,

Torna-se necessário ressaltar que as matrizes de referência não englobam todo o currículo escolar. É feito um recorte com base no que é possível aferir por meio do tipo de instrumento de medida utilizado na Prova Brasil e que, ao mesmo tempo, é representativo do que está contemplado nos currículos vigentes no Brasil. (Brasil, 2008a, p.17)

Ou seja, os conteúdos demandados nas provas correspondem ao mínimo que um estudante deveria ter acumulado naquela etapa avaliada, em termos de habilidades e competências. Neste caso, é desejável que os estudantes possam concluir cada etapa do ensino com conhecimentos básicos necessários para uma vida com plena autonomia. Esta representa umas das grandes vantagens das avaliações em larga escala, qual seja, permitir à sociedade o conhecimento sobre o direito de aprendizagem dos estudantes.

Até aqui foram destacadas a estruturação e, consequentemente, as potencialidades da Matriz de Referência SAEB para análise de desempenho escolar por meio dos resultados das provas de larga escala, levando em consideração a escala de proficiência elaborada a partir da referida Matriz. Entretanto, na próxima seção será apresentado como esta Matriz e a escala de proficiência são utilizadas para compor o cálculo do IDEB e algumas possíveis limitações deste indicador para a compreensão do que diz respeito à qualidade educacional do Brasil.

2.2. CÁLCULO DO IDEB E LIMITAÇÕES PARA A COMPREENSÃO DA QUALIDADE EDUCACIONAL

É inegável a relevância do IDEB como um indicador componente do sistema de avaliação educacional do Brasil, no entanto, é necessário exercitar análises sobre o papel do IDEB como principal referência, por vezes única, para se compreender a qualidade da educação em nosso país. Segundo o Ministério da Educação:

O Ideb funciona como um indicador nacional que possibilita o monitoramento da qualidade da Educação pela população por meio de dados concretos, com o qual a sociedade pode se mobilizar em busca de melhorias. Para tanto, o Ideb é calculado a partir de dois componentes: a taxa de rendimento escolar (aprovação) e as médias de desempenho nos exames aplicados pelo Inep. Os índices de aprovação são obtidos a partir do Censo Escolar, realizado anualmente. (Brasil, s/d, s/p. Grifo nosso)^[9].

O IDEB foi criado em 2007 (Fernandes, 2007; 2008) e apresenta, de forma simples, um indicador que mostra fluxo (aprovação, repetência e evasão) e desempenho em Língua Portuguesa e Matemática. Fernandes (2007; 2008) registra que o IDEB pode ser calculado para uma escola, rede, estado ou mesmo para um país da seguinte forma:

IDEB_ij=N_ij*P_ij

onde $0\le N_j\le 10;0\le P_j\le 1;$ e $0\le {\text{IDEB}}_j\le 10$

i= ano do exame (Saeb e Prova Brasil) e do Censo Escolar;

Nij= nota média obtida das proficiências de Língua Portuguesa e Matemática, após serem padronizadas para um indicador entre 0 e 10, dos estudantes da unidade j e obtida no final da etapa de ensino em certa edição;

P_ij= indicador de rendimento com base na taxa de aprovação da etapa de ensino dos estudantes da unidade

A partir da compreensão do IDEB, por meio da descrição de sua elaboração (parâmetros e fórmula), há de se refletir sobre qual o alcance deste índice para análise da qualidade educacional brasileira tendo em vista que os parâmetros para o cálculo são relativos a proficiências médias, de resultados de provas únicas, anuais, censitárias e a taxa de aprovação dos estudantes em dada etapa. Documentos oficiais do MEC informam o IDEB como:

um indicador de qualidade educacional que combina informações de desempenho em exames padronizados (Prova Brasil ou Saeb) – obtido pelos estudantes ao final das etapas de ensino (4ª e 8ª séries do ensino fundamental e 3ª série do ensino médio) – com informações sobre rendimento escolar (aprovação).(Brasil, 2008b)

Assim, considerar o IDEB como um indicador de qualidade, implica aceitar que apenas duas dimensões da educação (rendimento e desempenho) advindas de resultados de um único teste anual e censitário dão conta de expressar, de modo satisfatório, um resultado da avaliação educacional brasileira e, de certa forma é, também, desconsiderar muitas outras variáveis do contexto intra e extraescolar que são fundamentais para esta mesma avaliação da qualidade educacional.

Além disso, o Índice de Desenvolvimento da Educação Básica, ainda que revele algum “desenvolvimento”, este pode ser insuficiente para mostrar todas as formas de desenvolvimento esperados dentro de um ambiente escolar. Assim, um indicador que tenha a pretensão de tratar de qualidade educacional precisa destacar questões voltadas ao nível do Estado, como a dimensão dos direitos, das obrigações e das garantias (Dourado, 2007) e ao nível do sistema (condições de oferta do ensino), nível da escola (gestão e organização do trabalho escolar), nível do professor (formação, profissionalização e ação pedagógica) e ao nível do aluno (acesso, permanência e desempenho escolar). Sendo assim, seria de se esperar um indicador que possa mostrar como essas variáveis podem se modificar, e, se apresentam algum tipo de desenvolvimento. Neste contexto, poderia se ter um indicador de qualidade. É importante destacar os fatores intra e extraescolar: não se pode falar de educação somente em relação a questões internas, uma vez que “a qualidade na educação não pode ser boa se a qualidade do professor, do aluno, da comunidade é ruim” (Gadotti, 2013).

Além do exposto, pode-se dizer que mesmo com as metas alcançadas, a aprendizagem pode apresentar problemas, posto que só trata de duas dimensões (desempenho e taxa de aprovação). Há uma limitação intrínseca ao IDEB: ser reducionista. Tal limitação advém da realidade de que o valor numérico não expressa claramente, e na totalidade, a informação contida no próprio indicador. Em outras palavras, somente com a leitura do valor numérico perde-se a informação sobre o quanto de desempenho foi obtido pelos estudantes ou, em que nível de desempenho os estudantes se encontram, por exemplo. Tão pouco é possível saber em qual disciplina obtiveram o melhor, ou pior desempenho, por meio deste indicador.

Entendendo que o resultado do IDEB é uma média aritmética, os valores dos extremos do rol de valores que compõem a média podem provocar um resultado distorcido comparado ao que ocorre com a maioria das notas dos estudantes. Assim, poucos estudantes com excelentes rendimentos podem produzir um viés sobre a nota, podem produzir uma nota considerada satisfatória quando a maioria apresenta nota inferior a isto. Por conta desta possibilidade, algumas escolas podem, inclusive, selecionar os estudantes com melhores desempenhos em avaliações internas para realizar a avaliação externa (SAEB) e elevar a nota média da escola resultante das provas de larga escala.

É relevante mencionar que os resultados do IDEB são divulgados pelos meios de comunicação listando-os em um ranking, no qual se confere destaque a classificação numérica a partir do valor do IDEB adquirido por cada escola, como uma espécie de “nota”. Tal procedimento desconsidera as relações de contexto, ao divulgar números que não refletem as várias dimensões da educação.

Ainda que possua pontos criticáveis, não se pode esquecer que este indicador tem sua relevância no contexto nacional da educação, e pode ser sujeito à “maldição” da Lei de Campbell, relativa a seguinte consideração:

Um indicador quantitativo, ao ser usado para a tomada de decisões, fica mais sujeito a manipulações e, assim, sua própria existência distorce e corrompe os processos que pretendia monitorar. (Sidorkin, 2016).

Muitas escolas perseguem estes resultados no IDEB, ignorando possíveis distorções na realidade e deixando de lado problemas como a infraestrutura; formação de professores; desigualdade de desempenho educacional; distorção idade-série; entre outros problemas educacionais. Sendo assim, o IDEB tem sofrido desta “maldição”, o que afeta a compreensão sobre qualidade educacional. Na próxima seção serão apresentados alguns resultados que mostram como se encontra a desigualdade educacional no Brasil, mesmo em lugares com bons indicadores no IDEB.

3. RESULTADOS

No Brasil muito destaque se confere aos rankings das escolas, seja pelos resultados do IDEB ou do Exame Nacional do Ensino Médio (ENEM), no entanto, nem sempre bons resultados do IDEB podem refletir que se alcançou a qualidade educacional, como já foi enfatizado nos debates sobre qualidade educacional. Por exemplo, os resultados apresentados pelo INEP, em relação aos dados do SAEB de 2017, apresentam um novo olhar ao colocar os níveis de aprendizagem do Quadro 3, em três categorias: Insuficiente, Básico e Adequado. A categoria Insuficiente indica que a nota situa-se entre os níveis 0 a 3; Básico, indica posição entre os níveis 4 a 6 e, Adequado, acima do nível 7. Pela Figura 2, no Ensino Fundamental o quadro apresenta-se preocupante, pois, no 5. ano, apenas 13% dos estudantes encontram-se no nível Adequado, 49% no Básico e 38% no Insuficiente. Para os demais anos (9. ano e 3. ano do Ensino Médio) a situação se agrava, como pode ser identificado na Figura 2. Nesta Figura, a quantidade de estudantes no nível Insuficiente aumenta do 5. ao 3. ano. No final do Ensino Médio, chega a 74%, indicando a finalização desta etapa da Educação Básica, por grande parte dos estudantes, com conhecimentos que deveriam ter sido aprendidos no 9. ano do Ensino Fundamental.

Figura 2
Comparação entre as três séries avaliadas pelo SAEB de 2017.
Fonte: INEP (2018).

Um dos critérios que se espera de padrões de qualidade, ao nível do aluno, é que se tenha uma quantidade maior de estudantes nos níveis Adequado e Básico, como forma de se garantir o direito constitucional à aprendizagem, no entanto, como será apresentado adiante, esta não corresponde a uma realidade da educação no Brasil.

A comparação estabelecida na Figura 2, entre os estudantes do 5. ano, com o 9. ano do Ensino Fundamental e 3. ano do Ensino Médio, evidencia um percentual significativo da faixa de estudantes com conhecimento Básico e Adequado. Em termos de unidades da federação, os estados do Paraná e de São Paulo apresentam as maiores parcelas de estudantes no nível Adequado como registra a Figura 3, a seguir. Nesta Figura nota-se que os estados do Maranhão, Amapá e Pará têm os maiores percentuais de estudantes no nível Insuficiente, com valores próximos de 60%. Isto já reflete uma desigualdade educacional dentro dos estados e entre os estados brasileiros, bem como entre as regiões.

Figura 3
Desempenho dos estudantes nos Estados da Federação para o 5o Ano do Ensino Fundamental (SAEB/2017).
Fonte: INEP (2018).

Ao olhar para o 9. ano do Ensino Fundamental, o estado do Maranhão registra a maior concentração com estudantes no nível Insuficiente (84,46%) e menos de 1% com o desempenho Adequado, conforme Figura 4. Por outro lado, o estado do Paraná tem 17,37% de seus estudantes no nível Insuficiente, enquanto São Paulo apresenta a maior concentração de estudantes no nível Adequado.

O que se observa ao comparar as Figuras 3 e 4 é que a quantidade de estudantes no nível Insuficiente amplia-se gradativamente, ou seja, à medida que aumentam os anos de escolaridade, menos estudantes estão com desempenho Adequado. Este cenário, como será mostrado a seguir, se agrava para o Ensino Médio (Figura 5).

Figura 4
Desempenho dos estudantes nos Estados da Federação para o 9o Ano do Ensino Fundamental (SAEB/2017).
Fonte: INEP (2018).

Figura 5
Desempenho dos estudantes nos Estados da Federação para o 3o Ano do Ensino Médio (SAEB/2017).
Fonte: INEP (2018).

Pela Figura 5, no Ensino Médio há uma distribuição que mostra que o estado do Espírito Santo tem o menor percentual (56,24%) de estudantes na faixa Insuficiente. Enquanto o estado da Bahia apresenta o maior percentual (82,86%). Os maiores percentuais de Insuficiência estão na Região Norte (PA, AP, AM e TO).

O Distrito Federal apresenta o melhor resultado de escolas dentro do nível Adequado (9,94%), enquanto no estado do Amapá figura o menor percentual nessa faixa (1,12%). No estado do Pará está situada a menor faixa de estudantes no nível considerado Básico (12,17%). Quanto aos resultados da Figura 5, destaca-se a maior parte das escolas que atende esta etapa da Educação Básica situadas na esfera administrativa dos governos estaduais e municipais. Tal resultado mostra o desafio das Secretarias estaduais e municipais de ensino em, pelo menos, reduzir a quantidade de estudantes com conhecimento enquadrado no nível Insuficiente nos processos de avaliação em larga escala.

As Figuras 3, 4 e 5 mostram, como resultado, que a desigualdade de desempenho não é indicada pelo IDEB. Ao se enfatizar o aumento do IDEB perde-se o olhar sobre quantos estudantes estão em cada faixa (Adequado, Básico e Insuficiente). O aumento muitas vezes advém do esforço dos estudantes nas faixas correspondentes aos níveis Adequado e Básico. Por exemplo, quando se comparam as Figuras 3 e 6, percebe-se que o estado do Ceará registra maior crescimento em relação ao IDEB, mas nada se fala que apenas 17% dos estudantes estão situados no nível de desempenho Adequado. Outro exemplo, dessa limitação do IDEB pode ser vista na comparação entre os resultados do 5. ano para os estados do Maranhão e Pará. Ambos conseguiram resultados para o IDEB superiores a meta, mas apresentam, respectivamente, 63,8% e 58,46% de seus estudantes com desempenho Insuficiente para esta série, que entre todas as séries (5., 9. e 3. ano do Ensino Médio) apresentam os melhores desempenhos nos resultados do SAEB.

A Figura 6 mostra duas colunas para cada Estado da Federação, um para a meta e outro o resultado obtido para o IDEB do 5. ano de 2017. Por esta figura quase todos os estados alcançaram a meta ou resultados superiores a meta estabelecida. O que poderia ser motivo para celebrações deve ser objeto de mais atenção para ver com que desempenho estes estudantes estão concluindo esta etapa da educação.

Figura 6
Comparação entre o desempenho no IDEB de 2017 com a meta para o 5o ano do Ensino Fundamental.
Fonte: INEP (2018).

A fim de visualizar que nem sempre bons indicadores do IDEB (Figura 6) representam bons indicadores de qualidade, apresentamos a seguir alguns Estados brasileiros que alcançam as metas do IDEB, conforme nota técnica (BRASIL, 2008c), entretanto, isto não significa bons resultados educacionais, ou seja, não representam uma menor desigualdade de desempenho educacional. Um exemplo reside nos dados relativos ao Estado do Ceará que alcançou o melhor resultado em relação a meta de 2017 (22,58% acima da meta), outros Estados que se destacaram com as notas do IDEB são: São Paulo (IDEB 6,6), Minas Gerais (IDEB 6,5), Paraná (IDEB 6,5) e Santa Catarina (IDEB 6,5), os quais apresentam os maiores resultados do IDEB no Brasil. Por outro lado, a distribuição dos estudantes destes estados nos níveis de proficiência não pode ser considerada como um bom indicador de qualidade, ainda que tenha alcançado as metas do IDEB. Na Figura 7, todos os Estados supracitados, apresentam resultados desfavoráveis nos três níveis de desempenho (Adequado, Básico e Insuficiente). Como se pode ver, o Estado do Ceará apresenta maior crescimento em relação a meta, tem maior quantidade de estudantes com desempenho Insuficiente (31,01%), apresenta a nota padronizada 6,38 e os desempenhos em Matemática e Língua Portuguesa são 228,79 e 222,23, respectivamente. Os demais Estados, com indicadores mais elevados, têm pouco crescimento em relação a meta (Figura 6), e percentuais elevados de estudantes nas faixas dos níveis Básico e do Insuficiente.

Figura 7
Distribuição de estudantes nos Níveis INSUFICIENTE, BÁSICO E ADEQUADO para o 5o ano do Ensino Fundamental.
Fonte: INEP (2018).

Estabelecer a quantidade de estudantes considerada aceitável no nível Insuficiente se constitui um desafio. Por uma questão ética, é uma comparação semelhante, por exemplo, a de se pensar um nível que seja aceitável, de pessoas morrendo por alguma enfermidade, mesmo que o poder público possa administrar algum medicamento. Eticamente falando todos os estudantes devem ter o direito de sair da escola com padrões acima do conhecimento Básico.

Para os anos finais do Ensino Fundamental (Figura 8) somente 4 Estados conseguem ter um IDEB superior a 5, o que significa que somente eles possuem média superior ao ano de referência do SAEB (1997 – Quadros 5 e 6, pag. 22) para o cálculo do IDEB. Pelo que se observa, poucos Estados conseguem superar a Meta para 2017.

Figura 8
Comparação entre o desempenho no IDEB de 2017 com a meta para o 9o ano do Ensino Fundamental.

Figura 9
Distribuição de estudantes nos Níveis INSUFICIENTE, BÁSICO E ADEQUADO para o 9o ano do Ensino Fundamental.
Fonte: INEP (2018).

O fato de ter média superior a meta, ou superior ao ano de referência, em nada reflete sobre como se encontra o nível de proficiência dos estudantes. Os 4 Estados com as melhores colocações (Figura 9) possuem percentual em torno de 5% de estudantes com nível Adequado, e mais de 50% dos estudantes com nível Insuficiente. No caso do Ceará, um dos poucos estados do Brasil acima da meta, mais de 60% dos estudantes situa-se nos indicadores de aprendizagem Insuficiente.

No caso do Ensino Médio os piores indicadores figuram nos resultados, uma vez que no IDEB de 2017 todos os Estados da Federação ficaram abaixo da meta (Figura 10).

Figura 10
Comparação entre o desempenho no IDEB de 2017 com a meta para o 3o ano do Ensino Médio.
Fonte: INEP (2018).

A situação do Ensino Médio para o Brasil é alarmante. Neste caso, a Figura 11 ilustra como a situação afeta o futuro de muitos jovens que estão saindo do Ensino Médio com nível de aprendizagem Insuficiente. No caso do Amapá, mais de 86% de estudantes se insere no nível Insuficiente, contribuindo para o enfrentamento de sérias dificuldades no mercado de trabalho e, de algum modo, comprometendo o desenvolvimento econômico do Estado brasileiro e o desenvolvimento educacional das gerações futuras.

Figura 11
Distribuição de estudantes nos Níveis INSUFICIENTE, BÁSICO E ADEQUADO para o 3o ano do Ensino Médio.
Fonte: INEP (2018).

Um dos grandes efeitos provocados pelo IDEB concretiza-se pelo ranking no qual a escola, ou a própria rede de ensino, se destacam. Um destes efeitos se concretiza na divulgação de casos de “sucesso” em que alguns municípios que conseguiram bons resultados no IDEB, utilizam isto para divulgar que está tudo bem com a educação. Na Figura 12, são apresentadas as capitais brasileiras com maior crescimento no IDEB em relação a 2015. Em alguns desses municípios, como Rio Branco e Teresina, há motivos para celebração, porém em Belém, Salvador e Maceió não se pode dizer o mesmo: mais de 40% dos estudantes tem desempenho Insuficiente e, apenas cerca 6% de estudantes apresenta aprendizagem Adequada.

Figura 12
As capitais brasileiras que mais cresceram no IDEB de 2015 a 2017, em relação ao IDEB de 2013.
Fonte: INEP (2018).

4. CONSIDERAÇÕES FINAIS

As reflexões ora formuladas encaminham a compreensão que o indicador mais utilizado no Brasil, o IDEB, persi, não é suficiente para indicar bons resultados de desempenho pelas escolas. Evidenciou-se que é possível ter grande quantidade de estudantes com desempenho Insuficiente e bons indicadores do IDEB, indicadores estes que até superaram as metas estipuladas.

Também foi apresentado, inicialmente, o funcionamento da Matriz de referência de Matemática, utilizada pelo SAEB, e o cálculo da nota do IDEB. Ou seja, quais são os descritores que formam a Matriz de referência das provas e como são as escalas de proficiência para cada etapa avaliada da Educação Básica. Em seguida foi mostrado um cenário da desigualdade educacional pelo Brasil, mesmo em lugares onde se alcançam as metas do IDEB.

Observa-se que há muitas desigualdades educacionais no Brasil. Poucos estudantes com nível Adequado, e muitos em nível Insuficiente de desempenho nas avaliações do SAEB. Esta situação se agrava ao sair do 5. ano do Ensino Fundamental em direção ao 3. ano do Ensino Médio. É importante destacar o fato que mesmo em estados ou municípios que alcançaram as metas do IDEB, ainda assim, há muita desigualdade educacional.

Um sinal da desigualdade pode ser visto quando se observa que há estados com maior desigualdade que outros. O que demonstra que, não só a escola influencia no desempenho dos estudantes (a escola faz diferença), como o desempenho da região e dos estados exercem influências na aprendizagem dos estudantes. Portanto, não se garante o mesmo direito de aprendizagem a todos os estudantes em todas as regiões ou estados brasileiros. O caminho da aprendizagem em Matemática no Brasil depende de uma geografia de oportunidades educacionais, na qual alguns lugares têm mais possibilidades de desenvolvimento cognitivo que em outras partes do país.

Importa adotar, no Brasil, uma política de estado que proceda avaliações externas, como forma de saber se o direito que todo estudante tem de aprendizagem está sendo garantido. Além deste direito a conteúdos, os estudantes brasileiros possuem outros direitos que, uma vez garantidos, podem se constituir um caminho para alcance da qualidade educacional. Exemplos desses vários direitos podem ser contemplados pelo PNE. No caso de conteúdos, a necessidade de ter indicadores confiáveis torna-se mais relevante após a aprovação da BNCC, em face da adoção de um currículo comum em todo o Brasil, o que não se tinha antes. A Matriz de Referência do SAEB, utilizada até então, não refletia de forma fidedigna o que as redes de ensino tinham em seu currículo escolar. Este cenário sofre alterações com a aprovação da BNCC, uma vez que todas as escolas, sejam públicas ou privadas, terão que cumprir a Base, em teoria, e esta será a referência para a nova matriz do SAEB.

Importa ainda olhar melhor para os indicadores de qualidade e as dimensões avaliadas por esses indicadores. Além destes aspectos, convém atentar para a forma de divulgação, uma vez que muitos governantes e gestores podem tirar proveito de “bons” resultados e camuflar situações graves do contexto escolar. Além das vantagens e desvantagens que se pode elencar sobre o IDEB, convém que ele não seja o único indicador de qualidade: o seu valor numérico, ou mesmo ou fato de “bater” as metas, não necessariamente significa excelentes níveis de desempenho. O artigo mostra isso ao trazer à tona alguns casos relativos às redes estaduais e municipais.

Destaca-se ainda que o IDEB é um indicador de efeito, e não de causa, portanto, não trata de questões relacionadas a infraestrutura; formação docente; experiência sobre gestão; clima educacional; violência dentro da escola e outras dimensões importantes para evidenciar a qualidade educacional. Porém, ao ser tomado como referência principal para decisões de ordem administrativa visando a qualidade educacional, poderá ocasionar efeitos distorcidos, tais como entendimentos de que o alcance de metas é sinônimo de melhora nas aprendizagens dos alunos, a partir da análise do desempenho destes em provas de larga escala, por exemplo.

Sendo assim, é inegável a relevância do IDEB, mas todo e qualquer resultado sobre este indicador deve ser visto com cautela e refletido para além de seus resultados. Desta forma, é relevante considerar que os resultados nas avaliações externas merecem uma atenção especial, tanto pela sociedade, quanto pelos governos.

REFERÊNCIAS

BRASIL. PDE: Plano de Desenvolvimento da Educação: SAEB: ensino médio: matrizes de referência, tópicos e descritores. Brasília: MEC, SEB; Inep, 2008a.

BRASIL . Nota técnica: Índice de Desenvolvimento da Educação Básica – Ideb. Brasília: Inep, 2008b. Disponível em:<http://download.inep.gov.br/educacao_basica/portal_ideb/o_que_e_o_ideb/Nota_Tecnica_n1_concepcaoIDEB.pdf>;. Acesso em: 03 jul. 2018.

BRASIL. Nota técnica. Metodologia utilizada para o estabelecimento das metas intermediárias para a trajetória do Ideb no Brasil, Estados, Municípios e Escolas. Brasília: Inep, 2008c. Disponível em: <http://download.inep.gov.br/download/Ideb/Nota_Tecnica_n2_metas_intermediarias_IDEB.pdf>;. Acesso em: 03 jul. 2018.

BRASIL. Relatório SAEB (ANEB e ANRESC) 2005-2015: panorama da década. Brasília: INEP, 2018a. Disponível em: <http://download.inep.gov.br/educacao_basica/saeb/2018/documentos/livro_saeb_2005_2015_completo.pdf>;. Acesso em: 05 abr. 2018.

BRASIL. Sistema de Avaliação da Educação Básica. Documentos de Referência. Versão 1.0. Brasília: MEC/DAEB, 2018b. Disponível em: <http://download.inep.gov.br/educacao_basica/saeb/2018/documentos/saeb_documentos_de_referencia_versao_1.0.pdf>;. Acesso em: 21 dez. 2018.

DOURADO, L. F; OLIVEIRA, João Ferreira de; SANTOS, Catarina de Almeida (Org.). A qualidade da educação: conceitos e definições. Brasília: INEP/MEC, 2007. (Série “Textos para discussão”, nº 24).

FERNANDES, R. Índice de Desenvolvimento da Educação Básica (Ideb). Brasília: Inep, 2007. Disponível em: <http://portal.inep.gov.br/documents/186968/485287/%C3%8Dndice+de+Desenvolvimento+da+Educa%C3%A7%C3%A3o+B%C3%A1sica+%28Ideb%29/26bf6631-44bf-46b0-9518-4dc3c310888b?version=1.4>.Acesso em: 11 jun. 2018.

FERNANDES, R. Índice de desenvolvimento da educação básica (Ideb): metas intermediárias para a sua trajetória no Brasil, estados, municípios e escolas. Brasília: Inep, 2008. Disponível em: <http://www.inep.gov.br/download/Ideb/Artigo_ projecoes.pdf>. Acesso em: 03 jul. 2018.

GADOTTI, M. A qualidade na educação: uma nova abordagem. Florianópolis: COEB, 2013.

INEP (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira). Sinopse Estatística da Educação Básica 2017. Brasília, 2018. Disponível em: <http://portal.inep.gov.br/sinopses-estatisticas-da-educacao>;. Acesso em: 23 set. 2018.

SIDORKIN, A. M. Campbell’s Law and the Ethics of Immensurability. Rev. Studies in Philosophy and Education.v. 35, Jul. 2016, p. 321–332. Disponível em: <https://www.hse.ru/pubs/share/direct/document/152081787>;. Acesso em: 12 mai. 2018.

Notas

Ligação alternative

https://www.rematec.net.br/index.php/rematec/article/view/67 (pdf)