INTRODUÇÃO

O Brasil vem participando do Programa Internacional de Avaliação de Estudantes – Pisa – desde o início do ano 2000^[5]. Tal participação decorre do esforço brasileiro de construção de uma política de avaliação educacional relacionada à “perspectiva de avaliar conhecimentos e habilidades que permitam contínua adaptação a um mundo em constante modificação” (FRANCO; BONAMINO, 2001, p. 25). A adesão do Brasil ao Pisa apresenta estreita sintonia com as propostas gerencialistas para a educação brasileira, em especial a partir dos anos 1990, com a constituição do Sistema de Avaliação da Educação Básica – SAEB, em que a ideia de “medir” a qualidade do ensino oferecido nos sistemas educacionais ganhou relevância. Embora o Brasil venha participando do Pisa desde a sua primeira edição, só recentemente os seus resultados passaram a integrar, de forma até então nunca vista, o discurso político e a própria agenda política da educação brasileira (MACEDO, 2014; ARRUDA et al., 2020).

O Pisa é um programa de avaliação em larga escala aplicado a uma amostra de estudantes de 15 anos, idade que, segundo os organizadores do Consórcio Pisa, corresponde ao término da escolaridade básica obrigatória na maioria dos países. A intenção é avaliar até que ponto esses estudantes adquiriram conhecimentos e habilidades essenciais para a plena participação nas sociedades modernas.

O Programa compõe a agenda global da Organização para Cooperação e Desenvolvimento Econômico – OCDE – e busca produzir indicadores educacionais que permitam comparar os países participantes em termos de seus currículos nacionais e do preparo dos estudantes para o mundo do trabalho em constante modificação. Presta-se ainda a avaliar o funcionamento da gestão educacional ao trazer para a gramática das instituições e sistemas de ensino públicos os sentidos e “discursos atuais sobre uma cultura de avaliação, o cálculo das competências e a medida das performances” (MENDES; SEGABINAZZI, 2018, p. 851).

A avaliação do Pisa é trienal e organizada em ciclos; a cada edição o foco está centrado em uma área de conhecimento (Leitura, Matemática e Ciências), o que significa que mais itens dessa área são incluídos na prova (aproximadamente 54%), e menos itens das demais (23% para cada uma). Essa maior quantidade de itens permite que a área de conhecimento específica seja examinada com mais detalhe e aprofundamento. A área Matemática foi foco nas edições ocorridas em 2003 e 2012. Uma nova edição do Pisa estava prevista para ocorrer em 2021 tendo a Matemática como foco da avaliação. Contudo, em virtude das dificuldades enfrentadas em função da pandemia de Covid-19, os países-membros e associados da OCDE decidiram adiar a aplicação do Pisa-2021 para 2022 e do Pisa-2024 para 2025.

Na base da criação do Pisa está o desejo de que seus resultados sejam utilizados pelos governos para definição ou redirecionamento de políticas educacionais, visando a melhorias no ensino básico e a uma formação mais efetiva aos jovens. Barriga (2018) argumenta que o Pisa é uma estratégia internacional de modelização das aprendizagens dos estudantes que nega de início as indispensáveis diferenças culturais, além das reais diferenças sociais e econômicas. Apesar das críticas que faz ao Programa, o autor (p. 34) defende que se tome o Pisa como pretexto para a melhoria das condições de aprendizagem dos estudantes em sala de aula. Para tanto, Barriga (2018) recomenda a conveniência de desenvolver uma análise didático-pedagógica do Pisa, seus instrumentos e resultados, além do desenvolvimento de análises política e técnica, no sentido de se compreender as potencialidades e as limitações do Programa.

Nessa mesma direção, Fernandes e Gonçalves (2018) desenvolveram um estudo longitudinal com o intuito de compreender os resultados dos estudantes portugueses no Pisa de 2000 a 2015, tendo em conta a diversidade de políticas públicas da educação e de programas que as têm materializado. Os autores observaram melhorias nos resultados sem o agravamento de diferenças entre os estudantes, na medida em que “o número de alunos com baixos desempenhos, de acordo com as escalas de proficiência do programa, tem vindo a decrescer significativamente ao longo dos anos” (p. 56). Para os autores, as melhorias observadas estão associadas mais às políticas públicas iniciadas na década de 1980 e às ações inerentes à sua concretização do que propriamente à participação no Pisa. Em suas conclusões afirmam que a definição de uma agenda para a educação e o desenvolvimento de programas de combate às desigualdades e pela equidade precisam estar orientados para uma diversidade de áreas curriculares específicas associadas à formação contínua de professores. Para eles, “há mais vida para além do Pisa” (p. 58).

Na Espanha, um amplo projeto de formação docente a partir da perspectiva do Pisa, o Projeto GAPPisa, foi conduzido em escolas públicas da cidade de Barcelona com o propósito de oferecer uma base teórica e prática sobre a avaliação das aprendizagens e possibilitar aos professores modificar seus instrumentos de avaliação do tipo prova tradicional (MACIAS; MONEREO, 2018; MONEREO, 2009; MONEREO et al., 2009). Para os coordenadores do GAPPisa, o objetivo final da proposta de formação não foi a análise dos resultados do Pisa, mas sim conduzir um processo de transformação, envolvendo toda a equipe escolar, de modo que a avaliação deixasse de ser pontual e se integrasse às práticas pedagógicas dos professores. Segundo Macias e Monereo (2018, p. 88), “mudar os instrumentos de avaliação não é suficiente; para realizar uma mudança mais substancial, devemos analisar o que afeta a própria identidade docente”. Para eles, em futuros estudos, é necessário analisar como a participação de professores em projetos como o GAPPisa é afetada pelas práticas que experimentam e pelos discursos que se constroem e como modificam suas posições conceitual, estratégica e atitudinal no momento de avaliar as aprendizagens dos estudantes.

Este manuscrito se insere na perspectiva de contribuir com uma compreensão pedagógica dos resultados do Pisa. Para tanto, discute o conteúdo dos itens públicos da avaliação ocorrida em 2012, a mais recente em que a Matemática foi a área de conhecimento priorizada. Especificamente, apresentam-se aqui os resultados de uma análise dos itens públicos da subárea da Matemática Mudanças e Relações (BRASIL, 2013). Nosso objetivo foi conhecer que tópicos/temas/habilidades estão contemplados nos itens da prova de Matemática do Pisa. Acreditamos que estudos deste tipo proporcionam conhecimento da operacionalização da avaliação e da verificação do alinhamento entre os itens e o que os documentos norteadores da avaliação.

O texto é parte de uma pesquisa mais ampla cujo objetivo é analisar a avaliação em Matemática no âmbito do Pisa 2012 e como se distribuem os resultados dos estudantes brasileiros entre regiões geográficas, gêneros e níveis socioeconômicos. A pesquisa como um todo se desenvolve por meio de abordagens metodológicas diversas, envolvendo análise documental, análises estatísticas e análise da percepção de estudantes do Ensino Médio sobre os itens da prova. Neste artigo, restringimos o escopo à análise dos itens do Pisa 2012, que versem sobre a temática Mudanças e Relações. Numa perspectiva metodológica da análise documental, buscamos, ao descrever alguns dos itens, estabelecer articulações e aproximações entre os processos pedagógicos da sala de aula de Matemática e as avaliações externas. Na sequência discutimos a avaliação em Matemática no Programa e em seguida apresentamos os resultados da análise dos itens. Encerramos o presente texto com algumas considerações.

AVALIAÇÃO EM MATEMÁTICA NO PISA

A avaliação em Matemática no Pisa é realizada por meio de itens de resposta aberta (por vezes referenciada por itens de resposta construída) e de múltipla escolha, considerando três dimensões: o conteúdo, o processo e o contexto. O conteúdo é definido primeiramente em termos de conceitos matemáticos mais amplos e secundariamente em relação a categorias de conteúdos curriculares específicos da área. Esses conteúdos são organizados em áreas estruturantes, a saber: Quantidade; Espaço e Forma; Mudanças e Relações; Incerteza. Para os organizadores da avaliação, as três primeiras constituem a essência de qualquer currículo de Matemática da Educação Básica. A quarta (Incerteza) atende ao caráter mais abrangente da competência Matemática e se conecta com as necessidades da vida diária do cidadão. Observa-se estreita proximidade entre a organização de conteúdos do Pisa com os propostos no documento Base Nacional Comum Curricular - BNCC (BRASIL, 2017), embora as nomenclaturas utilizadas sejam ligeiramente diferentes.

A segunda dimensão é definida pelas competências matemáticas gerais, que incluem o uso da linguagem matemática, escolha de modelos e procedimentos e habilidades de resolução de problemas. Essas competências são organizadas em três classes: realização de operações simples, estabelecimento de conexões para resolver problemas e raciocínio matemático, generalização e descobertas. A terceira dimensão compreende as situações nas quais a Matemática é usada, variando de contextos particulares àqueles relacionados com questões científicas e públicas mais amplas (BRASIL, 2013).

Segundo Ortigão e Aguiar (2012, p. 8),

Para refletir a amplitude dos conhecimentos, habilidades e competências que estão sendo avaliados, usa-se o conceito de letramento, que remete à capacidade de o aluno aplicar seus conhecimentos, analisar, raciocinar e se comunicar com eficiência, à medida que expõe, resolve e interpreta problemas, em diversas situações. O desenvolvimento do letramento é um processo de aprendizagem ao longo da vida e, portanto, mais amplo do que a noção histórica da capacidade de ler e escrever.

Para cada área de conhecimento avaliada no Pisa, há uma escala contínua em que os níveis de desempenho dos estudantes e o posicionamento deles na escala e nas subescalas estão representados pelo número de pontos alcançados (proficiência). Na avaliação em Matemática, a escala e as subescalas compreendem seis níveis, e os estudantes que não alcançam a pontuação mínima necessária para posicionar-se no nível 1 são classificados como ‘abaixo do nível 1’. A Tabela 1 a seguir apresenta a média e a distribuição percentual dos estudantes na escala e nas subescalas de Matemática do Pisa 2012.

Tabela 1
Média global e nas categorias de conteúdo e distribuição percentual de estudantes nos níveis da escala e subescalas em Matemática - Pisa 2012

Microdados Pisa 2012 – Brasil. Elaboração própria. (Dp) = Desvio padrão da média.

Escala e Subescalas Matemática	Média (Dp)	Abaixo nível 1	Nível 1	Nível 2	Nível 3	Nível 4	Nível 5	Nível 6
Escala global	391,5 (2,1)	35,5	21,7	8,3	3,1	0,8	0,0	0,0
Espaço e Forma	380,0 (2,0)	40,3	30,6	18,8	7,3	2,4	0,6	0,1
Quantidade	392,9 (2,5)	36,5	27,0	20,2	10,5	4,3	1,3	0,2
Indeterminação e Dados	402,1 (2,0)	26,5	35,1	25,5	10,0	2,5	0,3	0,0
Mudanças e Relações	371,5 (2,7)	46,3	24,0	16,5	8,4	3,3	1,1	0,3

Observa-se que, em duas subescalas (Espaço e Forma e Mudanças e Relações), mais de 40% dos estudantes que participaram do Pisa 2012 situam-se abaixo do nível mínimo considerado na escala. E, em todas as subescalas, mais de 70% dos estudantes não alcançaram o nível 3. Segundo o relatório Pisa 2012 (BRASIL, 2013, p. 19), nesse nível os estudantes são capazes de executar procedimentos descritos com clareza, selecionar e aplicar estratégias simples de resolução de problemas, interpretar e utilizar representações simples, baseadas em diferentes fontes de informação e de raciocinar diretamente com base nelas. Também são capazes de realizar comunicações curtas que relatam interpretações, resultados e raciocínios.

A subárea Espaço e Forma compreende um conjunto de fenômenos presentes no mundo físico e visual: padrões; propriedade dos objetos; posição e orientação; representação dos objetos; codificação e decodificação de informação visual; interação dinâmica com formas reais e suas representações. Nesta subescala, 40,3% dos estudantes brasileiros não foram capazes de utilizar as capacidades matemáticas requeridas pelas tarefas mais simples da avaliação, o que os posicionou abaixo do nível 1 da escala. Uma discussão mais aprofundada sobre os resultados do Pisa nesta subárea pode ser acessada em Pereira e Moreira (2020), Ortigão et al. (2018) e Lima (2016).

A subárea Quantidade, segundo os documentos do Pisa, envolve a compreensão dos números e suas operações, que são propostas em diferentes situações e contextos. O raciocínio quantitativo é a essência da área de quantidade, e é preciso compreender, por exemplo, a múltipla representação de números, o cálculo mental e computacional, a estimação e a avaliação da razoabilidade de resultados. Isto é, esta subárea abrange fenômenos numéricos, relações e padrões quantitativos.

Indeterminação e dados englobam o reconhecimento do lugar da variação nos processos, tendo em conta a quantificação dessa variação; reconhecimento da indeterminação e do erro na medida; e conhecimento das probabilidades. Esta subárea inclui também formar, interpretar e avaliar conclusões tiradas em situações nas quais a indeterminação constitui um aspecto central. Observa-se que em 2012 os estudantes brasileiros apresentaram o melhor desempenho nesta escala, ficando com 26,5% abaixo do nível 1, quando comparados com as demais subáreas (PEREIRA; MOREIRA, 2020).

A Tabela 1 traz informações que poderiam auxiliar as escolas e os professores a repensarem os planejamentos pedagógicos com vistas às aprendizagens, bem como os sistemas de ensino na (re)formulação e acompanhamento de políticas públicas voltadas à educação, conforme apontam Vaz, Aguilar-Júnior e Nasser (2021). Estes autores buscam articular discussões com respeito ao papel das avaliações escolares (tanto as realizadas pelas/nas escolas, internas, quanto às externas, de largo alcance), destacando que ambas podem apresentar um papel formativo para as aprendizagens. Especificamente em relação às avaliações externas, os autores afirmam que os resultados nela obtidos permitem

(...) por um lado, que os gestores públicos possam formular e acompanhar o funcionamento das políticas públicas voltadas à educação, numa perspectiva mais macro/global dos processos. Por outro lado, os corpos pedagógicos e docentes, nas microcontingências e no contexto da prática desenvolvida nos cotidianos escolares podem realinhar suas propostas pedagógicas e seus planejamentos didáticos e mesmo curriculares. (VAZ; AGUILAR-JÚNIOR; NASSER, 2021, p. 150)

Como parte da pesquisa mais ampla, debruçamo-nos sobre a análise dos itens públicos de Matemática do Pisa 2012. Os itens do Pisa são construídos e analisados com base na Teoria de Resposta ao Item – TRI, abordagem teórico-metodológica que leva em conta as respostas dadas em cada item. Segundo Vianna (1987), a TRI pos­sibilita comparações tanto entre populações diferenciadas, desde que submetidas a testes que tenham itens em comum, como entre indivíduos que integram uma mesma população submetidos a provas totalmente diferentes. Os itens comuns compõem o Banco de Itens e não são divulgados pelo consórcio que administra o Pisa. Contudo, a cada edição há a liberação de um conjunto de itens que, segundo a proposta do Programa, são exemplos que ilustram a operacionalização da avaliação na área de conhecimento específica. Na edição de 2012, foram liberados 23 itens de Matemática para o público em geral, que podem ser acessados no site do INEP^[6] ou da OCDE^[7]. Cabe observar que muitos desses itens possuem um cabeçalho comum acompanhado de duas ou três perguntas, que são considerados itens diferentes. Com isso, totalizam 56 itens públicos de Matemática do Pisa 2012.

A tabela a seguir apresenta a distribuição desses 56 itens em relação às subáreas da Matemática. A classificação se pautou na análise dos conteúdos/habilidades requeridos em cada um deles.

Tabela 2
Distribuição dos itens (públicos) de Matemática do Pisa 2012 de acordo com a subárea

BRASIL (2013). Elaboração própria

Subárea da Matemática	Quantidade de itens
Espaço e Forma	14
Quantidade	18
Indeterminação e Dados	13
Mudanças e Relações	11
Total	56

A distribuição dos itens em subáreas é relativamente equânime, embora haja um quantitativo ligeiramente maior na subárea Quantidade. Essa distribuição segue, de modo geral, o que tradicionalmente ocorre na organização curricular de Matemática, como observado por Silva e Mandarino (2010) e Fonseca e Mandarino (2010). Os autores analisaram programas curriculares de redes de ensino e livros didáticos de Matemática e constataram predominância de tópicos de Números e Operação (subárea nomeada como Quantidade no âmbito do Pisa) em relação às demais subáreas da Matemática.

Na continuidade, apresentamos os resultados da análise dos itens da subescala Mudanças e Relações. Adotamos uma pesquisa documental, de cunho exploratório, para conduzir a escolha e análise dos itens, visto que as principais referências utilizadas foram fontes primárias caracterizadas “pela relação direta com os fatos a serem analisados” (GONSALVES, 2001, p. 32). Motivou-nos nessa decisão o fato de ser a subárea em que os estudantes apresentaram maior dificuldade, ou seja, médias mais baixas e maior concentração de estudantes nos níveis mais baixos da subescala, como pode ser observado na Tabela 1.

MUDANÇAS E RELAÇÕES NA AVALIAÇÃO EM MATEMÁTICA DA PROVA PISA

Segundo o Relatório Nacional Pisa 2012 (BRASIL, 2013), a avaliação do letramento matemático na subárea Mudanças e Relações exige que o indivíduo compreenda os tipos fundamentais de mudança e reconheça quando tais mudanças ocorrem, de forma a utilizar modelos matemáticos que possam descrevê-las e prevê-las (p. 32).

A subárea Mudanças e Relações, denominada como Álgebra na Base Nacional Comum Curricular – BNCC (BRASIL, 2017), abarca um conjunto de habilidades, tais como a identificação de regularidades em sequências, sejam elas numéricas, figurativas ou de outra natureza. Documentos curriculares, como a BNCC, indicam que atividades envolvendo regularidades favorecem o desenvolvimento de um tipo especial de pensamento, por possibilitar ao estudante perceber regras de formação de sequências e os elementos que a constituem. Esta subárea abarca ainda o estudo de igualdade/desigualdade matemática, generalização, variável, o estudo de equações e inequações, proporcionalidade, funções e aspectos relacionados a crescimento/decrescimento, dentre outros temas. De acordo com o documento BNCC, a unidade temática Álgebra tem como finalidade

o desenvolvimento de um tipo especial de pensamento – pensamento algébrico – que é essencial para utilizar modelos matemáticos na compreensão, representação e análise de relações quantitativas de grandezas e, também, de situações e estruturas matemáticas, fazendo uso de letras e outros símbolos. Para esse desenvolvimento, é necessário que os alunos identifiquem regularidades e padrões de sequências numéricas e não numéricas, estabeleçam leis matemáticas que expressem a relação de interdependência entre grandezas em diferentes contextos, bem como criar, interpretar e transitar entre as diversas representações gráficas e simbólicas, para resolver problemas por meio de equações e inequações, com compreensão dos procedimentos utilizados. As ideias matemáticas fundamentais vinculadas a essa unidade são: equivalência, variação, interdependência e proporcionalidade. Em síntese, essa unidade temática deve enfatizar o desenvolvimento de uma linguagem, o estabelecimento de generalizações, a análise da interdependência de grandezas e a resolução de problemas por meio de equações ou inequações (BRASIL, 2017, p. 270).

O trecho acima apresenta sintonia e dialoga com o que já estava previsto na matriz de referência do Pisa 2012 para a subárea Mudanças e Relações. De fato, o Pisa é considerado um programa indutor de reformas curriculares ocorridas em diversos países (FERNANDES, 2019; BARRIGA, 2018; MACIAS; MONEREO, 2018; BAUER et al., 2015; BAUER et al., 2013). No caso brasileiro, não poderia ser diferente. Há evidências de estreita aproximação entre o que o Pisa avalia e o que a BNCC propõe para o campo da Educação Matemática (ANDRADE, 2021). Em trabalho recente que versava sobre o desenvolvimento de habilidades com a argumentação e a demonstração em Matemática, Caldato e Aguilar-Júnior (2020) discutem as aproximações entre a definição de letramento matemático prevista na matriz de referência do PISA 2012 e a BNCC. De acordo com os autores, o texto da BNCC, que prioriza o trabalho pedagógico pautado nos direitos de aprendizagem por meio da construção de certas habilidades e competências, traz relação estreita com a definição de letramento matemático contida na matriz do Pisa 2012, qual seja, a capacidade individual de o estudante formular, empregar e interpretar a matemática em múltiplos contextos.

Importa destacar que o compromisso com o desenvolvimento de áreas importantes abordadas no Pisa tem o letramento matemático como considerável eixo para o desenvolvimento individual, guiando o estudante na formulação e interpretação de ideias matemáticas em uma variedade de contextos da vida cotidiana (LIMA et al., 2020).

Em termos matemáticos, isso significa modelar essas mudanças e relações com funções e equações apropriadas, bem como criar, interpretar e transitar entre as diversas representações gráficas e simbólicas. A subárea caracteriza-se por manifestações matemáticas de mudança, relações funcionais e dependência entre variáveis (BRASIL, 2013; 2017).

Com relação aos temas que compõem a subárea Mudanças e Relações, ao analisarmos os 11 itens públicos, encontramos três temáticas. A Tabela 3 a seguir apresenta a classificação dos itens de acordo com as temáticas e os conteúdos propostos em cada um.

Tabela 3
Quantidade de itens de acordo com conteúdo/habilidades - Pisa 2012 -Subárea Mudanças e Relações

OCDE/INEP (2013). Elaboração própria

Tema/Conteúdo	Quantidade de itens públicos
Equação/Funções/Aplicação de fórmulas	5
Velocidade/Cinética	5
Identificação de modelos matemáticos	1
Total	11

As temáticas propostas nos itens apresentam-se de modo equilibrado entre Equações/Funções/Aplicação de fórmulas e Velocidade/Cinética. Entretanto, a identificação de modelos matemáticos está significativamente em menor predominância. Os itens públicos sobre equações e funções apoiam-se em situações-problema que envolvem a aplicação de fórmulas e avaliam processos cognitivos exigidos para que o estudante possa demonstrar habilidades relacionadas ao saber fazer, mesmo que de maneira incipiente. Vejamos o exemplo a seguir.

Figura 1
Item público do Pisa 2012 que explora a ideia de velocidade média
OCDE/INEP (2013).

A Figura 1 trata de um item que explora a ideia de velocidade média. O estudante deve ter conhecimento de que a velocidade de um corpo é dada pela relação entre o deslocamento dele em determinado tempo. Em síntese, a velocidade média desse corpo é a variação da sua posição em relação a um referencial durante certo intervalo de tempo e a unidade de medida, em metros por segundo (m/s), de acordo com o Sistema Internacional de Medidas (SI).

Para responder corretamente à questão, o aluno deve relacionar as grandezas, dividindo a distância pela duração do percurso em cada trajeto relatado e, dessa forma, irá determinar a velocidade média de Helena.

No primeiro trajeto, 4km/10min equivalem a 0,4km/min. No segundo trajeto, 2km/5min também equivalem a 0,4km/min. Nos dois percursos, embora não precisasse, fazendo as devidas conversões em consonância com o SI, isso equivale a 6,67m/s, utilizando-se o recurso de arredondamento. Logo, o respondente deveria chegar à conclusão de que a velocidade média de Helena durante os 10 primeiros minutos foi igual à velocidade média durante os cinco minutos seguintes, marcando, portanto, a opção (B) do item. Pelos dados estatísticos disponíveis, 42.020 estudantes responderam a essa questão, dentre os quais 21.523 (51,2%) acertaram o item, o que é considerado insuficiente, haja vista que a questão é de nível elementar.

Vale destacar que a questão explora, por outro lado, o raciocínio proporcional: percorrer 4 km em 10 minutos é equivalente a realizar 2 km em 5 minutos, uma vez que a relação entre a distância percorrida e o tempo gasto para percorrê-la se mantém constante. Percebe-se ainda, ao analisar a questão, que a alternativa (A) foi a resposta mais escolhida pelos respondentes, 25,6% (10.753) das respostas válidas. Esse resultado indica que, talvez, o estudante não perceba a relação de proporcionalidade entre as medidas apresentadas (há uma redução à metade do tempo gasto e da distância percorrida).

Segundo a BNCC (BRASIL, 2017), o estudo de temas de Álgebra, bem como de Números, Geometria e Probabilidade e Estatística, pode colaborar para o desenvolvimento do pensamento computacional dos estudantes, uma vez que eles precisam ser capazes de traduzir uma situação dada em outras linguagens – como transformar situações-problema apresentadas em língua materna em fórmulas, tabelas e gráficos e vice-versa. Essas habilidades estão presentes no contexto do Pisa, como pode ser observado no exemplo de item apresentado a seguir.

O segundo exemplo é apresentado na Figura 2, que traz uma situação relacionada ao Monte Fuji. O objetivo é calcular o início do tempo levado para uma caminhada, dadas duas velocidades diferentes, uma única distância total para viajar e um tempo final.

Figura 2
Escalando o Monte Fuji
OCDE/INEP (2013)

Ao iniciar a resolução da questão acima, imagina-se que o estudante perceba que o enunciado contém informação sobre a medida aproximada do comprimento da trilha Gotemba (9km). Em seguida, deve perceber que, ao realizar a caminhada, os andantes necessitam voltar até às 8 horas da noite (ou 20 horas) e que a trilha tem 18 quilômetros (ida e volta). Observa-se, ainda, que as velocidades para subir e descer a trilha são diferentes (1,5km/h para subir e 3km/h para descer). Ao fim, há indicação do que é desconhecido na atividade, ou seja, aquilo que, por meio das informações apresentadas nas frases anteriores, deve aparecer como resposta à questão: o último horário em que Toshi pode iniciar a caminhada de modo que volte até às 8 horas da noite (ou 20 horas).

Um simples esquema pode ser utilizado para resolver a questão, que, aparentemente, é de nível elevado, pois exige raciocínio e técnica. Vejamos: a trilha de Gotemba tem 9km de comprimento, ou 9.000m. Toshi sobe a uma velocidade de 1,5km/h e desce a 3km/h. Relaciona-se a velocidade com a hora que Toshi levará para subir a montanha, bem como a velocidade com a hora que ele levará para descer a montanha. A cada 1 hora aumenta 1,5km, obtendo o tempo de 6 horas para subir; para descer, a cada 1 hora aumentam 3km, gastando 3 horas para descer. Assim, o tempo de subida (6h) somado ao tempo de decida (3h), totaliza 9 horas. Realizando a subtração de 20h (8 horas da noite) pelas 9h, encontra-se a resposta, que é de 11 horas da manhã; a questão está resolvida.

Os diferentes algoritmos utilizados para resolver a questão podem indicar que o domínio matemático Mudança e Relações, que objetiva calcular o início do tempo gasto dadas duas velocidades diferentes, uma distância total para viajar e um tempo final, envolvem contextos sociais mais elaborados e os processos de formular nem sempre são alcançados, haja vista que, segundo o relatório (BRASIL, 2013), esse item apresentou índice de acerto de menos de 10%, o que é preocupante do ponto de vista da subárea estudada.

O terceiro e último exemplo escolhido para compor este texto refere-se aos navios velejadores e a questão discutida é a 4. O objetivo dessa questão é resolver uma situação real complexa envolvendo economia de custos e consumo de combustível. Deve-se calcular após quantos anos a economia com o custo do óleo diesel poderia cobrir o custo da kite sail, devendo o estudante apresentar os cálculos para fundamentar sua resposta.

Figura 3
Navios velejadores
OCDE/INEP (2013)

Há que se destacar que a questão apresenta um texto motivador, visto como um disparador temático, “Navios velejadores”, seguido de quatro perguntas (4 itens). Apresentamos aqui apenas o item 4.

A questão acima reflete sobre o alto custo do óleo diesel, a 0,42 zeds por litro; informa que os proprietários do navio Nova Onda estão pensando em equipar o navio com uma kite sail com potencial para reduzir o consumo de diesel em cerca de 20%. Em seguida, são apresentados os dados do navio, tais como: tipo; comprimento; envergadura; capacidade e velocidade máxima. Informa, ainda, que o consumo de diesel por ano, sem uma kite sail, é de aproximadamente 3.500.000 litros e que o custo para equipar o navio Nova Onda com essa kite sail é de 2.500.000 zeds. Apresenta-se, então, a questão 4: “Após quantos anos a economia com o custo do óleo diesel poderia cobrir o custo da kite sail? Apresente os cálculos para fundamentar sua resposta”.

Segundo o Relatório Pisa 2012 (BRASIL, 2013), a situação apresentada é real e complexa, cujo domínio matemático envolve compreender mudanças e relações, num contexto científico com processo de formular. Registramos que a questão envolve “moeda desconhecida” (zeds), termos em inglês (kite sail), porcentagem e algoritmo simples para a solução.

A solução da questão pode ser simplificada da seguinte forma: considerando que o consumo anual de diesel sem uma kite sail é de 3,5 milhões de litros e o preço é de 0,42 zed/litro, os custos para o diesel sem uma kite sail seria de 1.470.000 zeds. Ora, se 20% desse valor são poupados com a kite sail, temos que: 20/100 = 0,2, que deve ser multiplicado aos custos para o diesel sem uma kite sail, ou seja, por 1.470.000 zeds. Então, 1.470.000 x 0,2 = 294.000 zeds por ano. Por fim, temos que 2.500.000/294.000 » 8,5. Desta feita, após 8,5 anos a kite sail torna-se (financeiramente) rentável.

Outros itens públicos da prova Pisa podem ser analisados de modo similar e servir de ferramenta à formação de professores, ampliando não somente o que e como o Programa avalia, mas conduzindo professores à reflexão sobre os aspectos pedagógicos da avaliação educacional, dentre outras questões.

Como mencionado antes, dentre as quatro subáreas da Matemática no Pisa 2012 (Espaço e Forma; Quantidade; Indeterminação e Dados; e Mudanças e Relações), os estudantes brasileiros apresentaram desempenho mais fraco nesta última, nomeadamente Mudança e Relações, com 46,3% abaixo do nível 1. Observa-se que pouco mais da metade dos estudantes avaliados obteve resultados mais satisfatórios ou acima do nível mínimo e há que se destacar que, entre os 79 países participantes desta edição do Pisa, o Brasil ficou em 74º no ranking de letramento matemático (PEREIRA; MOREIRA, 2020; AGUIAR; ORTIGÃO, 2012).

CONSIDERAÇÕES FINAIS

Neste texto nos propomos a trazer uma discussão sobre itens liberados da edição do Pisa 2012, focando na análise de três itens públicos da subárea Mudanças e Relações que estão relacionados a atividades do mundo real, manifestadas, matematicamente, pelas mudanças, relações funcionais e dependência entre variáveis. Ou seja, “o mundo, seja o natural ou o produzido pelo homem, envolve uma série de relações temporárias ou permanentes entre objetos e circunstâncias nas quais acontecem mudanças, o que em muitos casos pode envolver mudanças discretas, e em outros, mudanças contínuas” (BRASIL, 2013, p. 32).

De acordo com o relatório do Pisa 2012 sobre os resultados nacionais obtidos nessa edição (BRASIL, 2013), destaca-se que a categoria Mudanças e Relações requer do estudante a compreensão sobre a observação de padrões em processos que envolvem a mudança das quantidades verificadas, de modo a construir e utilizar modelos matemáticos para sua descrição e predição. Assim, exige-se do estudante compreensão dos principais tipos de mudança, bem como das causas e consequências dessas mudanças, com emprego da modelagem matemática para interpretar tais variações (BACCHETTO; PINTO JUNIOR, 2017). O estudante deve, então, ser capaz de “criar, interpretar e transitar entre as diversas representações gráficas e simbólicas” (BRASIL, 2013, p. 32). Destacamos que a performance média apresentada pelos estudantes brasileiros no Pisa 2012 – 371,5 na subescala Mudanças e Relações, como evidenciado na Tabela 1, mais acima –, considerando a escala de proficiência contida na matriz do Pisa (BRASIL, 2013, p. 19), localiza os participantes no nível 1 da escala (de 6 níveis) e caracteriza esses estudantes, com idade média de 15 anos, como

capazes de responder a questões definidas com clareza, que envolvem contextos conhecidos, nas quais todas as informações relevantes estão presentes (...) e executar procedimentos rotineiros de acordo com instruções diretas em situações explícitas. São capazes de executar ações óbvias e dar continuidade imediata ao estímulo dado (idem).

As duas primeiras questões avaliadas (uma de resposta aberta e outra do tipo múltipla escolha) relacionam-se com velocidade média e pretendem verificar se, para além do domínio, incluindo a realização do cálculo da velocidade média a partir das grandezas distância e tempo, o estudante avaliado detinha a habilidade de realizar inferências e estimativas e buscar padrões que lhe permitissem encontrar a resposta correta.

Os resultados encontrados na base de dados revelam que apenas 41,9% dos respondentes conseguiram encontrar o gabarito da questão 1 (A ciclista Helena), considerado um item de nível elementar quanto à dificuldade, enquanto na questão 2 (Escalando o Monte Fuji), que exigia mobilização de mais raciocínio e técnica (cálculo do tempo gasto, considerando diferentes velocidades; os horários inicial e final e outros dados do enunciado), o índice de acertos se apresentou na casa dos 10%. A terceira questão analisada, “Navios velejadores”, envolve termos e moedas desconhecidos e o cálculo simples de porcentagem. Teve como objetivo resolver uma situação real, vista como complexa, envolvendo economia de custos e consumo de combustível. O índice de acertos na questão ficou na casa dos 6%, ou seja, muito aquém do esperado, ainda que, pela solução aqui apresentada, a questão não fosse tão difícil.

Mesmo observando que os resultados nacionais do Pisa 2012 mostraram que os estudantes brasileiros têm conquistado desempenho abaixo da média da OCDE, constatamos que o desempenho médio em Matemática tem apresentado tímida melhoria (OCDE, 2013; ORTIGÃO, 2018). Similarmente, ao se obterem resultados abaixo da média mundial, com melhor desempenho na subárea de Indeterminação e Dados (26,5% abaixo do nível 1), e com uma escandalosa diferença de quase 20 pontos quando comparados com Mudanças e Relações (46,3% abaixo do nível 1) (PEREIRA; MOREIRA, 2020), em que alcançaram o pior desempenho, refletimos sobre as causas e consequências desse desastroso resultado, uma vez que os conteúdos trabalhados na subárea Mudança e Relações aparece mais frequentemente no sétimo e no oitavo anos do Ensino Fundamental. Ou seja, os estudantes estão próximos da realização da edição do Pisa, que é, geralmente, para os alunos com 15 anos de idade, término da escolaridade básica obrigatória na maioria dos países participantes da avaliação.

Nesse sentido, partindo do pressuposto de que a “Matemática deve e precisa ser crítica” (MOREIRA, 2020, p. 15), haja vista que, na perspectiva do Pisa, a indissociabilidade da Matemática com o cotidiano é a mola mestra para compreender e trazer para o mundo real sua aplicação, o pouco progresso conquistado pelos alunos em cada edição do Programa ressalta a enorme lacuna entre o desejado e o alcançado. Com isso, ratifica a necessidade de melhoria no letramento matemático alcançado pelos brasileiros, o que denuncia a necessidade de investimentos na Educação Básica em distintos setores, uma vez que o efeito cascata reflete nas próximas fases da vida da população, seja no acesso ao Ensino Superior, seja nas atividades diárias, tais como interpretação do mundo ao redor, mercado de trabalho, relação entre a oferta e a demanda, entre outros aspectos.

Assim, entendemos que as avaliações externas não são, per si, medidas “puras” e isentas para definir a qualidade das políticas educacionais. Não nos colocamos ao lado daqueles que se utilizam desses resultados para fazer críticas duras e pesadas à escola pública, questionando os investimentos públicos em educação em face dos baixos rendimentos acadêmicos verificados nessas avaliações externas. Entretanto, em que pese o destaque negativo em termos da “qualidade” da educação ofertada que os resultados dessas avaliações podem acarretar, tais resultados podem e devem ser pensados segundo uma perspectiva mais formativa e diagnóstica.

Os dados aqui analisados e os processos de discussão deles precisam retornar às escolas com a intenção de apontar as aprendizagens ainda não concretizadas, levando a um movimento de autoavaliação da escola, visando à produção de propostas didático-pedagógicas que atendam às necessidades constatadas pela comunidade escolar, garantindo uma educação de “qualidade”, por mais polissêmica que possa ser a palavra.

REFERÊNCIAS

AGUIAR, G.; ORTIGÃO, M. I. R. Letramento em Matemática: um estudo a partir dos dados do Pisa 2003. Bolema, Rio Claro, v. 26, n. 42A, p. 1-21, abr. 2012. (DOI https://doi.org/10.1590/S0103-636X2012000100002). Disponível em: https://www.scielo.br/pdf/bolema/v26n42a/02.pdf. Acesso em: 23 fev. 2021.

ANDRADE, W. M. O Sistema Permanente de Avaliação da Educação Básica do Ceará (Spaece) e o currículo escolar: implicações no 9º ano do Ensino Fundamental. 2021. 221f. Tese (Doutorado em Educação Brasileira) - Faculdade de Educação, Universidade Federal do Ceará, Fortaleza, 2021.

ARRUDA, F. S. et al. Letramento matemático: um olhar a partir das competências matemáticas propostas na Base Nacional Comum Curricular do Ensino Fundamental. Ensino da Matemática em Debate, São Paulo, v. 7, n. 2, p. 181-207, 2020. Disponível em: https://revistas.pucsp.br/index.php/emd/article/view/48745/pdf. Acesso em: 9 fev. 2021.

BACCHETTO, J. G.; PINTO JUNIOR, W. N. Oportunidade de aprendizagem de conteúdo em Matemática no Pisa 2012. Estudos em Avaliação Educacional, São Paulo, v. 28, n. 68, p. 418-442, maio/ago. 2017. Disponível em: http://publicacoes.fcc.org.br//index.php/eae/article/view/3905. Acesso em: 04 fev. 2021.

BARRIGA, A. D. A prova Pisa: idealização, cidadania global, imposição cultural e ausência de impacto pedagógico didático. In: ORTIGÃO, M. I. R. (Org.). Políticas de avaliação, currículo e qualidade: diálogos sobre o Pisa. Curitiba: CRV, 2018, p. 19-38. (Série: Temas em Currículo, Docência e Avaliação, v. 3).

BAUER, A. et al. (Orgs.). Vinte anos de avaliação de sistemas educacionais no Brasil: origens e pressupostos. Ciclo de Debates. v. 1. Florianópolis: Insular, 2013.

BAUER, A. et al. Avaliações em larga escala: uma sistematização do debate. Revista Educação e Pesquisa, São Paulo, v. 41, n. especial, p. 1.367-1.382, dez., 2015. Disponível em: https://doi.org/10.1590/S1517-9702201508144607. Acesso em: 7 set. 2020.

BAUER, A.; GATTI, B. A. (Orgs.). Vinte e cinco anos de avaliação de sistemas educacionais no Brasil: implicações nas redes de ensino, no currículo e na formação de professores. Ciclo de Debates. v. 2. Florianópolis: Insular, 2013.

BRASIL. Ministério da Educação. Base Nacional Comum Curricular - BNCC. Brasília: MEC, 2017. Disponível em: http://basenacionalcomum.mec.gov.br/images/BNCC_EI_EF_110518_versaofinal_site.pdf. Acesso em: 2 set. 2020.

BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Relatório Nacional Pisa 2012. Brasília: Inep, 2013. Disponível em: http://download.inep.gov.br/acoes_internacionais/pisa/resultados/2014/relatorio_nacional_pisa_2012_resultados_brasileiros.pdf. Acesso em: 7 set. 2020.

CALDATO, J. C.; AGUILAR-JÚNIOR, C.A. Argumentação e Prova em Matemática: uma análise dos itens públicos do PISA 2012. Revista Baiana de Educação Matemática, v. 01, p. 01-24, e202021, jan./dez., 2020. Disponível em: https://www.revistas.uneb.br/index.php/baeducmatematica/article/view/10321. Acesso em 19 set. 2021.

FONSECA, V. G.; MANDARINO, M. C. F. O ensino aprendizagem de estatística no ensino médio por meio de projeto interdisciplinar. In: 5º ENCONTRO ESTADUAL DE EDUCAÇÃO MATEMÁTICA - V EEMAT. Out. 2010, Rio de Janeiro. Anais... Rio de Janeiro, SBEM-RJ, p. 56-66, 2010.

FRANCO, C.; BONAMINO, A. Iniciativas recentes da avaliação da qualidade da educação no Brasil. In: FRANCO, C. (Org.). Avaliação, ciclos e promoção na educação. Porto Alegre: Artmed, 2001. p. 15-28.

GONSALVES, E. P. Conversas sobre iniciação à pesquisa científica. 2. ed. Campinas: Alínea, 2001.

LIMA, P. V. P. et al. Brasil no Pisa (2003-2018): reflexões no campo da Matemática. Tangram - Revista de Educação Matemática, v. 3, p. 03-26, 2020.

LIMA, R. de L. Avaliação em Geometria no Pisa 2012: uma análise dos conteúdos e dos itens disponibilizados pelo INEP. 2016. 114f. Dissertação (Mestrado Acadêmico em Educação, Cultura e Comunicação) - Faculdade de Educação da Baixada Fluminense, Universidade do Estado do Rio de Janeiro, Duque de Caxias, 2016. Disponível em: http://www.bdtd.uerj.br/tde_busca/arquivo.php?codArquivo=10804. Acesso em: 21 fev. 2020.

MACEDO, E. Base Nacional Curricular Comum: novas formas de sociabilidade produzindo sentidos para Educação. e-Curriculum, São Paulo, v. 12, n. 3 p. 1.530-1.555, out./dez. 2014. Disponível em: https://revistas.pucsp.br/index.php/curriculum/article/view/21666/15916. Acesso em: 9 fev. 2021.

MACIAS, E. M.; MONEREO C. M. Transformar a avaliação através do Pisa: o Projeto GAPPisa. In: ORTIGÃO, M. I. R. (Org.). Políticas de avaliação, currículo e qualidade: diálogos sobre o Pisa. Curitiba: CRV, 2018. p. 69-90. (Série: Temas em Currículo, Docência e Avaliação, v. 3).

MENDES, G. M. L.; SEGABINAZZI, M. Incluir, comparar e competir: serviços de avaliação externa em larga escala e inclusão escolar. Revista Educação Especial, Santa Maria, v. 31, n. 63, p. 849-862, out./dez. 2018. Disponível em: http://dx.doi.org/10.5902/1984686X33104. Acesso em: 15 fev. 2021.

MONEREO, C. (Org.). Pisa como escusa. Repensar la evaluación para cambiar la enseñanza. Barcelona: Graó, 2009.

MONEREO, C.; CASTELLÓ, M.; DURÁN, D.; GÓMEZ, I. Las bases psicoeducativas del proyecto Pisa como guía para el cambio en las concepciones y prácticas del profesorado de secundaria. Infancia y Aprendizaje, v. 32, n. 3, p. 421-447, 2009. Disponível em: https://www.researchgate.net/publication/233651476_Las_bases_psicoeducativas_del_proyecto_Pisa_como_guia_para_el_cambio_en_las_concepciones_y_practicas_del_profesorado_de_secundariaThe_psychoeducational_principles_of_the_Pisa_project_as_a_guide_for_ch. Acesso em: 23 fev. 2021.

MOREIRA, G. E. (Org.). Práticas de ensino de Matemática em cursos de licenciatura em Pedagogia: oficinas como instrumentos de aprendizagem. São Paulo: Editora Livraria da Física, 2020.

ORGANIZAÇÃO PARA COOPERAÇÃO E DESENVOLVIMENTO ECONÔMICO (OCDE). Country note – Results from Pisa 2012. [s.l.]: OCDE, [s.d]. Disponível em: http://download.inep.gov.br/acoes_internacionais/pisa/resultados/2013/country_note_brazil_ pisa_2012.pdf. Acesso em: 04 fev. 2021.

ORTIGÃO, M. I. R.; AGUIAR, G. S. Letramento em Matemática: um estudo a partir dos dados do Pisa 2003. Bolema, Rio Claro, v. 26, n. 42A, p. 1-21, abr. 2012. Disponível em: https://www.scielo.br/pdf/bolema/v26n42a/02.pdf. Acesso em: 9 fev. 2021.

ORTIGÃO, M. I. R. et al. Letramento em Matemática no Pisa: o que sabem e podem fazer os estudantes? Zetetiké (online), p. 375-389, 2018. Disponível em: http://https://periodicos.sbu.unicamp.br/ojs/index.php/zetetike/issue/view/1256/showToc. Acesso em: 2 set. 2020.

ORTIGÃO, M. I. R.; AGUIAR, G. S. Letramento em Matemática no Pisa. SEMINÁRIO INTERNACIONAL DE PESQUISA EM EDUCAÇÃO MATEMÁTICA, 5, out. 2012, Petrópolis, Rio de Janeiro. Anais... Brasília, Sociedade Brasileira de Educação Matemática, 2012. Disponível em: http://www.sbembrasil.org.br/files/v_sipem/PDFs/GT08/CC66430259749_B.pdf. Acesso em: 9 set. 2020.

PEREIRA, C. M. M. C.; MOREIRA, G. E. Brasil no Pisa 2003 e 2012: os estudantes e a Matemática. Cadernos de Pesquisa, São Paulo, v. 50, n. 176, p. 475-493, abr./jun. 2020. Disponível em: https://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-15742020000200475&lng=pt&nrm=iso&tlng=pt. Acesso em: 2 set. 2020.

SILVA, L. A.; MANDARINO, M. C. F. Dificuldades no aprendizado de álgebra no oitavo ano do Ensino Fundamental. 5º ENCONTRO ESTADUAL DE EDUCAÇÃO MATEMÁTICA - V EEMAT. Out. 2010, Rio de Janeiro. Anais... Rio de Janeiro, SBEM-RJ, p. 84-96, 2010.

VAZ, R. F. N.; AGUILAR-JÚNIOR, C.A.; NASSER, L. Avaliações internas e externas para as aprendizagens: um debate necessário. In: SILVA, I. V.; KISTERMANN-JUNIOR, M. A. (Org.) Avaliação da Aprendizagem: possibilidades para a prática docente na educação básica. 2ª ed. ampliada e revisada. Taubaté: Editora Akademy, 2021. p. 137-156.

Notas

Ligação alternative

https://www.revistasbemsp.com.br/index.php/REMat-SP/article/view/56 (pdf)