Uma avaliação dos adolescentes sabichões do PISA
O Programa Internacional de Avaliação de Estudantes (PISA) é mundialmente conhecido e seus resultados são utilizados para comparar e/ou medir o resultado educacional dos países participantes.
Os estudantes fazem um teste de duas horas de duração, solicitando habilidades de leitura, ciências e matemática. Além disso, eles respondem um questionário de base que envolve perguntas com temas mais amplos, que vão além do aspecto educacional, como: autoconfiança, expectativas de vida, atividades extraclasse, etc. Permitindo, dessa forma, a análise de aspectos sociais, demográficos e econômicos não contemplados no escopo do teste específico.
Até aí, nenhuma novidade…
O que me chamou a atenção foi uma pesquisa realizada por Jonh Jerrim, Phil Parker e Nikki Shure (clique aqui para acessar a pesquisa), que, de certa forma, inaugurou uma novo aspecto a ser considerado na avaliação de estudantes. Eles resolveram avaliar aqueles estudantes que declaram falsamente o domínio de um determinado conhecimento ou habilidade, isto é, aqueles estudantes que mentem quanto ao seu real domínio de conhecimento. No Brasil, tem um personagem muito conhecido que representa, de forma bem humorada, este tipo de estudante.
Armando Volta, conhecido por seu bordão “Sambarilove”, da escolinha do professor Raimundo. Lembram?
Trata-se do famoso “sabichão”.
Mas, como eles fizeram isso?
Na edição do PISA de 2012, estudantes de 15 anos de idade de todo mundo foram indagados sobre o entendimento de 16 descritores de conhecimentos em matemática. Assim, eles foram solicitados a indicar o grau de entendimento a partir de uma escala de 1-5 pontos, na qual a escala 1 equivale a nunca ouvi falar (do conhecimento) e a escala 5 significa conheço bem, entendo o conceito.
Na verdade, foi uma grande “pegadinha”, pois 3 dos 16 descritores apresentavam conteúdo sem lógica. Ou seja: eram construções matemáticas sem fundamentos (descritores sem fundamento: Proper number, Subjunctive scaling e Declarative fraction). Portanto, não eram descritores passíveis de uma classificação acima de 1 na escala proposta.
Os descritores falsos ajudaram a criar a bullshit scale, em tradução livre:
“A escala da mentira”.
O gráfico abaixo compara as pontuações médias nessa escala nos países de língua inglesa:
* Números positivos indicam estar acima da média internacional e negativos indicam abaixo da média internacional na bullshit scale
Os americanos e canadenses são os maiores bullshitters entre os países de língua inglesa, por outro lado, os escoceses ficaram com a primeira posição entre os estudantes mais sinceros.
A pesquisa também analisou a propensão para bullshit (mentir sobre o seu real nível de conhecimento) em diferentes grupos demográficos.
Veja o próximo gráfico:
O gráfico indica que a maioria dos bullshitters são do sexo masculino e ricos. Parece que, mais uma vez, os homens não saíram bem na “foto”, principalmente os canadenses. No entanto, o real motivo dessas diferenças demográficas ainda não foi elucidado. Embora alguns autores sugiram algumas possíveis motivações.
Primeiramente: as pessoas sofrem algum tipo de pressão social para emitir opinião sobre assuntos diversos e a vontade de interagir e se inserir socialmente pode ser uma motivação.
Além disso, a sensação de que não vai ser pego na mentira também pode estimular essas pessoas a assumirem o domínio inexistente de um conhecimento. Como quase sempre acontece, a falta de integridade do indivíduo associada a percepção de impunidade impulsionam a mentira.
Assim, o mais interessante nesse estudo é observamos o quão importante é a aplicação metodologicamente correta de protocolos de avaliação de estudantes. Os dados precisam ser corretamente obtidos, seguindo as boas práticas em avaliação de estudantes. Dessa forma, esses dados podem ser processados de diferentes maneiras e muitas análises que, inicialmente, não foram planejadas, podem ser feitas. No caso, foram utilizadas as informações obtidas no PISA, mas nada impede de extrairmos mais informações de nossas avaliações institucionais, processando-as e criando novos indicadores de desempenho de estudantes.