A "misteriosa" pontuação do ENEM: Veja como sua nota deve ter sido calculada

Mãos à obra

Esta parte do post é dedicada a mostrar o processo prático. Como já foi dito no começo do texto, se o leitor notar qualquer equívoco, basta manifestar-se nos comentários, que estou disposto a corrigi-lo(s).

O programa BILOG-MG, usado pelo INEP pra obter as notas, é pago, e sua versão de demonstração (demo ou trial), baixada de graça, só funciona durante 15 dias. No momento em que publiquei este post, restavam 8 dias pra usar o programa.

Começando do zero

Tudo se inicia no leitor óptico dos gabaritos: ele interpreta as informações como um código de barras e transfere as informações para o computador ao qual está conectado. Os dados são armazenados em arquivos .dat. Por exemplo: 2 alunos fazem uma prova de 12 questões de múltipla escolha, com as alternativas A, B, C e D. O arquivo fica assim:

1  124311332131

2 321144242121

Ou seja, letra A = 1, letra B = 2, letra C = 3 e letra D = 4.

- Número de identificação do indivíduo: 1; Respostas que ele marcou: 124311332131
- Número de identificação do indivíduo: 2; Respostas que ele marcou: 321144242121

O número de identificação de cada indivíduo é definido pelo usuário. No exemplo acima, identifiamos os indivíduos por números simples: indivíduo "1" e indivíduo "2". Mas numa prova como o ENEM, os indivíduos são identificados pelo número de inscrição ou então pelo número do cartão de resposta.

Falaremos sobre o gabarito da prova depois.

Os arquivos .dat podem ser abertos e editados no Bloco de Notas do Windows:

(clique para ampliar)

Nessa imagem, vê-se as respostas feitas por 1000 alunos a uma prova de 15 questões de múltipla escolha com 5 alternativas: A(1), B(2), C(3), D(4) e E(5). O número 9 significa que o aluno deixou a questão em branco.

No entanto, colocar 1000 notas neste post é um exagero e seria cansativo analisar a situação de todos os alunos. Por isso, vamos usar um grupo bem menor.

Nosso exemplo

Vamos calcular as notas de um pequeno grupo de 10 alunos, que responderam a uma prova de 20 questões, sendo 10 de Ciências da Natureza e 10 de Matemática. As questões eram de múltipla escolha, com 5 alternativas.

Como não temos um leitor óptico, o jeito é criar um arquivo .dat no Bloco de Notas. Porém, é muito trabalhoso digitar respostas de 1 a 5, como nos exemplos anteriores. Aqueles tinham sido gerados por uma máquina. Além do mais, o programa não liga se foi alternativa A, B, C, D ou E. Para o cálculo, o que importa na questão é:
- Quantas alternativas ela possui (para calcular a probabilidade do "chute") e
- Se o aluno acertou ou errou a questão.

Então, para ter menos trabalho, vamos digitar as respostas pela convenção: "0" significa erro, e "1" significa acerto. Porém, mais tarde vamos informar ao programa que existem 5 alternativas, para as probabilidades serem calculadas corretamente.

(clique para ampliar)

Abrimos o Bloco de Notas e simplesmente digitamos...

...E na hora de salvar, escolhemos a opção "Todos os arquivos" e digitamos o nome do documento com ".dat" no final

O arquivo "PROVA.dat" foi salvo na pasta do programa BILOG-MG.

Trabalhando com o BILOG-MG

(clique para ampliar)

A interface do BILOG-MG é bem resumida. Pra criar um novo trabalho, clicamos no ícone destacado.

Enão escolhemos a pasta onde o novo trabalho deve ser salvo. Ele se chamará PROVA.blm e vai ficar salvo na própria pasta do BILOG.

O arquivo na verdade é todo à base de comandos. Mas o usuário não precisa saber todos eles, basta ajustar as configurações, e depois ir no menu "Run -> Build syntax", que os principais comandos são inseridos automaticamente.

Comecemos ajustando o menu "Setup".

No campo "Total number of items", informamos que a prova terá 20 questões no total.
No campo "Number of Subtests", informamos que serão 2 subtestes (pois a prova terá a parte de Ciênc. da Natureza e a de Matemática).
No campo "Number of Examinee Groups", informamos que estamos examinando um único grupo.

A seguir, informamos o modelo logístico: é o de 3 parâmetros (ML3, em inglês 3PL), na escala normal. E não será usado nenhum modelo especial: será o padrão (standard), apresentado no início deste post.

Agora informamos que as questões possuem 5 alternativas, sendo representadas pelos números 0, 1, 2, 3 e 4.

Para renomear os subtestes, clicamos duas vezes sobre os "quadradinhos". O limite é de 8 caracteres.

Na caixa de diálogo "Item Analysis", guia "Subtests", informamos que cada subteste tem 10 questões. Ambos serão analisados (Y) e que nenhuma questão deixará de ser usada para pontuação (variant items = 0).

Na guia "Subtest Items", especificamos as características item por item.
O que conta são os itens (questões) em negrito, que são escolhidos dando clique-duplo sobre eles:
Nenhum deles é "variante". Os itens 1 a 10 são de Ciências da Natureza e os itens 11 a 20 são de Matemática.

Na guia "Advanced", temos opções avançadas para a estimação dos parâmetros dos itens. Aqui vamos informar que os parâmetros a (inclinação - slope) e c (prob. do "chute" - guessing) devem ser estimados antecipadamente. Nenhuma outra configuração padrão é alterada.

Na caixa de diálogo "Test Scoring", guia "General", informamos o método a ser utilizado na estimação das habilidades: o Bayesiano (EAP), com distribuição normal do traço latente. Também informamos que as pontuações devem ser listadas.

Na guia "Rescaling", informamos que as pontuações devem ser transformadas da seguintes forma: novaPontuação = (100*pontuaçãoInicial) + 500. Essa é a escala que o ENEM usa. A pontuação inicial viria com valores entre -1 e 1. Na nova pontuação (escala do ENEM), as notas vão vir com valores entre 0 e 1000. Mas o número 1000 não é a pontuação máxima nem o 0 é a mínima, pois as questões têm pesos diferentes e a nota de cada aluno está ligada ao desempenho de todos os outros.

Vamos agora ajustar o menu "Data".

Na caixa de diálogo "Examinee Data (dados dos examinados)", guia "General", informamos que o campo destinado ao número de identificação do examinado possui 3 caracteres. Por exemplo:

10 11111100111111111110

Os 3 caracteres iniciais (número 10 + 1 espaço) são reservados ao número de identificação do candidato:10 .

Na guia "Data File", vamos agora carregar o arquivo "PROVA.dat", clicando em "Browse"(procurar)...

....E selecionamos o arquivo.

No arquivo "PROVA.dat" estão os dados de 1 indivíduo por linha. Por isso informamos agora que, do 1º ao 3º caractere da linha é o número de identificação do indivíduo, e do 4º ao 23º caractere da linha são as respostas que o indivíduo deu. Em seguida temos que clicar em "Set Format" para essas configurações serem guardadas.

Na guia "Enter Data", clicamos em "Open" e vemos que os dados foram interpretados corretamente pelo programa.

Hora de colocar o garatito da prova. Conforme esclarecido neste post, vamos só digitar 20 números 1 em sequência, pra simbolizar "tudo certo".

Para salvar o gabarito, digitamos o nome dele com a terminação .key, e clicamos em "Save".

Agora na caixa de diálogo "Group-Level Data", não modificamos nada na guia "General", e na guia "Data File" clicamos em "Show Data". Tudo OK!

Agora vamos para a função "Save"...

...E pedimos pra salvar a pontuação num arquivo, pro programa poder gerar todos os gráficos com as estatísticas.

Pra finalizar, a parte mais importante: no menu "Run", clicamos na opção "Build Syntax". Assim, os comandos são gerados automaticamente, de acordo com nossos ajustes:

(clique para ampliar)

Note que se não fizéssemos isso e tentássemos salvar o trabalho, todos os ajustes seriam perdidos.

Agora vem o único comando inserido manualmente: o número de pontos de quadratura (NQPt) para cada subteste. Vamos usar 15 pontos:

E salvamos o nosso trabalho clicando no ícone:

Tudo pronto!

Clicamos no menu "Run -> Stats, Calibration and Scoring", que vai calcular tudo sobre essas provas: estatísticas, parâmetros dos itens e pontuação dos alunos!

E pronto! O arquivo de comandos foi executado com sucesso!

Os dados estão disponíveis em 3 "Output Files" (arquivos de saída). A pontuação dos alunos está no 3º arquivo: