O colunista escreve que isso "nada tem a ver com qualquer teoria matemática".
Fomos verificar isso na prática. Pegando como exemplo uma turma de 11 alunos, que responderam a um teste de 20 questões, sendo 10 de Ciências da Natureza e 10 de Matemática, com 5 alternativas (A, B, C, D e E), onde o 11º aluno zerou as duas provas. Utilizando o programa de computador BILOG-MG pra calcular as notas, a classificação final é:
Ciências da Natureza
| Posição | ID do aluno | Nota TRI | Acertos (%) |
| 1 | A4 | 674.8 | 100 |
| 2 | A10 | 596.3 | 80 |
| 3 | A3 | 591.7 | 80 |
| 4 | A2 | 546.6 | 60 |
| 5 | A7 | 501.3 | 60 |
| 6 | A1 | 498.3 | 50 |
| 7 | A6 | 478.3 | 50 |
| 8 | A5 | 450.2 | 40 |
| 9 | A9 | 426.7 | 30 |
| 10 | A8 | 368.0 | 10 |
| 11 | A11 | 356.8 | 0 |
Matemática
| Colocação | ID do aluno | Nota TRI | Acertos (%) |
| 1 | A7 | 681.7 | 100 |
| 2 | A10 | 641.2 | 90 |
| 3 | A4 | 606.8 | 80 |
| 4 | A3 | 546.8 | 60 |
| 5 | A6 | 515.1 | 50 |
| 6 | A1 | 490.4 | 50 |
| 7 | A9 | 457.0 | 30 |
| 8 | A5 | 428.8 | 20 |
| 9 | A2 | 384.8 | 20 |
| 10 | A8 | 363.1 | 10 |
| 11 | A11 | 361.7 | 0 |
O aluno que não acertou nenhuma questão ficou com nota 356.8 em Ciências da Natureza e 361.7 em Matemática. Ou seja, o fato de uma pessoa deixar o gabarito em branco e tirar uma nota em torno de 300 no ENEM tem, sim, a ver com a Teoria da Resposta ao Item. O programa que faz os cálculos oferece duas possibilidades para uma questão deixada em branco pelo aluno: ou ela conta como "erro", ou como "parcialmente correta". A primeira opção é escolhida para o ENEM, por isso um gabarito em branco é interpretado pelo programa como "todo errado", como se a pessoa tivesse respondido todas as questões e errado todas.
No uso do programa BILOG, "um gabarito em branco é um gabarito todo errado", e ele não vale zero. Uma brecha que oculta esse tipo de comportamento do aluno, de não responder nada.
Com isso, as pessoas que não assinalaram nada no gabarito só podem ter nota zero se for feito algum procedimento adicional fora do programa BILOG. Se os dados forem inseridos direto no programa, a nota zero não aparece. Não há garantia que o mesmo procedimento tenha sido aplicado para todos os alunos, ou seja: algumas pessoas podem ter deixado em branco e tirado zero; outras podem ter deixado em branco e tirado a nota mínima.
Isso revela a falta de transparência da TRI em situações extremas. O que entendemos por "transparência" é a capacidade de a pontuação expressar claramente o que aquele aluno foi capaz de fazer. No exemplo acima, o número 361.7 leva a crer que o aluno foi mal, apenas isso, quando na verdade ele não conseguiu nada. Outra situação interessante que demonstra essa característica é pegar um aluno, que responde a uma mesma prova, exatamente da mesma maneira, mas trocar o grupo no qual ele está inserido.
Por exemplo: uma prova de 10 questões, feita por 15 alunos, com 5 alternativas por questão (ABCDE). Vamos construir dois cenários bem distintos nessa situação. O esforçado aluno A1 estará presente em ambos os cenários. Ele vai acertar todas as questões. A pontuação será calculada através do procedimento mostrado aqui.
Cenário hipotético 1
A turma fez uma prova equilibrada:
| Colocação | Nota TRI | Acertos (%) |
| 1 | 679.3 | 100 |
| 2 | 643.1 | 90 |
| 3 | 613.2 | 80 |
| 4 | 573.7 | 70 |
| 5 | 566.3 | 70 |
| 6 | 539.2 | 60 |
| 7 | 498.4 | 40 |
| 8 | 459.8 | 40 |
| 9 | 457.3 | 40 |
| 10 | 429.1 | 30 |
| 11 | 412.7 | 30 |
| 12 | 411.7 | 20 |
| 13 | 401.1 | 20 |
| 14 | 396.6 | 10 |
| 15 | 382.1 | 0 |
Anexo - Respostas dadas pelos alunos
Cenário hipotético 2
A turma foi mal na prova, com exceção do aluno A1:
| Colocação | Nota TRI | Acertos (%) |
| 1 | 765.4 | 100 |
| 2 | 563.6 | 50 |
| 3 | 492.4 | 10 |
| 4 | 476.5 | 30 |
| 5 | 476.5 | 30 |
| 6 | 464.1 | 30 |
| 7 | 436.4 | 20 |
| 8 | 434.1 | 10 |
| 9 | 433.9 | 10 |
| 10 | 433.9 | 10 |
| 11 | 433.9 | 10 |
| 12 | 428.4 | 0 |
| 13 | 428.4 | 0 |
| 14 | 428.4 | 0 |
| 15 | 428.4 | 0 |
Anexo - Respostas dadas pelos alunos
Agora, responda com sinceridade: olhando apenas a nota TRI, dá pra ter uma noção precisa do desempenho dos alunos? E olhando somente a porcentagem de acertos?
E qual a pontuação mais adequada para os principais vestibulares, aqueles que querem saber exatamente qual aluno estão avaliando?
Uma teoria matemática complexa vale mais que o senso comum?
Tire suas próprias conclusões.
A lógica dos escores padronizados, calculados a partir da TRI ou a partir da teoria clássica dos testes, não segue a mesma lógica das notas costumeiramente empregadas nos testes escolares, com um espectro que vai do zero ao dez e com a nota representando a proporção da prova, ponderada por pesos ou não, que foi corretamente correspondida. A lógica dos escores padronizados segue a lógica da média e desvio padrão, que é mais informativa para comparações de grandes populações. Mas isso demanda comunicação e relações públicas, para que o público examinado possa interpretar corretamente os escores.
ResponderExcluir