20/12/2011

No Cerne do ENEM, o Teorema de Bayes

Cerca de $5$ milhões de brasileiros fizeram a prova do Exame Nacional do Ensino Médio (ENEM) em outubro. O organizador da prova, Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), mostrou o gabarito poucos dias depois. Suponha que um dos estudantes, hipoteticamente chamado de Isaac Newton, tenha resolvido as questões de matemática que ele sabia, e que, antes de entregar a prova, tenha chutado as respostas que não sabia. Afinal, entre cinco alternativas $(a, b, c, d$ ou $e)$, a chance de acertar uma delas no chute é de $1/5$, ou seja, $20\%$. Com o gabarito oficial em mãos, Isaac Newton descobre que acertou uma das questões no chute. Em janeiro de $2012$, quando usar seu CPF para saber a nota individual, aprenderá uma lição: é difícil enganar computadores. Para azar dele, os computadores a serviço do INEP vão soltar um relatório dizendo, mais ou menos, assim: "É muito alta a chance de que nosso amigo Isaac Newton tenha acertado essa questão no chute. Nós, computadores, recomendamos desconsiderar essa questão na nota final do Isaac Newton".

Para organizar o ENEM, técnicos do INEP usam um método estatístico conhecido como TRI (Teoria da Resposta ao Item). É um método usado por médicos, militares, propagandistas, administradores de empresas, esportistas. Quando uma empresa usa o TRI para organizar qualquer tipo de questionário, ela ganha uma pergunta importante: qual é a probabilidade de que uma pessoa tenha acertado a questão $x$ por seu próprio mérito ou por acaso? Se a probabilidade for alta, a empresa atribui o mérito da resposta ao respondente; se a probabilidade for baixa, ela ignora a questão, pois é mais provável que o respondente tenha chutado.

Ao usar o TRI, o governo ganha várias vantagens: ele consegue informação mais precisa de quem sabe exatamente o quê, consegue comparar escolas da zona rural de Manaus com escolas do centro de São Paulo. A TRI, contudo, é menos ótima para quem faz o teste: o estudante, seu professor, seus pais. Se Isaac Newton quisesse saber como a TRI funciona, e por que sua nota é aquela divulgada pelo governo, teria que de estudar estatística avançada. Especialistas no assunto dizem que o Ministério da Educação (MEC) deve continuar usando a TRI nas avaliações oficiais, pois, pressupondo que o MEC esteja fazendo tudo com boa vontade, isso é bom para o Brasil. Mas, a cada rodada do ENEM, falta divulgar informações de um jeito que o estudante, seu professor e seus pais possam compreender e usar.

O Mais Provável

Raquel Cunha Valle, estatística da Fundação Carlos Chagas, diz que podemos usar uma fita métrica para medir a altura de uma pessoa em centímetros, ou usar uma balança para medir seu peso em quilogramas, mas como medimos o que uma pessoa sabe ou ignora? "A resposta da teoria da resposta ao item", diz Raquel, "é criar uma unidade de medida para o conhecimento".

Uma tabela muito simples, mostrada abaixo, pode ajudar leitores como Isaac Newton a entender o que lhes aconteceu. No caso de uma prova como a do ENEM, $"C"$ significa "acertou" e $"E"$ significa "errou".
Neste nosso exemplo, Gauss acertou as cinco questões, provavelmente sabe $100\%$ do que deveria saber. Euler, acertou quatro questões e errou uma, provavelmente sabe $80\%$ do que deveria saber. Arquimedes acertou três questões e errou duas, provavelmente sabe $60\%$ do que deveria saber. E assim por diante. A ênfase na palavra provavelmente serve para destacar a natureza estatística da TRI. Da mesma forma, a questão $1$, que somente uma pessoa acertou, é difícil demais para $80\%$ dos candidatos. A questão $2$, que só duas pessoas responderam corretamente é difícil demais para $60\%$ dos candidatos. E assim por diante.

Agora, imagine o Isaac Newton como sendo a sexta pessoa da tabela acima:

Note que ele também acertou duas questões e errou três, e que, portanto, sua média é igual à média de Einstein. Isaac Newton parece saber $40\%$ do que deveria saber. Mas sua prova tem lógica? Até que ponto uma pessoa consegue acertar uma questão difícil (questão $1$) e errar três questões mais fáceis? Não é mais provável que Isaac Newton tenha chutado a resposta da questão $1$?

Ao realizar um teste comum, o MEC só consegue descobrir duas coisas: quantas questões a pessoa acertou e quantas errou. Mas, ao realizar um teste com todas as ferramentas estatísticas da TRI, o MEC consegue saber, com maior grau de precisão, o que uma pessoa sabe ou ignora.

Tufi Machado Soares, professor da Universidade Federal de Juiz de Fora (MG) e coordenador de pesquisas do Centro de Políticas Públicas e Avaliação da Educação, explica as principais alavancas de ajuste num modelo estatístico feito com base na TRI: dá para ajustar o grau mínimo de conhecimento para responder a uma questão com $50\%$ de chance, dá para ajustar até que ponto a questão vai discriminar entre quem sabe e quem ignora, e dá para saber a probabilidade de que alguém acerte a questão por acaso (chutando). Essas três alavancas têm nomes técnicos complicados (traço latente do $j-\text{ésimo}$ indivíduo) e simbolizados por letras gregas e latinas $(\theta _j)$.

Para explicar a mágica da TRI, especialistas como Raquel e Tufi Machado sempre mostram uma curva famosa: curva característica do item:



Na imagem acima, $\theta$ representa o que a pessoa sabe, e se $\theta = 0$ significa que a pessoa tem conhecimentos suficientes para acertar uma questão com probabilidade de $50\%$ - ela tem conhecimentos suficientes para, nesta questão, decidir a resposta no cara e coroa. Se ela fizer isso, os computadores do INEP não conseguirão dedurá-la, pois ela acertou outras questões com o mesmo grau de dificuldade. Mas se $\theta = –5$, significa que a pessoa tem conhecimentos suficientes para acertar a questão com probabilidade de $2\%$. Em outras palavras, significa que, caso ela acerte a questão, é bem provável que tenha chutado, e os computadores do INEP vão dedurá-la.

Exame por Computador

Especialistas independentes e técnicos do INEP não se cansam de mencionar as vantagens do TRI. Se a prova for bem desenhada, o avaliador pode cancelar uma questão errada sem prejudicar ninguém, pois as probabilidades são calculadas para as questões válidas. Se uma questão estiver escrita de modo a confundir pessoas com conhecimentos avançados, isto ficará claro, pois os computadores vão mostrar um grande número de pessoas com conhecimentos avançados errando a mesma questão, o que é pouco provável. Se uma pessoa se submeter a duas provas diferentes, mas feitas segundo a TRI, é provável que sua nota seja quase a mesma nas duas provas. O MEC pode comparar pessoas de regiões diferentes em anos diferentes. Se alguém obtiver os gabaritos da prova e vendê-los por um bom dinheiro, os computadores do INEP serão capazes de detectar a discrepância estatística.

A TRI só existe porque existem computadores. Sem eles, seria impossível calcular à mão todas as variáveis do modelo estatístico. Na fórmula principal da TRI, cada pessoa é descrita por meio de sete variáveis e quatro constantes. No ENEM, com $5$ milhões de pessoas, são $35$ milhões de variáveis e $20$ milhões de constantes para calcular e comparar umas com as outras. Quando o INEP tiver um banco de dados de itens de tamanho adequado, os estudantes poderão realizar as provas por meio do computador: o estudante acerta uma questão e o computador puxa do banco de dados uma questão um pouco mais difícil; o estudante erra uma questão e o computador puxa uma questão um pouco mais fácil. Com esse método, o MEC conseguirá medir com precisão maior ainda o que o estudante sabe.

Bula Indecifrável

Críticos do ENEM vivem dizendo que o governo esconde os critérios pelos quais forma a nota de cada aluno. Afinal, os critérios são públicos ou são segredo de Estado? Tufi Machado diz que não há segredo algum: se a pessoa for ótima de estatística, se ela tiver conhecimentos profundos sobre a TRI, e se ela for persistente feito um mosquito da dengue, então ela conseguirá ter acesso aos critérios técnicos e talvez até aos dados brutos. "Os critérios até que são bem conhecidos pelos especialistas no assunto", fiz Tufi. Contudo, se a pessoa for um estudante, ou seu professor, ou um de seus pais, aí sim ela está numa enrascada. Até agora, o governo brasileiro não demonstrou interesse em divulgar critérios técnicos e dados brutos com frequência e clareza.

Explicar a TRI é difícil mesmo. Um exemplo: se o estudante tira a nota média do ENEM, ele tira $500$, pois o INEP atribui valor $500$ à nota média. Contudo, numa escala de $0$ a $10$, a nota média de uma ano pode ser $6$ e de outro ano pode ser $5,5$. Nos dois casos, o aluno que tirar a nota média vai tirar $500$. Se ele tirar mais de $500$, significa apenas que tirou mais que a nota média. Se tirar menos que $500$, significa que tirou menos que a nota média. "A TRI é como se fosse um tipo de mágica", diz Raquel Valle, "mas poucos têm acesso ao truque".

Especialistas em modelagem matemática sabem que, quanto mais fielmente o modelo matemático representa a realidade, mais complicado ele é, pois a realidade é bem complicada. A TRI é complicada simplesmente porque ela retrata a realidade de modo melhor. Porém, isso não é desculpa para explicar a TRI com linguagem supertécnica. É possível pensar na TRI como uma bula. Se você escrever a bula com linguagem médica muito técnica, o paciente não vai entender nem mesmo para que serve o remédio.

O Teorema de Bayes

Os criadores da teoria da resposta ao item usaram como ferramenta principal o teorema de Bayes, criado pelo matemático inglês Thomas Bayes $(1702 – 1761)$. O teorema trata de uma questão importante, cotidiana até, mas difícil de entender: qual é a probabilidade de que o evento $A$ tenha ocorrido, visto que o evento $B$ acabou de ocorrer? O símbolo para isso é $Pr(A \mid B)$.

Teorema: Os eventos $A_1, A_2, A_3, \cdots , A_k$ são eventos mutuamente exclusivos, cuja união é todo o espaço amostral de um experimento. O evento $B$ é um evento com probabilidade diferente de zero $(Pr(B) \neq 0)$. Sendo assim:
\begin{equation*}
Pr(A_i \mid B)=\frac{Pr(B \mid A_i)\cdot Pr(A_i)}{\sum _{x=1}^{k} Pr(B \mid A_x)\cdot Pr(A_x)}
\end{equation*}
Um exemplo para tornar a fórmula acima mais clara: $A_1$ representa o evento de jogar uma moeda com duas "caras" três vezes seguidas, e $A_2$ representa o evento de jogar uma moeda comum três vezes seguidas. Suponha que você escolhe uma das duas moedas ao acaso e, portanto, $Pr(A_1) = 1/2$ e $Pr(A_2) = 1/2$. Seja $B$ o evento de obter três caras seguidas (ou seja, você escolheu uma moeda ao acaso, jogou essa moeda ao ar três vezes e conseguiu três caras seguidas); portanto, $Pr(B \mid A_1) = 1$ e $Pr(B \mid A_2) = 1/8$. Qual é a probabilidade de que você tenha escolhido a moeda com duas caras $(A_1)$ visto que saíram três caras seguidas? Aplicando a fórmula:
\begin{matrix}
Pr(A_1 \mid B)=\frac{Pr(B \mid A_1)\cdot Pr(A_1)}{Pr(B \mid A_1)\cdot (A_1)+Pr(B \mid A_2) \cdot Pr(A_2)}\\
Pr(A_1 \mid B)=\frac{1\cdot \frac{1}{2}}{1\cdot \frac{1}{2} +\frac{1}{8}\cdot \frac{1}{2}}=\frac{8}{9}=88,9\%
\end{matrix}
O teorema de Bayes dá a resposta: se você escolheu uma das moedas ao acaso, e obteve três caras seguidas, então a probabilidade de que tenha escolhido a moeda com duas caras é de $88,9\%$.

Na notação acima, temos que $Pr(A)$ é a probabilidade a priori (antes do experimento) e $Pr(A_i \mid B)$ é a probabilidade a posteriori (depois do evento).

Alguns exemplos do teorema de Bayes na vida diária:

$1)$ Se um homem bate na própria mulher, qual é a probabilidade de que venha a matá-la? É baixa, visto que a maioria desses homens não mata a mulher. Se uma mulher é encontrada morta a facadas, qual é a probabilidade de que tenha sido assassinada pelo próprio marido, dado que o marido batia nela? É altíssima.

$2)$ Escolha uma pessoa a esmo. Qual a chance de que ela tenha problemas psiquiátricos? É baixa. Qual a chance de que ela acredite que seu chefe lê seus pensamentos? É baixa. Mas se essa pessoa escolhida a esmo acredita que seu chefe lê seus pensamentos, qual é a chance de que tenha problemas psiquiátricos? É altíssima.

$3)$ Segundo dados do INEP, só $11\%$ dos brasileiros terminam o ensino médio sabendo a matemática que deveriam saber. Dada tal informação, o que é mais provável: que o MEC esconda os dados a respeito do método usado no ENEM para, escondendo, melhorar artificialmente os números da educação no Brasil, ou que ninguém no MEC tenha se animado a criar um programa nacional de explicações simples e claras sobre o ENEM?

Referências:

$[1]$ Revista Cálculo nº $10$, ed. Segmento, $2011$

Veja mais: 

Introdução à Ferramenta TRI
Análise Estatística e a TRI

COMO REFERENCIAR ESSE ARTIGO: Título: No Cerne do ENEM, o Teorema de Bayes. Publicado por Kleber Kilhian em 20/12/2011. URL: . Leia os Termos de uso.


Siga também o blog pelo canal no Telegram.
Achou algum link quebrado? Por favor, entre em contato para reportar o erro.
Para escrever em $\LaTeX$ nos comentários, saiba mais em latex.obaricentrodamente.com.

15 comentários:

  1. Eu não conhecia esta TRI, e achei muito interessante. É claro que eu fiquei pensando: Pode ser que haja uma pequena injustiça em supor que um determinado candidato tenha acertado uma questão no chute. Sei lá, vai que o cara sabia resolver uma questão difícil, por ter estudado e entendido aquele assunto mais do que os outros. Eu entendi, pela leitura do post, que esta probabilidade é muito baixa, ou quase nula. Enfim, as estatísticas devem neste caso falar mais alto, e aí, azar daquele que fugiu do padrão. O ideal era se fazerem exames escritos, mas isto é impraticável, devido às dimensões deste tipo de prova.
    Abraço, e parabéns pelo post altamente informativo.

    ResponderExcluir
  2. Segundo dados do INEP, só 11% dos brasileiros terminam o ensino médio sabendo a matemática que deveriam saber. Dada tal informação, qual é a probabilidade de que o MEC esconda os dados a respeito do método usado no ENEM para, escondendo, melhorar artificialmente os números da educação no Brasil? É altíssima.

    ResponderExcluir
  3. Olá Jairo,
    Realmente é muito interessante e parece ser bem complexo na prática. Creio que alguma injustiça deva acontecer, mas pelo que entendi, esse método é bem dinâmico e os dados estão sempre se atualizando e sendo modelados para a realidade. Mais uma ferramenta matemática em prol da sociedade. Uma coisa interessante é que tudo começou com Thomas Bayes, no século XVIII.
    mas se um candidato não sabe nada e resolve chutar, ele também pode dar a sorte de acertar as questões "certas" e assim entrar na estatística. Também acho que uma prova dissertativa seria o ideal para medir o quanto se sabe, mas como disse, seria impraticável. Acho que já passou da hora do Brasil mudar a forma de como trata a educação. Para entrar numa faculdade, deveria avaliar o currículo escolar e assim decidir em qual faculdade será aceito.

    ResponderExcluir
    Respostas
    1. AMIGO, VOCÊ DISSE ACIMA TUDO QUE EU SEMPRE TIVE VONTADE DE VER EM MEU PAÍS, AVALIAÇÃO DE CURRICULO ESCOLAR DECIDINDO O FUTURO DO ALUNO!

      MEUS PARABÉNS PELO BLOG! É DIFÍCIL ENCONTRAR QUALIDADE, MAS AQUI EU ENCONTREI.

      Excluir
    2. Anônimo6/1/14 18:30

      Não concordo. Infelizmente algumas escolas não ensinam o básico, de matemática principalmente. Tem gente na universidade que não sabe regra de três.

      Excluir
    3. Isso é verdade. Mas vejo que, para que esse sistema para entrar na faculdade com base no currículo escolar, o Brasil tem que mudar muito. E quando isso acontecer, o ensino médio terá qualidade suficiente. O grande problema é que o Brasil não quer mudar.

      Excluir
  4. Vale a pena dar uma olhada!

    http://notasenem.blogspot.com/

    ResponderExcluir
    Respostas
    1. obrigado pelo link, realmente muito interessante. Abraços

      Excluir
  5. Muito bom artigo e blog, parabéns. Mas só pra não perder a viagem...

    "A TRI é como se fosse um tipo de mágica", diz Raquel Valle, "mas poucos têm acesso ao truque"

    ^ Que comentário patético dessa mulher! Como uma pessoa estudada em Estatística fala uma besteira dessas? Podia ter pensado mais antes de falar isso. Não tem nada de mágica. E qualquer um poderia ter acesso ao truque se o INEP quisesse.

    Há pessoas que acreditam nos números tanto quanto fiéis seguidores de uma Religião, e querem ser os donos da verdade dando declarações evasivas e estabelecendo dogmas matemáticos. Que vergonha. O papel da Matemática é esclarecer, não ocultar.

    Não, a TRI não é magica. É Estatística. E qualquer pessoa poderia ter acesso ao suposto "truque", que não passa de um programa de computador.

    ResponderExcluir
    Respostas
    1. Olá Fulano, realemtne não tem nada de mágica é matemática pura! Mas é uma pena que em nosso país o ensino é mascarado para que continuemos sendo manipulados, pelo menos é assim em sua maioria.

      Quanto ao comentário da Raquel Valle, não acredito que ela tenha dito que é uma "mágica". Ela somente fez uma analogia onde em uma mágica, somente alguns sabem do truque; no caso da TRI, somente alguns sabem como funciona.

      É triste que uma matemática tão sofisticada e com aplicações em várias áreas seja tão restrita.

      Um abraço.

      Excluir
  6. Gostei demais,post muito instrutivo,grato!

    ResponderExcluir
  7. Muito inteligente essa TRI, mas gostaria de saber então se ela também faria o contrário, para ser justa. Isto é, suponha que um indivíduo acerte a todas as 19 das 20 questões de matemática de uma prova, errando apenas uma questão de nível FÁCIL. Nesse caso, o TRI "compreenderia" que o sujeito sabe o assunto mas provavelmente errou por nervosismo ou alguma distração qualquer? Note-se que ele acertou muitas questões bem mais difíceis.

    Afinal, se for pra baixar a nota de quem acerta no chute, para serem totalmente justos, deveriam aumentar a nota de quem domina um assunto e erra por um vacilo qualquer.

    ResponderExcluir
    Respostas
    1. Olá Jimmy. Não sei como ocorre na prática, mas o que você levantou seria o justo. Mas se tratando de Brasil, onde procura-se emburrecer a população, acredito que não seja computada.

      Abraços.

      Excluir
  8. Belo texto! Bastante detalhado e acessível!
    Só achei um pouco injusta a classificação das sumidades acima..Para gauss tudo bem, já que ele se envolveu em pesquisas relacionadas a varias areas do conhecimento...mas Newton e Einstein, que traduziram os fenomenos naturais atraves da física deixaram a desejar rsrsrsrs
    Brincadeiras å parte, infelizmente, o processo ainda não possui a transparência devida e,provavelmente, os dados não refletem a realidade da educação brasileira...afinal, a manipulação de numeros para escondê-la e a aplicação de soluções paliativas ineficazes são especialidades de nosso governo...

    ResponderExcluir
  9. Anônimo1/1/15 00:40

    Nada demais. Só uma outra informação sobre o País que o povo não está apto para compreender. Como avaliar currículos escolares de escolas públicas dada esta situação? Somente colégios de elite (leia-se particulares) terão preferência na escolha dos melhores cursos. As faculdades de quinta linha ficarão para a sobra, isto se não preferirem fazer curso técnico. Nada contra curso técnico, eu tenho, mas acaba sendo quebra-galho prá quem está nas camadas inferiores da pirâmide.

    ResponderExcluir

Whatsapp Button works on Mobile Device only

Pesquise no blog