O bilhar de Bayes — O feijão jogado sobre o ombro

Lançado um único feijão, este cai à esquerda do marcador oculto. O painel indica 0,6667. O primeiro bloco de análise nesta página indica 0,7500. A resposta que a maioria das pessoas dá em voz alta é 1, porque um em um caiu à esquerda. As três estão corretas. A que pergunta responde cada uma delas?

Abrir este problema na ferramenta

1. Primeiro, o contexto, por ser a razão pela qual esta experiência mental em particular é famosa. Um marcador é lançado às cegas sobre uma mesa plana numa posição desconhecida p, e cada feijão lançado a seguir cai à sua esquerda com probabilidade p. Nada é medido diretamente; cada feijão transmite apenas um bit. Richard Price leu o ensaio à Royal Society em dezembro de 1763, dois anos após a morte de Bayes, e a distribuição a priori uniforme sobre p é um facto físico relativo à forma como o marcador foi lançado, e não uma opção de modelação. Isso é mais raro do que parece, e o terceiro bloco de análise nesta página aborda quão raramente tal ocorre em qualquer outro contexto.

   $$p \sim \mathrm{Uniform}(0,1), \qquad \pi(p) = 1 \;\text{for}\; 0 \le p \le 1$$

2. A evidência. Obter k à esquerda em n lançamentos tem probabilidade p^k(1−p)^n−k, multiplicada por um coeficiente binomial que não contém a variável p. Multiplica-se pela distribuição a priori plana, normaliza-se, e o coeficiente é eliminado por divisão.

   $$\pi(p \mid k,n) \;\propto\; p^{k}(1-p)^{\,n-k} \cdot 1$$

3. Resta uma distribuição Beta cujos dois parâmetros são esses expoentes acrescidos de um. Um resultado à esquerda num único lançamento dá Beta(2, 1), uma reta que começa em zero na extremidade esquerda e sobe até 2 na direita.

   $$p \mid k,n \;\sim\; \mathrm{Beta}(k+1,\; n-k+1) = \mathrm{Beta}(2,1), \qquad \pi(p) = 2p$$

4. Primeira pergunta: onde é mais provável que o marcador esteja? A densidade 2p atinge o máximo no extremo direito, pelo que a moda é p = 1. A resposta precipitada k/n = 1 chega ao mesmo ponto por um caminho diferente, e ambas são respostas a uma pergunta que ninguém fez.

   $$\arg\max_{p} \, 2p = 1$$

5. Segunda pergunta: o marcador está para lá de metade da mesa? Trata-se de uma área, pelo que se integra. A função de distribuição acumulada de Beta(2, 1) é p², pelo que a massa acima de metade é 1 − ¼. Este é o valor 0,7500 no primeiro bloco de análise.

   $$P\!\left(p > \tfrac12\right) = 1 - \left(\tfrac12\right)^{2} = \tfrac34 = 0.7500$$

6. Terceira pergunta: o próximo feijão cairá à esquerda? Esta questão não diz de todo respeito a onde p se encontra — refere-se ao que acontece a seguir e calcula a média de p sobre tudo o que agora se supõe acerca de p. Essa média é a média a posteriori.

   $$P(\text{next left}) = \int_{0}^{1} p \cdot \pi(p)\, dp = \frac{k+1}{n+2}$$

7. Com n = 1 e k = 1 a média é dois terços. Laplace deduziu isto numa memória de 1774 e a expressão ficou conhecida como regra de sucessão desde então. O +1 e o +2 não são um ajuste arbitrário para amostras pequenas; são o resultado exato da integração com uma distribuição a priori plana.

   $$\frac{k+1}{n+2} = \frac{1+1}{1+2} = \frac{2}{3} = 0.6667$$

8. Há ainda um quarto número, que a ferramenta não mostra em lado nenhum. A mediana fica em 1/√2, entre a média e a moda, por esta ordem. Toda distribuição a posteriori que esta ferramenta pode produzir é uma Beta. Quando a massa de uma Beta se concentra à direita, os seus três centros aparecem exatamente nessa ordem, e as distâncias entre eles voltam a diminuir à medida que a evidência concentra a curva. Equilibre os lançamentos e os três acabam por coincidir.

   $$\text{mode } 1 \;>\; \text{median } \tfrac{1}{\sqrt{2}} = 0.7071 \;>\; \text{mean } \tfrac{2}{3} = 0.6667$$

Execute a predefinição de 400 lançamentos. O painel coloca o marcador entre 0,4512 e 0,5488 com 95% de credibilidade, e o marcador está de facto em 0,4913. Mostre que esse 95% é exato e não aproximado, e calcule depois o que resta dele se a mesa não for plana.

Abrir este problema na ferramenta

1. Volte a contar os feijões, incluindo aquele para que ninguém olha. O marcador foi lançado às cegas sobre a mesa, tal como os 400 que se seguiram; os 401 saíram do mesmo ombro para a mesma superfície plana. Nada de estatístico distingue o marcador de um lançamento. Apenas tem nome.

   $$p,\; x_1,\dots,x_{400} \;\stackrel{\text{iid}}{\sim}\; \mathrm{Uniform}(0,1) \qquad (401 \text{ draws, one labelled})$$

2. Tome então as 401 posições e ordene-as. O marcador tem igual probabilidade de ser o primeiro, o sétimo ou o último, porque um rótulo não altera uma ordem, e o número a que o painel chama k é apenas a sua posição menos um. Cada contagem de «à esquerda» que a ferramenta pode apresentar, todas as 401, de 0 a 400, tem probabilidade 1/401. Isso não se parece com uma contagem de lançamentos de moeda, e o integral confirma-o: o coeficiente binomial anula-se contra a função beta e n desaparece a não ser como n + 1.

   $$P(k=j) = \int_0^1 \binom{n}{j} p^{j}(1-p)^{n-j}\,dp = \binom{n}{j}B(j+1,n-j+1) = \frac{1}{n+1}$$

3. A mesma simetria resolve o intervalo. Introduza a posição verdadeira do marcador na sua própria função de distribuição a posteriori e o resultado é uniforme no intervalo unitário: é isso que significa uma distribuição a posteriori ser a lei condicional honesta de p. Portanto, a probabilidade de a verdade cair entre os percentis 2,5 e 97,5 é 0,95, e não há aproximação nenhuma nessa frase. Simular dez lançamentos cem mil vezes dá 0,94967.

   $$U = I_{p}(k+1,\,n-k+1) \sim \mathrm{Uniform}(0,1) \;\Longrightarrow\; P(0.025 < U < 0.975) = 0.95$$

4. Vale para qualquer dimensão de amostra, e é aí que convém parar. O intervalo dos 400 lançamentos tem 0,0976 de largura e o marcador cai folgadamente lá dentro. O intervalo de um único lançamento vai de 0,1581 a 0,9874, e não exclui quase nada, mas é exatamente tão válido. Ser inútil e estar errado são falhas diferentes.

   $$n=400:\ [0.4512,\,0.5488],\ \text{width } 0.0976; \qquad n=1:\ [0.1581,\,0.9874]$$

5. Quebre agora a única coisa em que assenta. Suponha que a mesa não é plana mas abaulada, de modo que o marcador tende a rolar para uma tabela, enquanto o painel continua a calcular a partir de uma distribuição a priori uniforme. Integre a cobertura sobre essa distribuição verdadeira e o rótulo dos 95% vale 68,7% após um lançamento, 78,7% após dez e 87,1% após cem.

   $$p \sim \mathrm{Beta}(0.3,0.3),\ \text{interval still from } \pi(p)=1: \quad 0.687,\ 0.787,\ 0.871 \ \ (n = 1,\,10,\,100)$$

6. Repare no sentido da falha e na lentidão com que a evidência a repara. Multiplicar os dados por cem fechou pouco mais de metade da diferença. E uma mesa abaulada ao contrário, que junta o marcador perto do meio, deixa antes o intervalo demasiado largo: 99,9%, 95,8%, 95,1%. O que faz mal são as bordas, porque é aí que uma distribuição a priori plana está mais confiante e mais errada.

   $$p \sim \mathrm{Beta}(6,6): \quad 0.999,\ 0.958,\ 0.951$$