Calibração explicada: Vantagem, Acertos e o gráfico

Como funciona a Calibração da KrowdCall: quais mercados contam, como calcular Vantagem e Acertos, como ler o gráfico e por que os 10 primeiros são só o começo.

Autor
Bruma
Publicado
Tempo de leitura
9 min
Uma ilustração de uma jovem no sofá sorrindo para o celular, pensando em um gráfico em que pontos verdes ficam acima de uma linha diagonal tracejada, ao lado de um cartão com +12 pts.

Em resumo

A Calibração da KrowdCall compara o preço que você pagou pelas suas previsões com a frequência com que elas aconteceram. A Vantagem é a diferença média entre os dois, em pontos: positiva significa que você comprou o que a maioria subestimava. Acertos é a parcela de previsões que você acertou. O gráfico agrupa suas previsões por preço, e a nota precisa de uns 10 mercados resolvidos para dizer alguma coisa.

Tem amigo que acerta muito, e tem amigo que acerta justamente o que importa. Não são as mesmas pessoas. O amigo que aposta que o sol vai nascer amanhã tem um histórico perfeito e não te contou nada. Já aquele que, quando todo mundo riu, disse que o casal quieto seria o primeiro a ficar noivo? É a próxima previsão dele que você quer ouvir.

A seção Calibração, no seu perfil e no seu P&L da KrowdCall, tenta separar esses dois tipos de amigo. Ela mostra um veredito, dois números e um gráfico cheio de pontinhos. Este post explica cada parte: quais dos seus mercados contam, como a Vantagem e os Acertos são calculados, como ler o gráfico e por que a nota pega leve com você nos seus 10 primeiros mercados.

O que a Calibração mede?

Uma jovem sorri para o celular enquanto pensa em um gráfico de calibração, com pontos verdes acima de uma linha diagonal tracejada e um ponto vermelho abaixo dela

No mundo das previsões, calibração costuma significar que suas probabilidades batem com a realidade ao longo do tempo: de tudo o que você dá como 70% provável, cerca de 70% deve acontecer. Nosso guia sobre como fazer previsões melhores trata dessa versão clássica.

Só que a KrowdCall não lê sua mente. Ela só vê o que você faz: de que lado comprou e quanto pagou. E, na KrowdCall, o preço é a probabilidade. Uma ação SIM a 0,30 Coin significa que o mercado dá 30% de chance para o SIM. Se quiser relembrar isso, veja como funcionam as probabilidades nos mercados de previsão.

Então a nota faz uma pergunta um pouco diferente: quando você comprou a um certo preço, com que frequência esse lado de fato venceu? Se você vive comprando coisas a 30% e elas acontecem metade das vezes, a maioria estava subestimando e você percebeu. Se compra a 70% e acontecem metade das vezes, você estava pagando por uma confiança que não existia.

Isso faz do preço de mercado a sua referência. A nota não compara você com a perfeição. Compara com o número da maioria no momento em que você fez a previsão.

Quais mercados contam?

Antes de qualquer conta, ajuda saber exatamente o que entra. A KrowdCall transforma cada mercado em que você comprou ações em uma previsão, seguindo estas regras:

  • Só contam mercados resolvidos. Mercados abertos esperam até serem resolvidos, e mercados cancelados nunca contam, já que ninguém acertou nem errou
  • Você precisa ter comprado ações no mercado. Ser convidado ou colocar nos favoritos não basta
  • Sua previsão é o lado em que você tinha mais ações quando o mercado foi resolvido. Se você já tinha vendido tudo até lá, é o lado de que você comprou mais ações
  • O preço da sua previsão é o preço médio que você pagou por esse lado, somando todas as suas compras
  • Cada mercado conta uma vez, tenha você comprado 5 ações ou 500

Há mais uma regra, sobre privacidade. Seu perfil público usa apenas mercados públicos, para que os mercados privados dos seus amigos nunca vazem para o que os desconhecidos veem. Já a sua página de P&L também conta os mercados privados, porque só você a vê. Por isso os dois podem mostrar números diferentes, e ambos estão certos.

Vender também merece uma observação rápida. Se você vendeu parte das ações antes do fim, a previsão continua sendo sobre o lado em que você apostou, e o preço continua sendo o que você pagou para entrar. Vender não reescreve o seu preço de entrada. Só significa que você pode ter saído antes do resultado, o que aparece no seu lucro, não nesta nota.

Como a Vantagem é calculada?

A Vantagem é o número de destaque. Cada previsão recebe uma notinha:

  • Se o seu lado aconteceu, a previsão vale 1 menos o preço que você pagou
  • Se não aconteceu, a previsão vale 0 menos o preço que você pagou
  • A Vantagem é a média dessas notas em todas as suas previsões, multiplicada por 100 e mostrada em pontos

Veja o histórico da Mia depois de quatro mercados resolvidos:

MercadoPrevisão da MiaPreço médio pagoResultadoNota
O ônibus vai atrasar na sexta?SIM0,30SIM+0,70
A Ana vai completar a maratona em menos de 4 horas?NÃO0,60NÃO+0,40
Vai nevar antes do Natal?SIM0,80NÃO-0,80
A viagem do grupo vai acontecer em maio?SIM0,50SIM+0,50

As notas somam 0,80. Dividido por quatro mercados, dá 0,20, então a Vantagem da Mia é de +20 pts. Em média, o que ela comprou aconteceu 20 pontos a mais do que os preços sugeriam.

Espera, por que descontar o preço? Porque é isso que o preço já prometia. Uma ação comprada a 0,80 deveria vencer cerca de 80% das vezes se a maioria estiver certa. Ganhar com ela rende só 0,20 de crédito, e perder custa 0,80. Comprar a 0,30 é o oposto: uma perda pequena se você errar, uma recompensa grande se acertar.

Se isso lembra dinheiro, não é por acaso. Uma ação vencedora paga 1 Coin, então uma previsão comprada a 0,30 que acontece rende 0,70 Coin por ação. A Vantagem é basicamente o seu lucro médio por ação, só que cada mercado vale igual, não importa quanto você colocou nele.

Esse último ponto importa. O seu P&L se importa com quanto você apostou. A Vantagem, não. Uma aposta enorme que deu errado pode afundar o seu P&L enquanto a Vantagem continua saudável, e uma vitória grande por sorte pode inflar o P&L enquanto a Vantagem diz que suas previsões foram só medianas. Nenhum dos números está errado. Eles respondem a perguntas diferentes: o P&L pergunta como foram seus Coins, e a Vantagem pergunta quão boas foram as suas leituras.

Por que os Acertos não bastam?

Os Acertos são o número mais simples: quantas das suas previsões aconteceram, entre todas as que você fez. A Mia acertou 3 de 4, então seus Acertos são 75%.

É fácil de entender, e é justamente essa a armadilha. Veja dois jogadores depois de 10 mercados resolvidos cada um:

JogadorEstiloPreço pagoAcertouAcertosVantagem
SamSempre compra o favorito0,90 todas as vezes9 de 1090%0 pts
LeoCaça zebras0,20 todas as vezes4 de 1040%+20 pts

O Sam parece um gênio nos Acertos. Só que ele pagou 0,90 por coisas que a maioria já avaliava em 90%, e elas aconteceram 90% das vezes. Ele concordou com todo mundo, e todo mundo estava certo. Suas nove vitórias renderam 0,10 cada, sua única derrota custou 0,90, e tudo se anula em zero.

O Leo erra mais do que acerta. Mesmo assim, ele vive achando coisas que a maioria avalia em 20% e que de fato acontecem 40% das vezes. Suas quatro vitórias rendem 0,80 cada, e suas seis derrotas custam 0,20 cada. São 3,20 menos 1,20, ou 2,00 em 10 mercados: +20 pts.

Dois amigos olham cada um para o próprio celular: acima de um flutua um cartão YES 90% com um sinal de certo, acima do outro um cartão YES 20% com uma estrela

É por isso que o cartão mostra os dois números lado a lado. Os Acertos dizem com que frequência você acerta. A Vantagem diz se acertar valeu alguma coisa, dado o que a maioria já sabia. Se for olhar só um, olhe a Vantagem.

Como ler o gráfico de Calibração?

O gráfico transforma suas previsões em uma imagem. Veja o que cada parte significa:

Parte do gráficoO que mostra
Horizontal (Preço pago)O preço médio que você pagou pelas suas previsões, de 0% a 100%
Vertical (Aconteceram)Com que frequência essas previsões de fato aconteceram
Linha diagonal tracejadaA linha justa: previsões que aconteceram exatamente tanto quanto o preço dizia
Um pontoSuas previsões em uma faixa de preço (0-10%, 10-20% e assim por diante), colocadas no preço médio e nos Acertos delas
Tamanho do pontoQuantas previsões há nessa faixa: pontos maiores têm mais peso
Cor do pontoVerde quando essas previsões superaram o preço, vermelho quando ficaram abaixo

Então um ponto verde bem acima da linha, perto de 30%, quer dizer: quando você comprou coisas por volta de 30%, elas aconteceram muito mais do que isso. Essa é a zona em que você percebe o que os outros subestimam. Um ponto vermelho abaixo da linha, perto de 80%, quer dizer o contrário: suas compras confiantes aconteceram menos do que você pagou.

Alguns formatos aparecem bastante:

  • Pontos colados na linha: você concorda, na maior parte, com os preços da maioria, e a maioria está indo bem. Sua Vantagem vai ficar perto de zero
  • Pontos verdes à esquerda e perto da linha à direita: você é bom em achar zebras subestimadas, e seus favoritos estão com preço mais ou menos certo
  • Pontos vermelhos à direita: você tende a comprar favoritos caros demais. Talvez o grupo esteja confiante demais, ou você compre depois que o preço já subiu
  • Um ponto grande e mais nada: você sempre compra na mesma faixa de preço. O gráfico só consegue avaliar os preços em que você de fato negocia

No computador, passar o mouse sobre um ponto mostra os números exatos: a faixa de preço, quantas previsões aconteceram e de quantas.

O que significa o veredito?

Acima dos números, o cartão resume tudo em uma frase. Ela segue uma regra simples:

VantagemVereditoTom
+5 pts ou maisVocê supera a maioria por N pontosVerde
Entre -5 e +5 ptsPor enquanto, você e a maioria estão mais ou menos empatadosNeutro
-5 pts ou menosPor enquanto, a maioria acertou mais vezes que vocêVermelho

A faixa de 5 pontos no meio é proposital. Uma Vantagem de +2 ou -3 pts está dentro do ruído normal, e seria bobagem chamar uma pessoa de previsora e a outra de tola por causa disso.

Existe mais uma regra, que é o assunto da próxima seção: com menos de 10 mercados resolvidos, estar à frente só vale “por enquanto”. O cartão diz “Por enquanto, você está à frente da maioria, mas ainda é cedo”, sem mencionar os pontos e sem elogiar um talento que você ainda não teve tempo de mostrar.

Por que seus 10 primeiros mercados são só o começo?

Okay, esta é a parte que mantém a nota honesta. Uma única previsão pode sacudir muito a sua Vantagem. Compre SIM a 0,51 uma vez, acerte, e sua Vantagem é +49 pts. Erre, e é -51 pts. Nenhum dos dois números diz nada sobre você. É cara ou coroa com casas decimais.

Quanto a sorte mexe nisso? Uma regra aproximada: para previsões em torno de 50%, o ruído na sua Vantagem é de cerca de 50 pontos divididos pela raiz quadrada do número de mercados.

Mercados resolvidosOscilação típica só por sorte
1Cerca de ±50 pts
4Cerca de ±25 pts
10Cerca de ±16 pts
25Cerca de ±10 pts
100Cerca de ±5 pts

É uma regra prática, não uma lei exata, e previsões a preços muito altos ou muito baixos têm um pouco menos de ruído. Mas ela mostra o formato do problema. Mesmo com 10 mercados, uma Vantagem de +10 pts ainda pode ser em grande parte sorte. Com 100 mercados, provavelmente não é.

Então por que 10, e não 50? Porque a ideia da nota é ser divertida e útil entre amigos, e um grupo de amigos pode resolver alguns mercados por mês. Dez é o ponto em que os números deixam de ser puro ruído e começam a sugerir uma direção. O aviso embaixo do gráfico diz isso sem rodeios: “Baseado em poucos mercados: fica confiável a partir de uns 10.” Encare esse momento como aquele em que a nota passa a valer uma conversa, não como aquele em que ela vira a verdade.

Por que medir contra a maioria?

Uma objeção justa: o preço de mercado não é só o palpite de todo mundo? Por que superá-lo significaria alguma coisa?

Porque esse palpite costuma ser razoável. O preço de um mercado reúne o que todo mundo no grupo sabe e está disposto a defender com Coins, que é a ideia central da sabedoria das multidões. Superar um preço definido por quem conhece o assunto é difícil. Se você consegue isso de forma consistente, provavelmente sabe algo que eles não sabem, ou pensa no assunto com mais clareza.

Mas há uma pegadinha sutil. A sua própria compra move o preço. Na KrowdCall, os preços vêm de um formador de mercado automático, explicado em LMSR explicado para iniciantes, e cada ação que você compra custa um pouco mais do que a anterior. Então o preço médio que você pagou já inclui o empurrão que você deu no mercado. Compras grandes em mercados pequenos saem a preços um pouco piores, e isso é justo: a nota avalia o preço que você de fato pagou, não um melhor que você gostaria de ter tido.

E grupos pequenos têm o seu próprio risco. Se todo mundo tem o mesmo ponto cego, o preço da maioria pode estar errado de um jeito previsível, e superá-lo fica mais fácil. Ainda é habilidade de verdade, mas é habilidade contra os seus amigos, não contra o mundo.

Como melhorar a sua nota?

Não existe truque que garanta uma Vantagem melhor, e tentar driblar a nota também não faz sentido: o único jeito de aumentá-la é fazer previsões melhores. Estes hábitos costumam ajudar:

  • Só compre quando achar que o preço está errado. Concordar com a maioria não é erro, mas não rende nada nesta nota
  • Pergunte o que o preço está deixando de fora. O conhecimento local, como a frequência com que o seu amigo realmente chega na hora, é onde os grupos pequenos erram o preço
  • Desconfie de favoritos caros. Uma ação a 90% ganha pouco e perde muito, então você precisa acertar mais de 90% das vezes para valer a pena
  • Olhe para os seus pontos vermelhos. Se eles se concentram em uma faixa de preço, esse é o hábito para conferir primeiro
  • Continue fazendo previsões. Mais mercados resolvidos deixam a nota mais honesta, seja qual for o resultado

Para ir mais fundo em quando e quanto comprar, nosso guia de estratégia para mercados de previsão transforma essas ideias em regras práticas. E os hábitos por trás das boas previsões, como taxas-base e atualização, estão em como fazer previsões melhores.

O que a nota pode e não pode dizer

De volta aos dois amigos do começo: o que sempre acerta o óbvio e o que acerta quando é surpreendente. A Calibração foi feita para separar os dois. Os Acertos premiam o primeiro amigo. A Vantagem premia o segundo, porque só dá crédito por acertar mais vezes do que a maioria esperava.

Ela ainda tem limites. Não enxerga os motivos por trás de uma previsão, não distingue habilidade de sorte em meia dúzia de mercados e só avalia as faixas de preço em que você de fato negocia. Uma ótima Vantagem em 8 mercados é um começo promissor, não uma reputação.

Mas, com o tempo, ela responde a uma pergunta surpreendentemente difícil de resolver no grupo de mensagens: quando você discorda de todo mundo, com que frequência está certo? Se quiser começar a construir a sua própria resposta, encontre um mercado em que você acha que a maioria está errada.

Perguntas frequentes

Encontre respostas rápidas para as perguntas mais comuns sobre este tema.

É uma seção do seu perfil e do seu P&L que compara o preço que você pagou em cada previsão com o resultado: se aconteceu ou não. Ela mostra dois números, Vantagem e Acertos, um gráfico das suas previsões agrupadas por preço e um veredito de uma frase dizendo se você está à frente da maioria, mais ou menos empatado ou atrás.

Bruma

Autor

Bruma
Publicado

Pronto para testar suas previsões?

Coloque sua visão de futuro à prova. Crie seu primeiro mercado de previsão em segundos — totalmente grátis, sem dinheiro real envolvido.

Leia também

Explore as categorias