Punteggio di calibrazione: vantaggio, previsioni giuste e grafico

Come funziona la calibrazione su KrowdCall: quali mercati contano, come si calcolano vantaggio e previsioni giuste, come leggere il grafico e perché 10 mercati.

Autore
Bruma
Pubblicato
Tempo di lettura
8 min
Un'illustrazione di una ragazza sul divano che sorride al telefono, mentre pensa a un grafico in cui dei punti verdi stanno sopra una linea diagonale tratteggiata, accanto a un riquadro con scritto +12 pts.

In breve

La calibrazione di KrowdCall confronta il prezzo che hai pagato per le tue previsioni con la frequenza con cui si sono avverate. Il vantaggio è la differenza media tra i due, in punti: positivo significa che hai comprato ciò che la folla sottovalutava. Le previsioni giuste sono la quota di quelle azzeccate. Il grafico raggruppa le previsioni per prezzo, e servono circa 10 mercati risolti perché il punteggio dica qualcosa.

Ci sono amici che ci prendono spesso e amici che ci prendono sulle cose che contano. Non sono le stesse persone. L'amico che scommette che domani sorgerà il sole ha un record perfetto e non ti ha detto nulla. L'amico che, quando tutti ridevano, aveva detto che la coppia più riservata sarebbe stata la prima a fidanzarsi? Quella è la persona di cui vuoi sentire la prossima previsione.

La sezione Calibrazione sul tuo profilo KrowdCall e nel tuo P&L prova a distinguere questi due tipi di amici. Mostra un verdetto, due numeri e un grafico pieno di puntini. In questo articolo vediamo ogni parte: quali dei tuoi mercati contano, come si calcolano il vantaggio e le previsioni giuste, come leggere il grafico e perché il punteggio va con i piedi di piombo con i tuoi primi 10 mercati.

Cosa misura la calibrazione?

Una ragazza sorride al telefono mentre pensa a un grafico di calibrazione, con dei punti verdi sopra una linea diagonale tratteggiata e un punto rosso sotto

Nelle previsioni, calibrazione di solito significa che le tue probabilità corrispondono alla realtà nel tempo: tra tutto ciò che giudichi probabile al 70%, circa il 70% dovrebbe accadere. La nostra guida su come fare previsioni migliori racconta questa versione classica.

KrowdCall però non può leggerti nel pensiero. Vede solo quello che fai: quale lato compri e quanto paghi. E su KrowdCall il prezzo è la probabilità. Una quota SÌ a 0,30 Coin vuol dire che il mercato dà al SÌ il 30% di probabilità. Se vuoi un ripasso, vedi come funzionano le quote nei mercati predittivi.

Quindi il punteggio pone una domanda un po' diversa: quando hai comprato a un certo prezzo, quanto spesso quel lato ha davvero vinto? Se continui a comprare cose al 30% e si avverano una volta su due, la folla le sottovalutava e tu l'hai visto. Se compri al 70% e si avverano una volta su due, stavi pagando una sicurezza che non c'era.

Il prezzo di mercato diventa così il tuo punto di riferimento. Il punteggio non ti confronta con la perfezione, ma con il numero della folla nel momento in cui hai fatto la tua previsione.

Quali mercati contano?

Prima di qualsiasi calcolo, conviene sapere esattamente cosa entra. KrowdCall trasforma ogni mercato su cui hai fatto una previsione in una previsione singola, con queste regole:

  • Contano solo i mercati risolti. Quelli aperti aspettano di essere chiusi, e quelli annullati non contano mai, perché nessuno ha avuto ragione o torto
  • Devi aver comprato quote nel mercato. Essere stato invitato o averlo aggiunto ai preferiti non basta
  • La tua previsione è il lato di cui avevi più quote quando il mercato si è risolto. Se a quel punto avevi venduto tutto, è il lato di cui avevi comprato più quote
  • Il prezzo della tua previsione è il prezzo medio che hai pagato per quel lato, su tutti i tuoi acquisti
  • Ogni mercato conta una volta, che tu abbia comprato 5 quote o 500

C'è un'altra regola, che riguarda la privacy. Il tuo profilo pubblico usa solo i mercati pubblici, così i mercati privati degli amici non finiscono mai davanti a degli sconosciuti. La tua pagina P&L conta anche i tuoi mercati privati, perché la vedi solo tu. Ecco perché i due possono mostrare numeri diversi, e sono giusti entrambi.

Anche la vendita merita una nota. Se hai venduto delle quote prima della fine, la previsione riguarda comunque il lato verso cui ti eri orientato, e il prezzo resta quello che hai pagato per entrare. Vendere non riscrive il tuo prezzo d'ingresso. Significa solo che potresti aver incassato prima del risultato, e questo si vede nel tuo profitto, non in questo punteggio.

Come si calcola il vantaggio?

Il vantaggio è il numero principale. Ogni previsione riceve un piccolo punteggio:

  • Se il tuo lato si è avverato, la previsione vale 1 meno il prezzo che hai pagato
  • Se non si è avverato, la previsione vale 0 meno il prezzo che hai pagato
  • Il vantaggio è la media di questi punteggi su tutte le tue previsioni, moltiplicata per 100 e mostrata in punti

Ecco il registro di Mia dopo quattro mercati risolti:

MercatoPrevisione di MiaPrezzo medio pagatoRisultatoPunteggio
Venerdì l'autobus farà ritardo?SÌ0,30SÌ+0,70
Ana finirà la maratona in meno di 4 ore?NO0,60NO+0,40
Nevicherà prima di Natale?SÌ0,80NO-0,80
La gita di gruppo si farà a maggio?SÌ0,50SÌ+0,50

I punteggi sommano 0,80. Diviso quattro mercati, fa 0,20, quindi il vantaggio di Mia è +20 pt. In media, le cose che ha comprato si sono avverate il 20% più spesso di quanto suggerissero i loro prezzi.

Aspetta, perché sottrarre il prezzo? Perché è quello che il prezzo prometteva già. Una quota comprata a 0,80 dovrebbe vincere circa l'80% delle volte, se la folla ha ragione. Se vince ti dà solo 0,20 di credito, e se perde ti costa 0,80. Comprare a 0,30 è l'opposto: una piccola perdita se sbagli, un grande premio se ci prendi.

Se ti sembra una questione di soldi, non è un caso. Una quota vincente paga 1 Coin, quindi una previsione comprata a 0,30 che si avvera rende 0,70 Coin a quota. Il vantaggio è in pratica il tuo profitto medio per quota, solo che ogni mercato pesa uguale, indipendentemente da quanto ci hai messo.

Quest'ultimo punto conta. Il tuo P&L guarda quanto hai puntato, il vantaggio no. Un'unica grossa puntata persa può affondare il tuo P&L lasciando sano il vantaggio, e una grossa vincita fortunata può far bella figura nel P&L mentre il vantaggio dice che le tue previsioni erano nella media. Nessuno dei due numeri sbaglia. Rispondono a domande diverse: il P&L chiede come sono andati i tuoi Coin, il vantaggio chiede quanto erano buone le tue letture.

Perché le previsioni giuste non bastano?

Le previsioni giuste sono il numero più semplice: quante delle tue previsioni si sono avverate, su quante ne hai fatte. Mia ne ha azzeccate 3 su 4, quindi le sue previsioni giuste sono il 75%.

È facile da capire, ed è proprio questa la trappola. Guarda due giocatori dopo 10 mercati risolti ciascuno:

GiocatoreStilePrezzo pagatoGiustePrevisioni giusteVantaggio
SamCompra sempre il favorito0,90 ogni volta9 su 1090%0 pt
LeoPunta sulle sorprese0,20 ogni volta4 su 1040%+20 pt

Sam sembra un genio guardando le previsioni giuste. Ma ha pagato 0,90 cose che la folla già valutava al 90%, e sono accadute il 90% delle volte. Era d'accordo con tutti, e tutti avevano ragione. Le sue nove vittorie hanno reso 0,10 ciascuna, la sua unica sconfitta è costata 0,90, e il totale fa zero.

Leo sbaglia più spesso di quanto ci prenda. Eppure continua a trovare cose che la folla valuta al 20% e che in realtà accadono il 40% delle volte. Le sue quattro vittorie rendono 0,80 ciascuna, e le sue sei sconfitte costano 0,20 ciascuna. Fa 3,20 meno 1,20, cioè 2,00 su 10 mercati: +20 pt.

Due amici guardano ognuno il proprio telefono: sopra uno fluttua un riquadro YES 90% con una spunta, sopra l'altro un riquadro YES 20% con una stella

Per questo la carta mostra i due numeri affiancati. Le previsioni giuste ti dicono quanto spesso ci prendi. Il vantaggio ti dice se aver ragione è servito a qualcosa, visto quello che la folla già sapeva. Se ne guardi uno solo, guarda il vantaggio.

Come si legge il grafico di calibrazione?

Il grafico trasforma le tue previsioni in un'immagine. Ecco cosa significa ogni parte:

Parte del graficoCosa mostra
In orizzontale (Prezzo pagato)Il prezzo medio che hai pagato per le tue previsioni, da 0% a 100%
In verticale (Avverate)Quanto spesso quelle previsioni si sono davvero avverate
Linea diagonale tratteggiataLa linea equa: previsioni avverate esattamente con la frequenza indicata dal loro prezzo
Un puntoLe tue previsioni in una fascia di prezzo (0-10%, 10-20% e così via), posizionate al loro prezzo medio e alla loro percentuale di riuscita
Dimensione del puntoQuante previsioni ci sono in quella fascia: i punti più grandi pesano di più
Colore del puntoVerde quando quelle previsioni hanno battuto il loro prezzo, rosso quando sono rimaste sotto

Quindi un punto verde ben sopra la linea intorno al 30% vuol dire: quando hai comprato cose a circa il 30%, si sono avverate molto più spesso. È la zona in cui scopri ciò che gli altri sottovalutano. Un punto rosso sotto la linea intorno all'80% significa l'opposto: i tuoi acquisti sicuri si sono avverati meno spesso di quanto avevi pagato.

Ci sono alcune forme che tornano spesso:

  • Punti attaccati alla linea: sei per lo più d'accordo con i prezzi della folla, e la folla se la cava bene. Il tuo vantaggio resterà vicino a zero
  • Punti verdi a sinistra, vicini alla linea a destra: sei bravo a scovare gli improbabili sottovalutati, e i tuoi favoriti hanno un prezzo più o meno giusto
  • Punti rossi a destra: tendi a comprare favoriti troppo cari. Forse il gruppo è troppo sicuro di sé, o compri quando il prezzo è già salito
  • Un solo punto grande, nient'altro: compri sempre nella stessa fascia di prezzo. Il grafico può giudicare solo i prezzi a cui operi davvero

Da computer, passando il mouse su un punto vedi i numeri esatti: la fascia di prezzo, quante previsioni si sono avverate e su quante.

Cosa significa il verdetto?

Sopra i numeri, la carta riassume tutto in una frase. Segue una regola semplice:

VantaggioVerdettoTono
+5 pt o piùBatti la folla di N puntiVerde
Tra -5 e +5 ptFinora sei più o meno alla pari con la follaNeutro
-5 pt o menoFinora la folla ci ha preso più spesso di teRosso

La fascia di 5 punti al centro è voluta. Un vantaggio di +2 o -3 pt rientra ampiamente nella normale casualità, e sarebbe sciocco chiamare uno di noi previsore e l'altro sprovveduto per così poco.

C'è un'ultima regola, ed è il tema della prossima sezione: con meno di 10 mercati risolti, essere avanti conta solo come "finora". La carta dice "Finora sei avanti alla folla, ma è ancora presto per dirlo", non cita i punti e non elogia un talento che non hai ancora avuto il tempo di mostrare.

Perché i primi 10 mercati sono presto?

Okay, questa è la parte che tiene onesto il punteggio. Una sola previsione può far oscillare enormemente il tuo vantaggio. Compri SÌ a 0,51 una volta, ci prendi, e il tuo vantaggio è +49 pt. Sbagli, ed è -51 pt. Nessuno dei due numeri dice qualcosa su di te. È un lancio di moneta con i decimali.

Quanto muove le cose la fortuna? Una regola approssimativa: per previsioni intorno al 50%, il rumore nel tuo vantaggio è circa 50 punti diviso la radice quadrata del numero di mercati.

Mercati risoltiOscillazione tipica dovuta alla sola fortuna
1Circa ±50 pt
4Circa ±25 pt
10Circa ±16 pt
25Circa ±10 pt
100Circa ±5 pt

È una regola empirica, non una legge esatta, e le previsioni a prezzi molto alti o molto bassi sono un po' meno rumorose. Ma rende l'idea del problema. Anche con 10 mercati, un vantaggio di +10 pt potrebbe essere ancora in gran parte fortuna. Con 100 mercati, probabilmente no.

Perché 10 e non 50? Perché lo scopo del punteggio è essere divertente e utile tra amici, e un gruppo di amici magari risolve qualche mercato al mese. Dieci è il punto in cui i numeri smettono di essere puro rumore e cominciano a suggerire una direzione. La nota sotto il grafico lo dice chiaramente: "Basato su pochi mercati: diventa affidabile dopo circa 10." Consideralo il momento in cui vale la pena discutere del punteggio, non quello in cui diventa la verità.

Perché misurarsi con la folla?

È un'obiezione legittima: il prezzo di mercato non è solo la stima di tutti? Perché batterlo dovrebbe significare qualcosa?

Perché quella stima di solito è buona. Un prezzo di mercato unisce ciò che sanno tutti nel gruppo e su cui sono disposti a mettere dei Coin, che è l'idea alla base della saggezza della folla. Battere un prezzo fissato da chi conosce l'argomento è difficile. Se ci riesci con costanza, probabilmente sai qualcosa che loro non sanno, oppure ci ragioni con più chiarezza.

C'è però un'insidia sottile. Il tuo stesso acquisto sposta il prezzo. Su KrowdCall i prezzi vengono da un market maker automatico, spiegato in LMSR spiegato ai principianti, e ogni quota che compri costa un po' più della precedente. Quindi il prezzo medio che hai pagato include già la spinta che hai dato al mercato. Gli acquisti grandi nei mercati piccoli ottengono prezzi un po' peggiori, ed è giusto così: il punteggio giudica il prezzo che hai pagato davvero, non uno migliore che avresti voluto avere.

E i gruppi piccoli hanno un rischio tutto loro. Se tutti hanno lo stesso punto cieco, il prezzo della folla può sbagliare in modo prevedibile, e batterlo è più facile. Resta una vera abilità, ma è un'abilità contro i tuoi amici, non contro il mondo.

Come puoi migliorare il tuo punteggio?

Non esiste un trucco che garantisca un vantaggio migliore, e non ha senso nemmeno cercare di aggirarlo: l'unico modo per alzarlo è fare previsioni migliori. Queste abitudini di solito aiutano:

  • Compra solo quando pensi che il prezzo sia sbagliato. Essere d'accordo con la folla non è un errore, ma in questo punteggio non porta niente
  • Chiediti cosa manca al prezzo. La conoscenza locale, come quanto spesso il tuo amico arriva davvero in orario, è dove i piccoli gruppi sbagliano i prezzi
  • Diffida dei favoriti costosi. Una quota al 90% vince poco e perde tanto, quindi devi avere ragione più del 90% delle volte perché convenga
  • Guarda i tuoi punti rossi. Se si concentrano in una fascia di prezzo, è l'abitudine da controllare per prima
  • Continua a fare previsioni. Più mercati risolti rendono il punteggio più onesto, qualunque cosa dica

Per approfondire quando e quanto comprare, la nostra guida alla strategia nei mercati predittivi trasforma queste idee in regole pratiche. E le abitudini dietro le buone previsioni, come i tassi di base e l'aggiornamento, sono in come fare previsioni migliori.

Cosa può e cosa non può dirti il punteggio

Torniamo ai due amici dell'inizio: quello che ci prende sempre sulle cose ovvie e quello che ci prende quando è sorprendente. La calibrazione è fatta per distinguerli. Le previsioni giuste premiano il primo. Il vantaggio premia il secondo, perché dà credito solo quando hai ragione più spesso di quanto la folla si aspettasse.

Ha comunque dei limiti. Non vede i motivi dietro una previsione, non sa distinguere abilità e fortuna su una manciata di mercati e giudica solo le fasce di prezzo in cui operi davvero. Un ottimo vantaggio su 8 mercati è un inizio promettente, non una reputazione.

Ma nel tempo risponde a una domanda sorprendentemente difficile da chiarire in una chat di gruppo: quando non sei d'accordo con tutti, quanto spesso hai ragione? Se vuoi cominciare a costruire la tua risposta, trova un mercato in cui pensi che la folla abbia sbagliato.

Domande frequenti

Trova risposte rapide alle domande più comuni su questo argomento.

È una sezione del tuo profilo e del tuo P&L che confronta il prezzo pagato per ogni tua previsione con il fatto che si sia avverata o no. Mostra due numeri, il vantaggio e le previsioni giuste, un grafico delle tue previsioni raggruppate per prezzo e un verdetto di una frase che dice se sei avanti alla folla, più o meno alla pari o indietro.

Bruma

Autore

Bruma
Pubblicato

Pronto a mettere alla prova le tue previsioni?

Metti alla prova il tuo intuito. Crea il tuo primo mercato predittivo in pochi secondi — completamente gratis, senza soldi veri.

Leggi anche

Esplora le categorie