Il modello si auto-migliora?
Seguiamo l’evoluzione della calibrazione (ECE) e dell’hit rate rispetto al baseline frequentista, revisione dopo revisione. Una calibrazione che migliora rende le probabilità più affidabili — non aumenta le vincite: l’EV resta negativo.
Come leggere questi grafici
Ogni grafico mette a confronto due cose diverse, su due assi diversi. L’asse a sinistra (in %) misura quanto il modello azzecca; l’asse a destra misura quanto le sue probabilità sono affidabili.
Hit rate del modello: linea piena, colore del gioco — asse sinistro (%). Quanto spesso le giocate generate dal modello centrano un risultato utile. Più sale, meglio seleziona. Il pallino è più grande nei giorni con campione più ampio: pallini piccoli sono misure meno solide, non rumore da ignorare ma nemmeno da leggere come un vero cambiamento.
Baseline frequentista: linea rossa tratteggiata — stesso asse sinistro (%). È il livello di chi sceglie i numeri solo dalle frequenze storiche, senza modello. Quando la linea colorata sta sopra la rossa, il modello fa meglio del semplice caso.
ECE — errore di calibrazione: linea chiara con sfondo sfumato — asse destro. Quanto le probabilità dichiarate dal modello sono realistiche. Qui vale il contrario: più è bassa, meglio è. Vicino a 0 = probabilità oneste. La riga tratteggiata sottile segna l’obiettivo dichiarato (≤ 0,05).
Linea verticale grigia: segna un cambio di revisione del modello (nuova versione spedita in produzione). Un salto netto della curva in quel punto è un cambio di regime dichiarato, non un errore o rumore del giorno: confronta i periodi prima/dopo separatamente.
Linea verticale arancione: segna un cambio dell’evento misurato (es. il modello ora propone un numero diverso di numeri): la probabilità di base cambia con lui, quindi i segmenti prima e dopo non sono confrontabili — a differenza della linea grigia, che segna solo un riaddestramento a evento invariato. In questi punti hit rate e baseline sono spezzate in due linee separate; l’ECE resta continua perché non dipende dalla cardinalità dell’evento.
Le due scale sono indipendenti e non sono in proporzione: confronta la linea colorata solo con la rossa. La linea chiara dell’ECE si legge da sola sull’asse destro — se sembra «incrociare» la baseline è solo un effetto dei due assi, non un confronto reale.
E in ogni caso: una calibrazione migliore vuol dire probabilità più oneste, non più vincite. L’EV resta negativo per definizione.
Margine di miglioramento
Di quanto il modello seleziona meglio della baseline frequentista, misurato sul campione live aggregato e corredato di intervallo di confidenza. Il valore compare appena i segnali valutati raggiungono la soglia minima.
Una calibrazione migliore significa probabilità più oneste e affidabili — non più vincite. Il valore atteso (EV) resta negativo per definizione e nessun sistema garantisce la vincita.
Le performance passate non garantiscono risultati futuri · Nessun sistema garantisce la vincita · EV negativo per definizione · 18+ · adm.gov.it
