Il modello si auto-migliora?
Seguiamo l’evoluzione della calibrazione (ECE) e dell’hit rate rispetto al baseline frequentista, revisione dopo revisione. Una calibrazione che migliora rende le probabilità più affidabili — non aumenta le vincite: l’EV resta negativo.
Come leggere questi grafici
Ogni grafico mette a confronto due cose diverse, su due assi diversi. L’asse a sinistra (in %) misura quanto il modello azzecca; l’asse a destra misura quanto le sue probabilità sono affidabili.
Hit rate del modello: linea piena, colore del gioco — asse sinistro (%). Quanto spesso le giocate generate dal modello centrano un risultato utile. Più sale, meglio seleziona.
Baseline frequentista: linea rossa tratteggiata — stesso asse sinistro (%). È il livello di chi sceglie i numeri solo dalle frequenze storiche, senza modello. Quando la linea colorata sta sopra la rossa, il modello fa meglio del semplice caso.
ECE — errore di calibrazione: linea chiara — asse destro. Quanto le probabilità dichiarate dal modello sono realistiche. Qui vale il contrario: più è bassa, meglio è. Vicino a 0 = probabilità oneste. Obiettivo ≤ 0,05.
Le due scale sono indipendenti: confronta la linea colorata solo con la rossa. La linea chiara dell’ECE si legge da sola sull’asse destro — se sembra «incrociare» la baseline è solo un effetto dei due assi, non un confronto reale.
E in ogni caso: una calibrazione migliore vuol dire probabilità più oneste, non più vincite. L’EV resta negativo per definizione.
Margine di miglioramento
Di quanto il modello seleziona meglio della baseline frequentista, misurato sul campione live aggregato e corredato di intervallo di confidenza. Il valore compare appena i segnali valutati raggiungono la soglia minima.
Una calibrazione migliore significa probabilità più oneste e affidabili — non più vincite. Il valore atteso (EV) resta negativo per definizione e nessun sistema garantisce la vincita.
Le performance passate non garantiscono risultati futuri · Nessun sistema garantisce la vincita · EV negativo per definizione · 18+ · adm.gov.it
