In statistica esistono due usi principali per il termine calibrazione i quali denotano tipi specifici di problemi di inferenza statistica. Esso può riferirsi a procedure di classificazione probabilistica atte a determinare, per una data nuova osservazione, le probabilità di appartenenza a ciascuna delle classi prestabilite, quantificandone l'incertezza. un processo inverso rispetto alla regressione nel quale, invece di predire una futura variabile dipendente sulla base di variabili esplicative note, si usa un'osservazione nota delle variabili dipendenti per predire una variabile esplicativa corrispondente;
In aggiunta, il termine calibrazione in statistica ha anche l'usuale significato generale di calibrazione. Ad esempio, si può parlare di calibrazione di modello per riferirsi all'inferenza bayesiana del valore dei parametri di un modello, dato un certo dataset o, più in generale, a qualsiasi tipo di addestramento di un modello statistico. Come affermato da Philip Dawid, "un predittore è ben calibrato se, ad esempio, tra gli eventi a cui assegna una probabilità del 30%, la proporzione di quelli che si verificano effettivamente nel lungo termine risulta essere del 30%."
Classificazione Nella classificazione la calibrazione comporta la trasformazione di punteggi di un classificatore in probabilità di appartenenza alle classi. Una panoramica sui metodi di calibrazione per problemi con due o più classi è offerta in . Un classificatore potrebbe separare bene le classi, ma risultare scarsamente calibrato, nel senso che le probabilità stimate per le classi sono lontane da quelle effettive. In tal caso, un passo di calibrazione può aiutare a migliorare le probabilità stimate. Esiste una varietà di metriche che mirano a valutare in che misura un classificatore produca probabilità ben calibrate. Tra i risultati fondamentali figura l'Expected Calibration Error (ECE). che ha avuto successivamente alcune varianti come l'Adaptive Calibration Error (ACE) e il Test-based Calibration Error (TCE), che mirano a superare i limiti della metrica ECE che possono emergere quando i punteggi dati dal classificatore si concentrano in sottoinsiemi ristretti dell'intervallo [0,1].
Una recente innovazione nel campo della valutazione della calibrazione è venuta dall'introduzione dell'Estimated Calibration Index (ECI). L'ECI estende i criteri dell'ECE per fornire una misura più articolata della calibrazione di un modello, affrontando in particolare il problema della tendenza verso un'eccessiva o scarsa fiducia nei risultati. Formulato originariamente per contesti binari, l'ECI è stato adattato a casi multiclasse, offrendo indicazioni sia locali che globali sulla calibrazione del modello. Questo approccio mira a superare alcuni dei limiti teorici e interpretativi delle metriche di calibrazione esistenti. Attraverso una serie di esperimenti, è stata dimostrata l'efficacia dell'approccio nel fornire una comprensione più accurata dei livelli di calibrazione dei modelli e sono state discusse le strategie per mitigare i bias nella valutazione della calibrazione. È stato proposto uno strumento online per calcolare sia l'ECE che l'ECI. Sono disponibili diversi metodi di calibrazione univariati per trasformare i punteggi forniti da un classificatore in vere probabilità di appartenenza alle classi, nel caso binario:
Approccio assignment value U. M. Garczarek " ," Classification Rules in Standardized Partition Spaces, Dissertation, Universität Dortmund, 2002 Approccio baiesiano Regressione Isotonica Platt scaling (una forma di regressione logistica) Bayesian Binning into Quantiles (BBQ) Calibrazione Beta
I seguenti metodi di calibrazione multivariata servono a trasformare i punteggi di classificatori in probabilità di appartenenza alle classi, nel caso in cui il numero di classi sia superiore a due:
Riduzione a problemi binari e successivo uso dell'algoritmo di pairwise coupling Calibrazione di Dirichlet
Predizione di probabilità e forecasting Nella predizione e nel forecasting, a volte si usa il Brier score per valutare l'accuratezza di un insieme di predizioni, specificamente che la grandezza delle probabilità assegnate segua la traccia della frequenza relativa dei risultati osservati. Il termine "calibrazione" viene usato con questo significato nel libro di Philip E. Tetlock intitolato Superforecasting. Esso differisce da accuratezza e precisione. Ad esempio, come evidenziato da Daniel Kahneman, "se si attribuisce a tutti gli eventi che si verificano una probabilità di 0,6 e a tutti quelli che non si verificano una probabilità di 0,4, la discriminazione è perfetta ma la calibrazione è pessima". In meteorologia e, in particolare, nelle previsioni del tempo, una forma di valutazione correlata è nota come forecast skill.
Regressione Nella regressione il problema della calibrazione riguarda l'uso di dati noti sulla relazione osservata tra una variabile dipendente e una variabile indipendente per stimare altri valori della variabile indipendente a partire da nuove osservazioni della variabile dipendente. Brown, P.J. (1994) Measurement, Regression and Calibration, OUP. Ng, K. H., Pooi, A. H. (2008) "Calibration Intervals in Linear Regression Models", Communications in Statistics - Theory and Methods, 37 (11), 1688–1696. Hardin, J. W., Schmiediche, H., Carroll, R. J. (2003) "The regression-calibration method for fitting generalized linear models with additive measurement error", Stata Journal, 3 (4), 361–372. link, pdf Ciò è noto come problema di "regressione inversa".Draper, N.L., Smith, H. (1998) Applied Regression analysis, 3rd Edition, Wiley.
Note
Voci correlate Calibrazione Classificazione probabilistica
Collegamenti esterni
Categoria:Statistica Categoria:Inferenza statistica