La valutazione delle politiche pubbliche è un'attività di ricerca e di pratica professionale (funzione conoscitiva) finalizzata ad apprendere dall'esperienza formulando raccomandazioni per il cambiamento (funzione strumentale) e ad esprimere dei giudizi empiricamente fondati (funzione normativa) sui disegni, i processi, i risultati, gli effetti delle politiche pubbliche. La valutazione delle politiche pubbliche è un ambito della analisi delle politiche pubbliche.
Alcune classificazioni L'approccio sistematico di Rossi, Freeman e Lipsey
I suddetti autori propongono un approccio sistematico alla valutazione delle politiche pubbliche (program evaluation) che si struttura essenzialmente su alcune domande cui il valutatore non può sottrarsi: quali sono i propositi della valutazione in questione? qual è la struttura e il contesto in cui si trova il programma analizzato? come deve essere impostata la relazione con gli stakeholders? quali sono le domande valutative (evaluation questions) cui è necessario dare risposta? quali sono i metodi applicabili per dare risposte solide alle domande poste?
Le domande valutative individuate dagli autori sono cinque e costituiscono altrettanti stadi del processo di valutazione di una politica pubblica: valutazione dei bisogni sociali cui vuole rispondere il programma valutazione della teoria sottesa al programma valutazione del processo/implementazione valutazione dell'impatto/degli effetti valutazione di efficienza
Questi tipi di valutazione si trovano tra loro in un rapporto gerarchico. Il livello fondamentale della gerarchia è costituito dalla valutazione del problema sociale cui il programma è indirizzato. A seguire è possibile rispondere, nell'ordine, alle altre quattro domande. Omettere uno dei passaggi indicati comporta il rischio di una valutazione errata, in quanto, generalmente, una valutazione di un livello di gerarchia superiore presuppone la conoscenza e l'analisi di aspetti della politica (policy) riferiti ai livelli inferiori della gerarchia valutativa (evaluation hierarchy).
Ad esempio, se i risultati della valutazione di impatto di una politica X sono negativi, quali conclusioni se ne possono trarre? Dove è stato il fallimento? Non si sono compresi a fondo i problemi sociali? La teoria della politica era costruita su una catena causale di azioni-effetti sbagliata (theory failure)? È fallito qualcosa nella fase di implementazione (implementation failure)? È evidente che non considerando il ciclo della policy nella sua integrità né il valutatore né il decisore potranno capire le cause del fallimento ed agire di conseguenza (learning). Lo stesso ragionamento varrebbe ovviamente di fronte a risultati positivi: non considerando alcune fasi della policy è impossibile interpretare i risultati/effetti stimati con la valutazione di impatto.
La valutazione dei bisogni cui è indirizzato il programma (needs assessment)
Con questo studio valutativo si cerca di rispondere alla domanda “qual è il problema?”. Attorno a questa semplice domanda sorgono una serie di quesiti e questioni epistemologiche che in questa sede non ha senso trattare ma che il ricercatore, tuttavia, non può trascurare. Lo scopo di questo tipo di valutazione (che può essere svolta sia preventivamente che a posteriori) cerca di definire il problema nelle sue dimensioni, tendenze (trends) e peculiarità, facendo uso sia di tecniche e dati quantitativi che di metodi di indagine qualitativa che permettono di descrivere il problema e tenere conto delle differenti percezioni dello stesso da parte dei diversi stakeholders. Necessario è anche giungere a definire chi sono i soggetti obiettivo: individuali o collettivi, diretti o indiretti, ecc.
La valutazione della teoria della politica (program theory assessment)
La teoria del programma può essere definita come l'insieme delle assunzioni circa i risultati che il programma in esame prevede di produrre e sulle strategie e le tattiche che il programma intende adottare per raggiungere i suoi obiettivi. La teoria viene scomposta dagli autori in due componenti: la prima è la teoria dell'impatto (impact theory) e si riferisce al cambiamento atteso in seguito al programma secondo una catena di eventi e nessi causali (dall'azione A ci si aspetta un risultato B); la seconda è la teoria di processo (process theory) che descrive i passaggi, le attività da compiere nell'organizzazione e nell'implementazione degli interventi.
La teoria di una politica può essere "esplicita" o "implicita". Il ricercatore-valutatore ha il compito di definirla mediante diverse fonti informative: documentazione amministrativa, interviste a decisori e stakeholders, osservazione diretta delle funzioni del programma, letteratura delle scienze sociali. In questo modo è possibile raccogliere tre tipi di informazione: obiettivi della politica, funzioni, componenti e attività del programma e la logica sequenziale che lega funzioni, attività e prodotti. Una buona analisi della teoria sottesa ad una politica permette di: capire quali sono gli obiettivi, individuare le funzioni e le attività programmate ed eventualmente contribuire al ridisegno di una politica.
Se la teoria sottesa ad una politica è considerata ben definita e giustificata, allora è possibile proseguire con la valutazione. In caso contrario, non avrebbe senso continuare perché ogni risultato che si otterrebbe sarebbe impossibile da interpretare in relazione alla politica. Ad esempio, se – in seguito ad un'analisi di impatto condotta rigorosamente – gli effetti sulla popolazione target della politica in esame sono stimati essere positivi, come è possibile imputare i “meriti” ai decisori senza aver prima analizzato la teoria della politica, ovvero come la politica è stata disegnata? Nel caso in cui la politica fosse stata disegnata male, si potrebbe concludere che o i risultati ottenuti sono dovuti al caso o in fase di implementazione gli attori non hanno rispettato i programmi e hanno agito “indipendentemente” (in questo caso un’implementation failure determinerebbe il successo della politica).
La valutazione del processo di implementazione (process evaluation)
Lo scopo di questo tipo di valutazione è quello di conoscere “cos'è realmente il programma” e se i servizi/gli interventi raggiungono concretamente oppure no la popolazione target. Può essere effettuata a posteriori (program process evaluation), necessaria per la valutazione di impatto, o in itinere (continuous program monitoring), necessaria prevalentemente per i gestori del programma in quanto fornisce un feedback regolare sull'implementazione degli interventi.
La valutazione del processo attuativo di una policy assume una certa rilevanza anche in una prospettiva di accountability o “rendicontabilità”, in quanto rende conto a tutti i possibili stakeholders di “cosa l'organizzazione sta facendo”. Alcuni aspetti oggetto di analisi sono il livello di partecipazione/coinvolgimento della popolazione target, il livello di “distorsione” (bias) nell'erogazione di un servizio (es. un sottogruppo partecipa più di altri) e il livello di abbandoni (dropouts). Confrontando i risultati di questa analisi con la teoria del cambiamento sottesa alla politica è possibile sapere se la politica è implementata come era stato programmato o no (implementation failure).
Un fallimento dell'implementazione può essere dovuto alla non effettuazione dell'intervento, ad una sua parziale effettuazione, all'erogazione di un servizio sbagliato o secondo criteri distanti da quelli prescritti, ad un'erogazione diversificata tra la popolazione target oppure a differenti modalità di implementazione tra diverse unità territoriali incaricate (es. centri per l'impiego). Conoscere questi scostamenti dal programma è essenziale per effettuare un'analisi degli effetti.
La valutazione degli effetti della politica (impact assessment)
Gli outcomes (effetti) di un programma possono essere stimati e interpretati in diversi modi. Il valutatore deve capire e definire qual è l'effetto su cui la politica vuole influire. L'individuazione e la misurazione del nesso causale tra la variabile trattamento (il prodotto o output) e questa variabile dipendente (variabile effetto od outcome) costituisce la sfida di questo tipo di valutazione. La variabile outcome può essere considerata sotto diversi punti di vista: outcome level: è il livello, lo stato, della caratteristica della popolazione target o della condizione sociale su cui la policy intende agire, misurato in un preciso istante nel tempo (es. il tasso di criminalità in un quartiere misurato nel tempo t); outcome change: è la differenza tra due misurazioni della stessa variabile outcome in tempi diversi (es. la differenza tra il tasso di criminalità nel tempo t e nel tempo t+1, ovvero dopo un intervento di riqualificazione urbana); program effect (impact): è la porzione di outcome change che può essere attribuita al programma (la porzione di scostamento tra le due misurazioni del tasso di criminalità attribuibile esclusivamente all'intervento di riqualificazione urbana).
L'identificazione degli outcomes rilevanti, la loro misurazione, la scelta e l'applicazione delle tecniche di misurazione e di stima costituiscono altrettanti argomenti che non possono essere affrontati in questa sede e che comunque poco si prestano a ragionamenti metodologici generali in quanto fortemente connessi alle specifiche situazioni.
Gli autori sottolineano l'importanza della distinzione tra: il monitoraggio e la misurazione degli outcomes la valutazione di impatto (secondo metodi sperimentali e non sperimentali)
Il monitoraggio (program monitoring) è definibile come la raccolta sistematica di aspetti della performance di un programma che indicano se questo sta funzionando come era inteso inizialmente o in accordo con determinati standards previamente fissati. L'oggetto del monitoraggio è la performance del programma, che può riguardare sia i prodotti, sia gli outcomes, sia il processo di implementazione. Il monitoraggio, anche se basato sull'osservazione di indicatori relativi agli outcomes, non è definibile come “valutazione degli effetti”.
La valutazione di impatto (impact assessment) può essere effettuata solo dopo aver effettuato le valutazioni collocate negli stadi inferiori della “gerarchia”. Si parla di valutazione di tipo black box - il programma è una "scatola nera" - quando il valutatore conduce un'analisi di impatto senza conoscere nulla dei processi che hanno generato tali effetti.
Nelle istituzioni pubbliche il processo di valutazione avviene nei seguenti termini:
a) Costruzione della "scatola nera"Gherardi S., Nicolini D., (2004) Apprendimento e conoscenza nelle organizzazioni, Roma, Carocci, p. 112, riprendendo la metafora del dispositivo presente negli aeroplani, che serve a ricostruire il diario di volo, si suole indicare un prototipo euristico che conduce a nuove conclusioni e scoperte in ogni campo, es. il libero arbitrio ovvero un dispositivo sinderetico che permette di scegliere tra il bene e il male. b) "Stabilizzazione degli artefatti"Ibidem, cioè l'insieme dei processi di traslazione che ne permettono la rielaborazione (per es. il Forum PA contiene una propria bacheca dedicata ai libri, ai convegni e ai seminari).
Si tratta fondamentalmente di un'analisi comparativa: gruppo di trattati a confronto con il gruppo di controllo; oppure valore fattuale contro valore controfattuale (stima del valore che la variabile risultato avrebbe avuto se il gruppo dei trattati non fosse stato sottoposto al trattamento). I disegni di analisi dell'impatto variano molto ed è possibile individuare due filoni della valutazione d'impatto: