Valutazione.it

La valutazione in contesti complessi, per esempio in presenza di un ampio partenariato, è diversa da quella in contesti semplici? In cosa differisce? Quali implicazioni presume? Propongo una prima riflessione, scaturita nel corso di una discussione presso l'IReR di Milano qualche giorno fa.

Il 18 Dicembre scorso ho partecipato a un’interessante discussione presso l’IReR di Milano; si è trattato di una sorta di metavalutazione, ovvero della valutazione di ricerche valutative già realizzate in Lombardia dall’IReR direttamente o con l’organizzazione e supervisione di IReR. Del ciclo di incontri predisposto, a me è toccato quello relativo le valutazione in situazione di partenariato o di particolare complessità.

Ripropongo qui di seguito la mappa concettuale che mi è servita da canovaccio per la discussione, seguita dalle note – molto sintetiche in questo Portolano – relative ai vari box.

Ci sono naturalmente molte situazioni definibili complesse per la valutazione, ma due sono centrali: la molteplicità degli attori coinvolti nella valutazione e l’ambiguità concettuale relativa all’oggetto (programma, politica, organizzazione) da valutare.

1. “Molteplicità degli attori coinvolti” significa certamente tutte le situazioni di partenariato (che è sempre una condizione di rischio progettuale) ma anche quelle in cui una varietà di attori sociali (decisori, operatori o beneficiari), nelle loro articolazioni, sono coinvolte direttamente o indirettamente nel programma, semmai in una situazione di conflittualità o di evidente presenza di situazioni asimmetriche (qualcuno “guadagna” e qualcuno “perde” dal programma, e quindi dalla valutazione);
2. l’”Ambiguità concettuale” è una condizione ineliminabile di qualunque programma oggetto di valutazione. Indipendentemente dalla competenza dei redattori e dell’accuratezza formale dei programmi, ogni concetto necessariamente implicato è “vago”, semanticamente ambiguo, diversamente interpretabile: concetti quali ‘inclusione sociale’, ‘adeguatezza dei servizi per l’impiego’, ‘qualità della formazione’, ‘trasferibilità delle buone prassi’ (tanto per prenderne alcuni a caso) non sono chiaramente comprensibili nello stesso modo da tutti gli aventi causa;
3. l’elemento (1) necessita evidentemente la chiara identificazione di tutti i principali stakeholder, se non altro perché ciascuno è portatore di set di valori (politici, organizzativi, …) differenti, elemento che agisce direttamente sui possibili successi e insuccessi del programma, e quindi della valutazione;
4. parallelamente l’elemento (2) ci impone un lavoro di disambiguamento, o di chiarificazione, che ci permetta di avviare una valutazione con un minor numero di incertezze semantiche; da notare che questo è un imperativo metodologico, con riflessi importanti sul piano del consenso attorno alla valutazione e i suoi futuri esiti (e quindi sull’uso). Il doppio connettore fra i box (3) e (4) è importante: se abbiamo una molteplicità di attori coi loro valori da una parte, e la consapevolezza dell’ambiguità concettuale dall’altra, viene da sé che il problema è decuplicato (tanti attori che interpretano differentemente i concetti già di per sé ambigui), ma che una soluzione che si impone è di cercare una disambiguazione proprio nel coinvolgimento di quegli stessi diversi attori, attraverso un processo negoziale che si gioca sul piano semantico e su quello pragmatico, con processi e tecniche di carattere dialogico che qui non si ha il tempo e il modo di approfondire;
5. il processo di chiarificazione visto sopra consente di mappare gli attori coinvolti nel programma, le loro funzioni e ruolo, e quindi le loro relazioni fino ai processi nei quali sono coinvolti. Questa “mappa” (da intendere anche solo in senso figurato) è fondamentale per la realizzazione di qualunque analisi e valutazione dell’implementazione, dei processi organizzativi e per un monitoraggio intelligentemente fondato sui processi e non sulla preesistenza di “dati” (su questo argomento importantissimo tornerò in prossime note sul Portolano, in particolare in prossimità dell’uscita del volume a cura mio, di Cannavò e di Palumbo sugli indicatori – previsto per Febbraio 2010 – che contiene un fondamentale contributo di Lombardi su questo tema). Oltre a tale mappa, e in maniera del tutto simile come processo cognitivo implicato, si potrà avere una mappa fondamentale delle dimensioni e degli indicatori necessari alla valutazione. C’è uno stretto rapporto fra mappa degli attori/processi e quella delle dimensioni/indicatori, sia di carattere tecnico-metodologico che epistemologico, ma anche tali questioni non ho spazio di approfondire qui;
6. il box (6) è speculare al precedente e consente al valutatore di avere la “mappa degli elementi da valutare”; la chiarificazione concettuale vista al box (4) consente infatti di dispiegare – alla luce delle connotazioni che il concetto ambiguo avrà alla fine ricevuto – gli elementi fondanti, i pilastri del programma da valutare (traslando: le sue dimensioni), nonché le loro componenti costituite da attori, azioni, aspetti di budget, obiettivi specifici e così via (se ne vedrà l’affinità con gli indicatori). Il doppio connettore fra i box (5) e (6) è, come il precedente, di fondamentale importanza dal punto di vista sistemico del disegno valutativo: grazie al lavoro di esplorazione semantica col coinvolgimento degli attori, da un lato le mappe concettuali del box (5) sono ricostruite sulla base della pragmatica rappresentazione del programma valutato, dall’altro la selezione degli elementi da sottoporre a valutazione (6) sono il frutto di riflessione negoziata;
7. uno dei frutti più interessanti di questo processo, considerando il lato sinistro della figura, è la possibilità di organizzare e proporre un monitoraggio intelligente, e non piattamente risolto sulla mera disponibilità di dati (come ho già detto si tratta di un tema complesso che riprenderò in altra occasione);
8. il box (8) è cruciale: se siamo in presenza di un contesto complesso (questa era la premessa), come è possibile illudersi si risolvere la valutazione con poche banalità? I metodi misti sono qui da intendere come proposta da considerare nel disegno valutativo con riferimento a differenti dimensioni: tecniche miste vuole certamente dire usare tecniche “qualitative” e “quantitative”, ma anche idonee a esplorare efficacia ed efficienza del programma, suoi processi implementativi oltre che gli esiti, valutando le risposte dei diversi attori, operatori e beneficiari prima di tutti, e così via. In poche parole: non possono bastare tre focus group e due-tre interviste, da raccontare poi in lungo e in largo con abbondanza di retorica e uso di indebite inferenze in rapporti di 300 pagine. Metodi misti significa, qui, anche rigore del disegno, diversificazione di tecniche, massa critica minima nel numero di questionari, di interviste, di focus, di quel che vi pare.
9. Il box finale “Ricerca valutativa” (9) indica la finale raccolta dei frutti di questo processo e la possibilità di andare poi a fare quella parte forse più visibile di raccolta di dati e informazioni, loro interpretazione, e quindi formulazione dei giudizi valutativi che – senza il processo precedente – rischia di diventare banale, inefficace, retorico, distorcente della realtà, non condivisibile.