Valutazione.it

E’ uscito il volume a cura mia, di Leonardo Cannavò e Mauro Palumbo Costruire e usare indicatori nella ricerca sociale e nella valutazione (Franco Angeli, Milano); lo potete ordinare da oggi e lo troverete fisicamente, in libreria, nell’arco di tre-quattro giorni.

Vi propongo qui uno stralcio dalla mia Introduzione, che vi presenta l’articolazione dei testi presenti nel volume.

Il volume è diviso in tre parti: la prima potrebbe essere definita “teorica”, o almeno maggiormente teorica della seconda, nel senso che i saggi qui contenuti non fanno diretto riferimento a casi o esperienze specifiche ma affrontano questioni metodologiche ed epistemologiche generali, fondamentali per capire cosa sono gli indicatori e quali problemi vanno affrontati per poterli costruire ed utilizzare.

Il volume si apre con un saggio di Mauro Palumbo che si propone quale introduzione tecnica al tema: dopo una definizione canonica Palumbo punta diritto verso la complessità dell’oggetto, che si ritrova nel rapporto di indicazione fra indicatore e parte indicata, e nella sua natura abduttiva che – a detta dell’Autore – apre le porte a quelle prospettive costruttiviste che vedremo poi ampiamente trattate nei successivi due capitoli di Vardanega e Venneri. Palumbo prosegue poi riproponendo una sua già nota distinzione fra due diverse famiglie di indicatori: quelli afferenti  un approccio “statistico” e quelli uno “sociologico”: Palumbo è molto chiaro in questa distinzione che sarà ripresa da diversi altri autori di questo volume e che appare fondamentale per capire almeno alcune incomprensioni fra prospettive disciplinari differenti e fra utilizzi diversi degli indicatori: la chiara sottolineatura di due approcci (e quindi di due paradigmi, di due concettualizzazioni, di due percorsi anche empirici differenti) aiuta ad allargare la visuale rispetto gli indicatori evitando almeno una delle principali fonti di equivoco. In conclusione Palumbo arriva al cuore dell’uso valutativo degli indicatori mostrando il parallelismo fra processo di costruzione degli indicatori e processo di costruzione di un programma: un altro spunto di grande importanza per non immaginare gli indicatori come meri numeri, bensì come processi carichi di teoria.

In appendice al suo contributo un’opportuna digressione sull’uso degli indicatori nei fondi strutturali europei redatta da Claudio Torrigiani.

I testi di Agnese Vardanega e Eleonora Venneri hanno una chiara impronta costruttivista e partono dal punto in cui Palumbo, al termine del suo primo paragrafo, affrontava il problema della natura inferenziale degli indicatori. Vardanega esordisce in maniera inequivoca indicando come i fatti sociali siano delle costruzioni culturali, e di conseguenza gli indicatori non possono sottrarsi a questo medesimo destino. A partire da questo programma Vardanega rivisita il cosiddetto “paradigma lazarsfeldiano” per concludere che deduzione (la conseguenza più logica di tale paradigma, per la quale il rapporto di indicazione degli indicatori è dedotto dalla teoria) e induzione (l’altra inferenza classica per la quale gli indicatori nascono – per così dire – dai dati e dalle evidenze disponibili) non sono sufficienti a descrivere la natura del rapporto di indicazione se non aggiungiamo l’abduzione. Ci sono naturalmente conseguenze importanti, a partire dal fatto che l’interpretazione (della realtà, della natura dei dati, degli indicatori…) assume un’importanza cruciale nella teoria e nell’uso degli indicatori; Vardanega deve allora rivolgersi alla linguistica, e nella seconda parte del suo contributo legge il rapporto di indicazione alla luce di semantica, pragmatica e sintassi, anticipando e integrando alcune riflessioni che ritroveremo in Venneri e Bezzi.

Venneri fa un passo ulteriore: se il rapporto di indicazione è di tipo abduttivo, e sostanzialmente linguistico (semantico, pragmatico, sintattico – così avevamo lasciato Vardanega) allora l’interpretazione deve essere di carattere argomentativo e riflessivo, e quindi ha natura sociale, di co-costruzione; così esordisce Venneri, che avanza nell’analisi riuscendo a mantenere la sua trattazione agganciata allo specifico contesto valutativo, indicandoci quindi la percorribilità, e anzi la necessità, di questo approccio. Le conclusioni necessarie di Venneri, che ben valgono come conclusioni di questa prima parte del volume, giungono verso l’indicatore ragionevole, che se appare fragile rispetto al più arrogante indicatore colmo di certezze cui spesso siamo stati abituati, è però logica conseguenza del processo argomentativo dove una pluralità di attori hanno avuto titolo a descrivere una realtà sottoposta a valutazione. Ma processo argomentativo è contesto di apprendimento, come segnala Venneri, e questo propone un nuovo valore per gli indicatori, quando siano oggetto di adeguata riflessione.

La seconda parte del volume riguarda diversi casi reali, discussi e analizzati per trarne insegnamenti generali; non mere descrizioni quindi, ma riflessioni critiche di natura molto diversa che aiuteranno il lettore a calarsi nella realtà della produzione e dell’uso degli indicatori.

Apre la seconda parte un mio contributo sostanzialmente diviso in due sezioni: nella prima analizzo diversi casi di indicatori che definisco “senza pensiero” (senza chiara esplicitazione della teoria sottostante, senza argomentazione). Per ogni caso presentato segnalo quali siano le ragioni – a mio avviso – della fragilità della proposta, e in questo modo propongo una piccola costellazione di elementi cruciali per la costruzione degli indicatori (nella quale il lettore troverà non pochi elementi approfonditi nei capitoli precedenti) che aprirà alla sezione conclusiva dove delineo una sintetica linea guida di carattere propositivo. 

Il saggio successivo di Mita Marra entra in un tema molto frequentato dai valutatori: le politiche pubbliche (e gli indicatori pertinenti da utilizzare in questi contesti). Marra parte segnalando la natura prevalentemente statica degli indicatori utilizzati e di conseguenza il loro fallimentare destino in contesti, invece, in continua evoluzione. Per sottolineare la co-evoluzione di indicatori e programmi Marra – che a differenza delle autrici precedenti è un’economista, e utilizza linguaggi e riferimenti specifici – arriva a conclusioni in sintonia con le osservazioni già proposte sopra, almeno in relazione al valore culturale, socialmente stabilito, degli indicatori selezionati, con riferimento anche alla teoria del programma e ai meccanismi pawsoniani dovuti all’interazione sociale. Un esempio molto interessante è proposto da Marra in appendice, con una rassegna di indici di sviluppo umano che evidenziano le molteplici categorie e i vari aspetti che informano lo stesso macro concetto di fondo: un modo per dire che non esiste un rapporto univoco e causale, determinato, fra oggetto di valutazione e indicatore.

I due saggi successivi approfondiscono due casi molto diversi e ciascuno, per versi differenti, illuminante. Isabella Mingo intende segnalare la riduzione di complessità, e quindi la conseguente perdita di informazione, nel passaggio dal concetto agli indicatori. Il tema aveva già fatto capolino nella prima parte del saggio di Palumbo, e qui il lettore avrà modo di ben approfondire questa riflessione che troppo spesso manca fra coloro che producono indicatori. Mingo utilizza come banco di prova gli indicatori di esclusione sociale; il concetto, come spesso accade con quelli utilizzati dai valutatori, è ambiguo anche nelle fonti internazionali principali prese in considerazione. Inutile dire che la conseguenza di tale ambiguità rinvia alla costruzione sociale di significato che all’esclusione sociale si dà di volta in volta; a questo punto Mingo prova a delimitare il concetto, con le sue dimensioni, di una di queste definizioni, per poi verificare quale rappresentazione empirica sia stata effettivamente realizzata (tramite i cosiddetti “indicatori di Laeken”) e verificare così se si dà la presupposta circolarità che da sola avrebbe la pretesa di validare gli indicatori, ovvero: se dal concetto arriviamo a determinati indicatori, da quegli indicatori possiamo risalire al concetto originario (questo tema è stato accennato anche nel saggio di Bezzi)? Come è facile attendersi l’esercizio di Mingo porta a conclusioni differenti, segnalando le lacune anche vistose e gravi negli indicatori effettivamente prodotti rispetto al concetto originariamente immaginato.

Agnoli, da parte sua, tratta invece i “descrittori di Dublino”, che riguardano la progettazione della formazione universitaria. Dopo una loro chiara esposizione Agnoli ha facile gioco nel mostrare la loro scarsa applicazione pratica se non tradotti nelle diverse specificità disciplinari e contestuali, vanificando almeno in parte lo sforzo generalizzante che li aveva mossi.

Seguono gli ultimi due saggi di questa seconda parte, entrambi scritti da valutatori molto legati alla pratica professionale provenienti però da discipline e contesti esperienziali differenti. Daniela Oliva, nel ricordare una sua esperienza personale nella costruzione di indicatori, intende rivalutarne il ruolo di buoni strumenti di rappresentazione di politiche oggetto di valutazione, e propone un’importante distinzione fra indicatori di monitoraggio e indicatori di valutazione che contribuisce utilmente a evitare confusioni, specialmente nell’imputare agli indicatori mancanze che, semmai nel più limitato ruolo di indicatori per il monitoraggio, non possono essere loro addebitate. Oliva conclude poi con una sua linea guida sulla natura e la finalità degli indicatori in valutazione, loro progettazione, significato e uso.

Bene conclude questa seconda parte il saggio di Marco Lombardi che illustra un recente caso concreto di costruzione di indicatori di monitoraggio; se è vero che è utile e opportuno distinguerli da quelli valutativi, trattati principalmente nella prima parte del volume, certo è che anche nel caso del monitoraggio gli indicatori debbano avere una logica, una “argomentazione” (per usare il concetto di Venneri), o una “teoria” (per riprendere una riflessione di Marra). Lombardi propone il suo sistema (il monitoraggio di una politica del lavoro della Regione Lombardia) a partire non già dai dati disponibili, come usuale fra monitoraggi “senza pensiero”, ma dalla ricostruzione dei processi implicati nella politica: processi, attori sociali coinvolti, loro relazioni, e finalità istituzionali e procedurali. E’ a partire da ciò che se ne possono dedurre gli indicatori necessari, poi resi operativi con operazioni semplici. Lombardi conclude opportunamente mostrando anche alcune simulazioni per l’uso di questo sistema di indicatori.

La terza parte del volume riguarda le conclusioni, che abbiamo voluto fare a due voci in forma di “post-fazioni”, ovvero di stimoli finali basati su una rilettura dei testi per aprire – non certo per mettere la parola ‘fine’ – a un dibattito e ad articolazioni concettuali che a partire da questo volume potrebbero facilmente essere prodotte. Abbiamo deciso una doppia post-fazione, da parte di un’economista e un sociologo, proprio perché consapevoli della grande influenza dei linguaggi (in questo caso: delle discipline) nella concettualizzazione di oggetti così sfuggenti quali sono gli indicatori.

La prima di Mita Marra offre una chiave di lettura di grande interesse perché appare come un contributo di apertura interdisciplinare, probabilmente l’unica soluzione (l’interdisciplinarietà) per una efficace euristica valutativa e – limitatamente al tema di questo volume – la vera chiave di svolta per comprendere gli indicatori. Se questa apertura era certamente parte del programma del volume, e ha fatto indubbiamente capolino in diversi contributi, mi pare che Marra la centri con chiarezza e innovazione di linguaggio quando segnala due questioni fondamentali e correlate: l’equivoco fra causazione e correlazione (la prima a torto attribuita sovente agli indicatori) e il rapporto fra elementi micro e macro nell’analisi delle politiche, con la difficoltà teorico-pratica di “navigare” fra i primi e i secondi rimanendo entro gabbie concettuali rigide (l’approccio di Marra parrebbe quasi antropologico, à la Geertz, ma declinato entro orizzonti economici e macro-sociologici). Come tutto questo abbia gravemente a che fare con gli indicatori dovrebbe essere piuttosto chiaro, e l’Autrice ha reso un ottimo servizio al volume con le sue indicazioni.

Marra poi conclude con una tabella riepilogativa dei contributi classificati alla luce delle sue precedenti osservazioni.

Cannavò invece risale innanzitutto alle radici di quello che a suo avviso è il fraintendimento che conduce – fra le altre cose – a trascurare il tema degli indicatori e produrne di inadeguati; tale fraintendimento riguarda l’equivalenza fra valutazione e ricerca valutativa, e la sostanziale omologazione di quest’ultima con la ricerca sociale. Per una serie di ragioni che Cannavò illustra lucidamente ne consegue una concezione degli indicatori come elementi misurativi semplicemente da selezionare, piuttosto che come elementi dotati di pragmaticità che necessitano di una specifica progettazione. E sul tema della pragmatica Cannavò insiste nella parte centrale del suo contributo: farei un torto all’Autore cercando di sintetizzare qui quanto il lettore, più opportunamente, troverà da sé, salvo segnalare che siamo condotti da Cannavò nelle “acque infide” della valutazione in contesti di complessità e incertezza dove gli indicatori – da intendere come pattuizioni di significato – hanno un posto rilevante e inevitabile, laddove quelli intesi come pura misurazione trovano spazio ristretto solo in contesti causali limitati (e qui il lettore troverà utile quanto letto precedentemente da Marra).

Le conclusioni cui ci porta Cannavò sono naturalmente critiche della “valutazione ai tempi di Means” e della sua burocratizzazione (e quindi della burocratizzazione degli indicatori, sempre più lontani da qualsivoglia risvolto pragmatico).