Valutazione.it

Ecco l'ultima nota - di una serie di tre - sul tema degli indicatori in valutazione. In quest'ultima nota vediamo brevemente quali sono le linee guida - sommarie - della loro costruzione, e quali significato abbia questa operazione.

Abbiamo visto in una nota precedente (Indicatori: in che senso? del 3 Gennaio 2010) come si possano individuare tre tipi molto diversi di indicatori; e poi abbiamo approfondito (sia pure nei limiti di queste note) quale sia la loro natura (Natura degli indicatori, del 23 Gennaio 2010).

Ora è il tempo di tracciare una brevissima linea guida sulla loro costruzione. La brevità e la trattazione per punti non deve ingannare sulla complessità del tema, meglio trattato nel volume da cui questa nota è tratta (si veda in fondo).

1.Costruzione degli indicatori:

1.1.  necessità imprescindibile di identificare e chiarire l’”oggetto” al centro del processo di indicazione (il concetto; l’evaluando o la sua parte oggetto di valutazione);

1.2.  esplorazione semantica del concetto (sulla base di regole linguistiche; di preesistenti evidenze empiriche; della teoria del programma; di teorie socio-economiche accreditate; di valori esplicitati che si intendono perseguire; del mandato valutativo);

1.3.  esplorazione pragmatica del concetto (sulla base degli usi, delle necessità e del gergo degli utilizzatori degli indicatori e della valutazione; delle loro conoscenze tacite; della natura delle comunità di pratiche coinvolte; di teorie di medio raggio; della multiforme natura del contesto operativo);

1.4.  trasformazione operativa dei risultati sub 1.2. e 1.3. in specifici disegni di ricerca, alla luce delle possibilità pratiche: in alcuni casi – andrà benissimo – possiamo immaginare di misurare qualche cosa; altre volte potremo contare qualche cosa (e in entrambi questi casi otterremo dei numeri); ma altre volte dovremo fare altre cose: interrogare individui, osservare processi, leggere documenti, e in tutti questi casi non otterremo necessariamente numeri;

1.5.  dichiarazione in merito ai processi operativi sub 1.4.; vale a dire: cosa – nei limiti di tempo, di denaro, di risorse organizzative – abbiamo potuto fare, e cosa no, e quindi quali limiti può avere il set finale dei nostri indicatori; loro valore contestuale; loro limite metodologico; loro eventuale generalizzabilità, e così via.

2. Evidenti limiti dell’uso degli indicatori. E’ chiaro che le conseguenze pratiche di quanto or ora scritto, in particolare sub 2.5., è che meno spesso di quanto vorremmo le pubbliche amministrazioni, i decisori, i nuclei di valutazione, i comitati di controllo, e così via possono avere facilità e comodità nella corretta costruzione di indicatori che non siano meri numeri (quei pochi tratti da procedure “quantificate” di obiettivi “quantificabili”), e che ragioni di costo, di capacità tecniche, e di standardizzazione dei risultati, finiscono coll’imporre pochi indicatori, uguali per tutti, di formato numerico. E sia. Ciò non toglie che i limiti vadano chiariti, e che i quattro numeri richiesti devono essere comunque il frutto di operazioni intelligenti di argomentazione esplicitata.

I riferimenti a semantica e pragmatica (di sui sopra ai punti 1.2 e 1.3) sono molto importanti, fanno riferimento a quanto già trattato in questo gruppetto di note (altrove ho aggiunto anche “sintattica”), e hanno a che fare coi diversi tipi di indicatori, il loro diverso uso (per la valutazione o per il monitoraggio, per esempio), e così via.

Per chi conosce il mio pensiero in materia non ci saranno difficoltà a “tradurre” questi punti in pratiche operative molto precise e chiare: innanzitutto occorre avviarsi verso un’approfondita comprensione dell’evaluando attraverso quella che io chiamo, appunto, “esplorazione semantica” (che corrisponde alla quinta fase, di nove, del disegno della ricerca valutativa; su questo ritornerò prossimamente con delle note specifiche; nell’elenco precedente si tratta dei punti da 1.1 a 1.3); poi si può organizzare la raccolta delle informazioni (somministrare questionari, organizzare focus group, … Nell’elenco precedente ha a che fare col punto 1.4).

Chi corre verso le tecniche senza passare per la ricostruzione semantica e pragmatica dell’evaluando corre alla cieca verso risultati poco comprensibili; tale ricostruzione semantica e pragmatica dell’evaluando è la costruzione di indicatori. Gli indicatori sono pertanto elementi di significazione, e in quanto tali hanno senso se cono co-costruiti socialmente.

(Questa nota del Portolano è tratta – con modifiche – dall’ultimo paragrafo del contributo di Claudio Bezzi, “Indicatori senza pensiero”, in Bezzi, Cannavò e Palumbo – a cura di – Costruire e usare indicatori nella ricerca sociale e nella valutazione, Franco Angeli, Milano 2010, in libreria nella seconda metà di febbraio).