Valutazione.it

Dopo la serie di note sugli indicatori incomincio, con questa, una nuova breve serie sul tema del "disegno della ricerca valutativa". Capire cosa sia il 'disegno', averne in mente uno quando si intraprende una valutazione, è cruciale in particolare per argomentare i nessi fra contesto (programma da valutare, attori implicati, obiettivi da raggiungere) e metodo (tecniche messe in campo, costruzione di indicatori, ...). Ma il tema è complesso e piuttosto trascurato.

Cosa significa?

Fondamentalmente questo: che devo (uso consapevolmente l’imperativo) avere delle idee, degli argomenti, a sostegno di questi essenziali passaggi:

1. perché, dato un certo problema valutativo, organizzo determinate operazioni di ricerca e non altre; il termine generico ‘problema valutativo’ lo potete meglio esplicitare come credete; qui ci sono le cosiddette ‘domande valutative’, per esempio, oppure l’analisi degli obiettivi del programma valutato, o altro che si stabilisce – generalmente assieme al committente – di mettere al centro della valutazione. Lì c’è il problema politico, amministrativo, organizzativo o altro del committente (o una sua parte), e quindi la valutazione – attraverso la sua ricerca – vuole dare informazioni su quegli elementi, stabilire giudizi di merito su tali ‘domande’. Il primo punto che sto ponendo è quindi: se abbiamo stabilito che il problema dell’evaluando è il tale o il talaltro, che le domande valutative sono queste e non quest’altre, perché la conseguenza operativa è fare quattro focus group, oppure un’analisi costi benefici, oppure un questionario e così via? Esiste un nesso fra le domande valutative e le tecniche e procedure messe in atto dal valutatore? Io credo che sia obbligatorio dire di sì, ma questo ‘sì’ va argomentato;
2. perché, data una certa scelta metodologica (per esempio realizzare dei focus group, un questionario o altro), la si realizza poi in quello specifico modo? Intendo: perché fare quattro focus group e non cinque, o tre? Perché mettere nel questionario quelle domande, e non altre? La questione non è di natura artistica, e quindi legata all’imperscrutabile sensibilità del ricercatore o del valutatore, ma di natura tecnica: le modalità operative attraverso le quali raccogliamo le informazioni influiscono in maniera sensibile sulla loro struttura, sulla loro qualità euristica, sulla denotazione stessa che le tecniche restituiscono sui referenti indagati. Fare una domanda aperta o chiusa in un questionario, fare “la stessa” (?) domanda entro un focus group, o raccogliere analoghe informazioni in altro modo, non produce la stessa informazione ma informazioni diverse su parti differenti degli stessi referenti o addirittura su referenti contigui ma non identici. Ne segue che dobbiamo avere delle solide ragioni per scegliere una procedura anziché un’altra, e dobbiamo avere chiare argomentazioni per spiegare tali scelte.

Il primo di questi due punti io lo traduco in questi termini: deve esistere un nesso fra il mandato valutativo e la proposta tecnica di valutazione; questo nesso non deve essere solo retoricamente asserito, deve essere mostrato, illustrato, discusso; deve essere plausibile, coerente e compatibile. Chi non illustra tale nesso potrebbe essere oggetto di sospetto in merito al fatto che il nesso non esista, o sia debole, rituale, stereotipato; che tali scelte metodologiche siano più il frutto di ciò che si sa che di ciò che si dovrebbe fare.

Il secondo di questi due punti io lo traduco in questi termini: le specifiche modalità operative devono essere chiaramente collegate – alla luce del mandato valutativo – al contesto in cui il lavoro si situa; ‘contesto’ vuole dire committente, attori rilevanti (inclusi i beneficiari), comunità di pratiche che agiscono in quel campo. Tale ‘collegamento’ è sostanzialmente di natura semantica e pragmatica, ha a che fare col senso delle informazioni raccolte che devono avere una significatività e una validità locali e contestuali (ciò che Patton chiama face validy). Per questo, per avere tale nesso di significazione, non mi posso “inventare” le domande giuste del questionario, oppure i giusti criteri per la costruzione di indicatori e così via, in maniera autoreferenziale. Devo, invece, approfondire i rapporti di significazione che si danno realmente in tale contesto (questo è ciò che io chiamo esplorazione del campo semantico).

La chiara definizione del mandato valutativo, e l’approfondita esplorazione del campo semantico (dell’evaluando, in quel dato contesto), sono due delle tappe fondamentali del disegno della ricerca valutativa, che ha poi altri e diversi momenti, tutti importanti e ineliminabili, che consentono di mostrare una logica complessiva nel nostro lavoro valutativo, dei nessi di necessità, delle conseguenze operative di premesse problematiche, e non delle improvvisazioni, non delle mere esecuzioni meccaniche di procedure tecniche messe in atto perché quelle si sanno e non altre, perché “si è sempre fatto così”, perché le idee che ci frullano in testa sono poche ed è bene approfittare dell’ignoranza tecnica del committente.

Più in generale affermo che la ricerca valutativa deve essere guidata da un “disegno” capace di segnalare gli elementi focali del processo, illustrarne le reciproche relazioni sistemiche, argomentarne i nessi. Poi, naturalmente, ci possono essere differenti disegni a seconda delle sensibilità del valutatore e dei suoi orientamenti epistemologici e metodologici, e qualcuno può convincerci di più o di meno, ma è solo nell’ambito di un dichiarato ed esplicito disegno che si afferma il rigore metodologico e l’utilità della valutazione prodotta.

In una prossima nota approfondirò alcuni concetti della mia personale proposta di disegno.