Valutazione.it

Proseguo la riflessione sul disegno della ricerca valutativa proponendo, in questa nota, la mia idea basata su un processo in nove fasi, di cui le più importanti mi sembrano la prima - dedicata al mandato valutativo - e la quinta che, attraverso un processo di co-costruzione dei significati implicati nel programma, conduce agli indicatori valutativi.

Ho dichiarato in una nota precedente (Parliamo di “Disegno”, del 18 Febbraio 2010) che senza un’argomentazione complessiva che illustri i nessi e i collegamenti delle nostre operazioni tecniche (raccogliere determinate informazioni in un determinato modo) col mandato valutativo, col contesto in cui si colloca il programma valutato, e altro ancora, noi non facciamo affatto una buona valutazione, ma dichiariamo implicitamente di fare ciò che sappiamo fare (anziché ciò che sarebbe utile fare) applicando routine, stereotipie. In quella stessa nota accennavo al fatto che ci sono – secondo la mia proposta – diverse fasi del disegno, tutte importanti e ineliminabili.

In questa nota ve le riepilogo approfittando del fatto che è in uscita la terza edizione del mio Disegno della ricerca valutativa (la prima edizione fu del 2001, la seconda del 2003; questa terza, che ha anche modificato il titolo – Il nuovo disegno della ricerca valutativa – esce a Marzo sempre per Franco Angeli) dove ho riorganizzato questa materia. Se per caso avete in libreria una delle due vecchie edizioni vedrete che illustro la mia proposta di disegno in sette differenti fasi; ma già in opere più recenti (fra cui Cos’è la valutazione, Franco Angeli, 2007) tali fasi sono passate da sette a nove. In realtà non c’è stato alcuno stravolgimento, ma ho semplicemente ritenuto che alcuni momenti del processo andassero meglio esplicitati.

Ecco quindi la mia personale proposta di disegno:

Molto in breve:

1. Definizione del mandato valutativo

Non si può valutare se non si ha una risposta chiara e convincente al perché si debba valutare. Il finanziatore della valutazione deve quindi illustrare compiutamente quali scopi si prefigge, e probabilmente deve essere aiutato dallo stesso valutatore a formulare opportunamente questi obiettivi.

2. Formulare le opportune domande valutative e comprendere gli obiettivi del programma

Con un mandato chiaro ci si deve avvicinare al programma per capire quali siano i suoi obiettivi o, più in generale, le questioni alle quali la valutazione deve interessarsi. Formulare le opportune domande in merito al programma, e conoscere i suoi obiettivi, vuole dire non solo conoscere il progetto originale, la sua organizzazione, e così via, ma anche le conoscenze tacite implicate e le teorie che gli attori sociali rilevanti hanno sviluppato intorno al suo funzionamento.

3. Accertare le risorse disponibili e organizzare la ricerca

Le risorse sono essenzialmente economiche, ma anche di personale e di tempo (spesso queste sono riconducibili a quelle economiche, ma non sempre); esse influenzano pesantemente la concreta possibilità operativa della ricerca valutativa.

4. Il primo disegno della ricerca e l’offerta tecnica

Con un chiaro mandato (fase 1), la conoscenza del programma (fase 2), un budget preciso (fase 3) possiamo guardarci attorno e decidere come concretamente valutare. ‘Come’ significa con quali tecniche si ritiene di ottenere le informazioni necessarie: si tratta di elaborare un questionario? Dobbiamo formare un gruppo per un focus group? Non si decide a caso: occorre sviluppare una riflessione che ci aiuti a disegnare la ricerca nel modo più idoneo. In questa fase la nostra possibilità di disegnare la ricerca è sostanzialmente astratta, basata su documenti, qualche intervista preliminare, competenze pregresse; è per questo che si tratta di un primo disegno, passibile di modifiche.

5. Esplorare il campo semantico del programma

Significa analizzare il programma individuandone le sue componenti salienti, in modo da poterle trasformare in strumenti operativi di valutazione; quest’operazione, importantissima, ci consente di non essere schiacciati dall’impossibilità di valutare un programma o un intervento nel suo insieme, impossibilità che deriva dalla sua complessità e multidimensionalità. In questa fase, attraverso un processo di co-costruzione dei significati implicati nel programma, si definiscono gli indicatori valutativi.

6. Esplicitare il sistema valoriale del programma

Quando sappiamo “di cosa è fatto” il programma (punto precedente) dobbiamo stabilire un sistema di valori, attraverso il quale avviare il nostro processo valutativo. Tale sistema di valori, che condizionerà pesantemente la valutazione, i suoi risultati, la sua utilizzabilità, e svariate conseguenze sul programma o intervento, va esplicitato ora; non può essere un sistema di valori occulto, esoterico, vago, né tantomeno banale, scontato, implicito.

7. Stabilire conseguenti approcci, strumenti, tecniche e loro definizioni operative

Tutto ciò dovrà poi essere trasformato in uno strumento operativo di rilevazione delle informazioni pertinenti, che possiamo concretamente utilizzare per misurare le diverse componenti del programma e giungere alla nostra valutazione; è grazie al primo confronto col programma, il suo contesto e i suoi protagonisti, attraverso l’esplorazione del campo semantico e la definizione dei valori che si possono costruire concreti strumenti valutativi, specifici, tagliati su misura, comprensibili anche per gli stakeholder coinvolti, da applicare in seguito per la raccolta dei dati valutativi (prossima fase).

8. Raccolta e analisi delle informazioni

Forse la fase più visibile, che ha senso solo dopo le sette tappe precedenti. C’è poco da dire: si collezionano le informazioni e si analizzano; questo si può fare ora, e non prima, perché sappiamo cosa cerchiamo e perché, alla luce di quale mandato, per quale finalità, e così via. L’analisi conduce ovviamente al giudizio valutativo che deve essere certamente formulato, ma che può assumere varie forme e livelli di profondità a seconda di quanto stabilito nella fase del mandato (da giudizi dirimenti a più leggere “raccomandazioni”).

9. Usare la valutazione e diffonderne i risultati

Non ha alcun senso fare valutazione se non si vuole usare. Non si può usare la valutazione se non si cura la diffusione dei suoi risultati. Questo è vero in generale, ma nella valutazione acquista un particolare rilievo etico e operativo; tutte le attività di redazione di rapporti valutativi, di sensibilizzazione, divulgazione e altro ancora, finalizzate all’utilizzo della valutazione, sono da imputare a questa fase.

Queste nove tappe sono state elencate in maniera logica, oltre che cronologica, nel senso che non si deve pensare a una serie di ambiti chiusi, da risolvere uno dietro l’altro in maniera rigida (prima fare tutto ciò che è prescritto alla prima fase; una volta conclusa quella avviare la seconda fase…).