Valutazione.it

Sull'ultimo numero della RIV un bell'articolo di Ferruccio Biolcati Rinaldi confronta l'approccio basato sulla teoria di Carol Weiss con la valutazione realistica di Pawson e Tilley. L'articolo mi è piaciuto molto e mi ha fatto riflettere. Qui propongo alcune osservazioni critiche su alcuni elementi che sono, effettivamente, marginali, ma che mi consentono di proporre argomenti più generali (nella foto: Ferruccio Biolcati Rinaldi).

AGGIORNATO CON UNA REPLICA DI BIOLCATI RINALDI (23 NOV. 2009)

La Rassegna Italiana di Valutazione è indubbiamente una buona rivista, la qualità media dei suoi contributi è diventata via via migliore negli anni e, mi verrebbe da dire, migliore della qualità media dei lavori valutativi che poi capita di trovare in altre sedi.

Qualche volta, comunque, capita di leggere qualcosa che si staglia rispetto agli altri testi, qualche cosa di assoluta eccellenza, che ci si appunta, si annota e poi si va anche a rileggere. E’ il caso del testo di Ferruccio Biolcati Rinaldi, “Meccanismi e valutazione: un confronto fra approcci”, Rassegna Italiana di Valutazione, a. XII, n. 42, 2008, pp. 27-51 (l’ultimo numero uscito, malgrado la data; potete scaricarlo a pagamento sul sito Franco Angeli seguendo il link).

Sono ovviamente consapevole che apprezziamo i testi che rispondono a nostre momentanee esigenze e inclinazioni, e non è detto che altri lettori non trovino altri e diversi articoli RIV meritevoli di menzione, ma io vi segnalo questo e – poiché mi è piaciuto molto – ecco qui alcune osservazioni marginali che non devono essere lette come diminuzione del mio apprezzamento, ma al contrario come testimonianza del mio interesse e della stima che nutro verso il suo Autore, che negli anni ci ha dato molti contributi interessanti e con una maturità crescente.

Ovviamente se non leggete l’articolo alcune mie considerazioni vi giungeranno oscure.

1) L’encomiabile attenzione (esplicitata a pag. 29) verso la “terminologia impiegata” è ben rispettata da Biolcati Rinaldi tranne – a mio modesto parere – nell’uso (e quindi nella traduzione) di alcuni termini anglosassoni centrali nella sua trattazione. Il primo termine/concetto a mio avviso non ben precisato è /metodo/ che com’è noto in inglese (/method/) ha un’estensione semantica maggiore che include quelle che noi chiamiamo tecniche e procedure; quando Biolcati Rinaldi scrive

[la valutazione di programmi ancora permeata da vecchie logiche] crea le condizioni per lo sviluppo di valutazioni in cui il metodo gioca, a scapito della teoria, un ruolo determinante: la domanda valutativa si riduce infatti alla rilevazione del raggiungimento degli obiettivi […]. Il tutto si presta poi a un uso strumentale della valutazione, ossia a un suo uso diretto da parte di politici, amministratori, ecc. (pp. 29-30, corsivi nel testo).

Io trovo due elementi deboli: innanzitutto – credo a causa della confusione nella trasposizione del concetto fra linguaggi diversi – qui l’Autore non può, veramente, parlare di metodo; sta parlando in realtà di procedure. In questo senso (ma solo in questo) potrei concordare: a volte (spesso) la valutazione è un insieme di procedure scollegate da un disegno metodologico (è dentro un disegno metodologico che si situa la teoria come intesa da Biolcati ripercorrendone il concetto originario di Carol Weiss e dell’approccio chiamato, appunto, Theory-based Evaluation). C’è una seconda questione: probabilmente sto diventando idiosincratico all’uso retorico di termini quali (vedi citazione precedente) “infatti”, “poi” e altri simili che fungono da connettore logico fra un assioma che precede e una conclusione dell’Autore che segue; non c’è alcuna connessione – se non esplicitamente espressa, come manca appunto in questo testo di Biolcati – fra un eventuale metodo (procedure) che vanno a scapito della teoria e una ipotetica conseguenza nella riduzione della valutazione a conta degli obiettivi e, poi, nel suo uso strumentale da parte dei politici.

Preciso: io credo fermamente nella valutazione basata sulla teoria, che credo e spero di praticare e descrivere nei miei scritti, fosse pure adattata e modificata, quindi non sto criticando affatto il pensiero di Biolcati ma la fretta di passare, in un articolo così importante e ben scritto, dall’enfasi sulla valutazione basata sulla teoria a delle conclusioni indimostrate sulle conseguenze nefaste della disattenzione verso di essa, a costo di buttare via il bambino (il metodo, quello vero) con l’acqua calda del cattivo uso procedurale.

2) Parte di questa medesima enfasi è una successiva e complementare inesattezza (sempre a mio modesto parere), quando l’Autore dice

Da questo punto di vista [il concetto di teoria correttamente inteso] particolarmente problematica è la nozione di teoria dell’implementazione, che altro non sembra che la descrizione della sequenza di attività previste dal programma (pag. 33).

Non mi pare così: la nozione di “teoria dell’implementazione” è molto più ricca e importante, e ampiamente trattata in letteratura (per tutti, fra i “vecchi” e certamente non costruttivisti, Rossi Freeman e Lipsey) e include quelle stesse componenti di cultura, conoscenze tacite, “teorie” nel senso weissiano che Biolcati ci ricorda con riferimento alla teoria del programma, che non è affatto più nobile ma rappresenta, semplicemente, un momento logico e tecnico differente. Chi fa concretamente ricerca valutativa, spesso e con approcci di questo genere, sa bene che non può fare una buona valutazione senza capire cosa c’è nella testa degli attori (quale sia la loro “teoria”) sia con riferimento al programma (cosa pensano che il programma sia, quale ritengono siano i bisogni cui risponde…) sia con riferimento all’assolutamente indispensabile implementazione (come interpretano il programma tutti gli attori coinvolti nella catena implementativa, fino agli operatori finali).

3) Infine (poiché queste note hanno lunghezze abbastanza definite, e sono ormai giunto alla fine), un elemento marginale nell’economia del testo di Biolcati, ma importante per altre conseguenze nefaste che ancora percorrono l’ambiente valutativo. A pag. 37, a conclusione di un paragrafo riepilogativo dei propositi della valutazione basata sulla teoria, l’Autore indica la capacità di questo approccio di

chiedere al personale del programma di esplicitare i propri assunti e di raggiungere un consenso su cosa stanno facendo e perché.

Non sono d’accordo, ed è facile spiegarmi: diciamo che, all’interno di questo convincentissimo approccio, facciamo esplicitare al “personale del programma” i propri assunti per scoprire che non c’è accordo su alcuni assunti fondamentali. Cosa dovremmo fare? Dire che – in mancanza dell’accordo – ci siamo imbattuti in una situazione in cui la valutazione basata sulla teoria non funziona? Eppure questo è proprio il caso in assoluto più frequente, c’è una letteratura ricca sulle difficoltà a condividere una visione del programma fra attori, per esempio, appartenenti a istituzioni differenti, o a componenti professionali e disciplinari differenti, e così via… Se avessi più spazio farei esempi, ma fatevi bastare questo: la retorica del consenso – e l’illusione che ci siano tecniche che aiutano ad arrivare a tale consenso – non funziona; spesso non c’è; non sempre serve. E la valutazione basata sulla teoria è molto più divertente negli ambienti complessi (piuttosto usuali) dove di consenso ce n’è poco.

Comunque: grazie a Ferruccio Biolcati Rinaldi per il testo veramente bello, ben scritto, molto utile.
 

Caro Claudio,

ti ringrazio molto degli apprezzamenti e mi fa piacere che abbia suscitato interesse questo articolo che raccoglie le mie riflessioni sulla valutazione basata sulla teoria e sulla valutazione realistica, così come si sono evolute successivamente alla pubblicazione del mio libro sulla valutazione delle politiche di sostegno al reddito. Rispondo volentieri alle tue considerazioni, rispondono brevemente e colloquialmente per coerenza con quello che è il contenitore che mi ospita.

Sul primo elemento della tua prima considerazione mi sembra sia una questione di sfumature: in generale la relazione è tra teoria e metodo (si veda il dibattito internazionale che richiamo nelle pagg. 39-41 del libro prima citato), è vero però che quando il metodo “schiaccia” la teoria il primo si riduce a procedure. Sono anche d’accordo che il primo paragrafo del mio articolo sia frettoloso ma credo che le relazioni tra le parti siano comunque evidenti, forse anche aiutandosi con un altro mio articolo che cito nella nota 3. Mi sarebbe certamente piaciuto sviluppare la tesi là sostenuta e argomentare meglio i vari passaggi, ma sarebbe stato un articolo diverso. Dalla letteratura l’argomento mi sembra comunque “nell’aria” e spero che a breve qualche valutatore lo espliciti completamente; al momento io mi sto dedicando a fronti più applicativi.

Per quanto riguarda la seconda considerazione, sono d’accordo che l’implementazione sia imprescindibile. Mi sembra però che la definizione di teoria dell’implementazione di Carol Weiss non giustifichi il termine “teoria”: ciò non toglie che l’implementazione vada studiata combinando teoria del programma e “teoria” dell’implementazione”.

Infine, la tua terza considerazione è da girare alla Weiss visto che in quel passo mi sono limitato a riprendere un suo articolo. Al di là della battuta la cosa è effettivamente più complessa come spiego nell’ultimissimo capoverso a pag. 48: sono i teorici del cambiamento (Connell et al.) che insistono sulla consensualità mentre Weiss ha una posizione più aperta al conflitto e quindi più vicina al tuo (e al mio) sentire.

Grazie ancora per i tuoi commenti,

Ferruccio (23 Novembre 2009)