Valutazione.it

Riprendo un tema che a me interessa particolarmente, quello delle tecniche miste in valutazione, mostrando alcuni esempi concreti di "mescolamento" fra tecniche.

Nella nota del 27 Settembre 2009 (Metodi misti in valutazione) ho fatto una piccola introduzione a questo fondamentale tema che – a mio parere – è la grande e (potenzialmente) innovativa frontiera della valutazione e, più in generale, della ricerca sociale.

Un riepilogo di quanto scritto nella nota precedente (che suggerisco di leggere per meglio comprendere la presente) è raffigurabile in questa immagine:

Per ragioni complesse che non posso trattare in questa breve nota, la sezione di sinistra della figura è meno interessante (diversificazione delle fonti e dei ricercatori) o meno praticabile (diversificazione delle teorie), mentre la sezione di destra (diversificazione delle tecniche) è quella sulla quale possiamo forse lavorare meglio (ed è anche per questo che l’inglese Mixed Methods io preferisco tradurlo come “Tecniche miste”).

Se la molteplicità entro la tecnica è quasi banale (per esempio mescolare domande aperte e chiuse in un questionario), quella FRA le tecniche è, finalmente, il cuore del problema.

Cosa vuol dire integrare (mescolare, combinare) tecniche fra loro? Ecco alcuni esempi:

1. Quando faccio una valutazione di processo, delle performance, utilizzando SPO + brainstorming (un procedimento che a me piace molto, trovate diversi esempi nella sezione “Archivio”), quello che facciamo è: i) realizzare un brainstorming con un gruppo di esperti, operatori, etc.; ii) utilizzare una SPO (Scala delle Priorità Obbligate) per elaborare (in un determinato modo, fondato su una doppia ordinalità), quei precedenti risultati. Qui – come vedete – siamo nel box all’estrema destra della figura: le due tecniche sono in serie (prima una poi l’altra) ma integrate, non giustapposte. Le tecniche sono giustapposte quando i risultati di ciascuna rimangono indipendenti fra loro (prima faccio delle interviste – per esempio – per poi proporre un questionario; anche se il questionario è stato ispirato da quanto appreso nel corso delle interviste, le due tecniche sono separate logicamente, concettualmente e operativamente). Le tecniche sono integrate – come nel nostro esempio – perché la seconda (SPO) parte dai risultati della prima (brainstorming) rielaborandoli, tanto che la coppia brainstorming + SPO, almeno in questi casi, diviene un tutt’uno, con un risultato che è il processo congiunto di entrambe.
2. Recentemente ho sperimentato un approccio per valutare l’importanza relativa di interventi (politiche, programmi) sul mercato del lavoro lombardo; la pluralità di interventi e la pluralità di obiettivi generali che la Regione si dava come prioritari dovevano essere combinati per capire quali interventi raggiungessero con maggiore efficacia quali obiettivi. Se chiedete a un gruppo di esperti quali interventi siano migliori (da un determinato punto di vista) avete generalmente due sistemi: chiedere loro il valore assoluto degli interventi (per esempio facendo attribuire dei valori cardinali) oppure quello relativo (con valori ordinali). Spero che risulti intuitivo o comunque ragionevole, senza addentrarci tecnicamente sulla questione, che ciascuno dei due approcci ha dei vantaggi (quelli che interessa salvare e utilizzare per la valutazione) e degli svantaggi (che vorremmo escludere o almeno limitare). Ebbene non è difficile immaginare un modo per l’utilizzo integrato di scale cardinali e ordinali, in combinazione reciproca, in modo che ciascuna costituisca un elemento di ponderamento dell’altra, in modo che il valore finale ottenuto sia costituito, assieme, dall’importanza cardinale e dalla posizione ordinale di ciascun intervento per ciascun obiettivo (un giorno o l’altro parlerò più diffusamente di questa applicazione operativa delle scale, in questa nota non ho quasi più spazio). Questo risultato è ovviamente – come per il caso precedente – il frutto di un uso di tecniche molteplici in forma integrata (sempre sezione destra della figura precedente).
3. Anche la SWOT Relazionale è una tecnica mista (uso di scale ordinali e confronti a coppie), e può a sua volte essere parte di processi misti più complessi (per esempio stabilendo precedentemente gli elementi da considerare nella matrice Swot tramite brainstorming o focus group).

Vorrei fare altri esempi, e più dettagliati, ma questa nota è finita. Provo sinteticamente a trarre una lezione finale, che cercherò di approfondire con altre note in futuro: le tecniche non sono solo meccanismi operazionali, o addirittura semplici procedure; esse sono traduzioni operative di logiche, di teorie, e rappresentano la realtà osservata in una maniera parziale e – diciamo così – piegata secondo gli indirizzi della logica e della teoria sottesa e spesso ignorata. Prendete una banale scala ordinale: il concetto di ordinalità, il fatto che possiamo semplificare aspetti del mondo descrivendoli come un ‘prima’ e un ‘dopo’, o un ‘meglio’ e un ‘peggio’, ha una complessità enorme, e presuppone teorie cognitive e sociali specifiche, la possibilità e l’utilità di creare un ordinamento di quel genere, ovviamente non “naturale”, e così via.

Ecco: le tecniche miste sono l’esile pertugio attraverso il quale le teorie possono mischiarsi (non credo possibile farlo direttamente prendendole di petto) aiutandoci a capire meglio e con maggiore “carico teorico” l’oggetto della nostra valutazione.