Valutazione.it

Qual è la natura degli indicatori? Di cosa sono fatti? Dopo avere segnalato la presenza di tre distinti tipi di indicatori in una nota precedente, proseguo qui il discorso proponendo per punti una prima parte di linea guida sulla natura degli indicatori; a giorni inserirò in un nuovo testo la seconda parte relativa alla loro costruzione. La presente nota è molto sintetica perché tratta dal lavoro a cura mio, di Cannavò e Palumbo che sarà in libreria dalla seconda metà di Febbraio 2010, al quale rimando.

1. Gli indicatori sono l’esito operativo di un processo di significazione. Se l’indicatore non è operativizzabile non si tratta di un indicatore sociale e/o valutativo; ciò potrebbe non diminuire il suo status di ‘indicatore’, ma lo rende non utilizzabile nell’ambito delle nostre discipline e delle nostre attività;

1.1.  l’enfasi è sul processo, non sul suo esito. E’ il processo di significazione realizzato tramite l’argomentazione dell’indicazione a dare il valore aggiunto, e non l’esito in sé. Facile argomentare questo punto: “15” non indica nulla; neppure “15 chili” e nemmeno “15 chili sovrappeso”. Se invece analizziamo il peso dei maschi adulti in una ricerca epidemiologica, “15 chili [in media] sovrappeso” dice molte cose, ma solo all’interno di una teoria di riferimento e di altri riscontri empirici a supporto (p.es.: “negli uomini oltre i 50 anni un sovrappeso di 15 chili o più è da correlare a malattie cardiovascolari nel n% dei casi”);

1.2.  la teoria di riferimento è indispensabile; senza di essa qualunque indicatore è privo di senso. Con /Teoria/ intendo alcune cose leggermente diverse ma coerenti:

1.2.1.    una teoria sociologica, o economica, o di qualunque altra natura, nell’ambito della quale interpretare quei dati; per esempio i “15 chili sovrappeso” nell’ambito di una teoria socio-economica potrebbero essere un indicatore di benessere; nell’ambito di una teoria antropologica un indicatore di status sociale (i praticanti di Sumo, per esempio, sono indubbiamente dei grandi obesi ma godono di un eccezionale riconoscimento sociale);

1.2.2.    una teoria nel senso valutativo, di “teoria del programma” (o logica del programma) secondo la nota proposta di Chen e Rossi; in questo caso intendiamo le ragioni esplicite ed implicite di un programma che agisce concretamente su una popolazione; esempio: in un intervento di educazione alla salute volto a diminuire il rischio cardiovascolare, l’eventuale soglia dei “15 chili sovrappeso” assumerebbe un significato specifico, ma la ricostruzione della logica del programma potrebbe rivelare connessioni con elementi psicodinamici che conducono a bulimia e anoressia, con le eventuali cautele che un tale programma di educazione sanitaria dovrebbe assumere fra gli e le adolescenti;

1.2.3.    dei valori di riferimento, di cui sono intrisi i due punti precedenti ma che mi pare valga la pena sottolineare.

2. L’indicatore è sempre un indicatore-di-qualche-cosa; per i valutatori gli indicatori indicano un programma, un servizio, un’organizzazione, o loro parti, e in ogni caso tutti questi sono concetti astratti che si cerca di operativizzare attraverso una riduzione di complessità concettuale (gli indicatori appunto).

3. L’esito operativizzabile degli indicatori può avere forma e natura differente, inclusa la forma numerica. Insisto: il numero è una delle forme che può assumere l’indicatore operativizzato, ma non l’unica:

3.1.  la forma numerica (p.es. “15 chili”) è la più comune fra i valutatori e fa esplicito riferimento all’approccio [2], come già segnalato in una nota precedente; ci sono alcuni vantaggi e molti svantaggi; i vantaggi:

3.1.1.    facile successiva manipolazione operativa: se i maschi adulti della nostra popolazione sono “15 chili sovrappeso”, e sappiamo che i rischi cardiovascolari, nella media, si manifestano con maggiore intensità dopo i 10, allora 15-10=5 chili come obiettivo medio di riduzione minimo del sovrappeso;

3.1.2.    facile comprensione, evitando le ambiguità semantiche di altre forme espressive: “15 chili sovrappeso” non vuole dire “un po’ sovrappeso” o “piuttosto sovrappeso” e non significa “14 chili sovrappeso” né “16 chili sovrappeso”;

gli svantaggi:

3.1.3.    una eccessiva facilità di manipolazione operativa, che conduce spesso a operazioni ambigue ma non sempre visibili ai meno esperti (basta barare un po’ con la costruzione di eventuali scale sbilanciate, mettere al numeratore o al denominatore di alcuni indici elementi più comodi per dimostrare certe tesi, e così via);

3.1.4.    una forte dipendenza dalla possibile operativizzazione quantitativa, che riduce drasticamente i nostri margini di manovra. I concetti operativizzabili con quantità sono veramente pochi: pochissimi sono misurabili, e per lo più le cosiddette quantificazioni sono conteggi, di pochi aspetti esteriori e di mediocre utilità. Tutti i tentativi di trasformazione di elementi qualitativi in quantitativi comportano una riduzione e una modifica della significazione;

3.1.5.    il conseguente vincolo sulle informazioni disponibili per tali operazioni e, risalendo lungo le ragioni per le quali si fa tutto ciò, alcuni forti vincoli sull’impostazione stessa dei programmi. Paradossalmente la successiva necessità operativa della valutazione impone dei vincoli all’azione programmatoria, retroattivamente, e quindi alla capacità di scelta politica; un paradosso da pochi sottolineato.

3.2.  La forma testuale, ovvero la scelta di non vincolarsi ai “dati” bensì alla relazione semantica fra concetti e indicatori; questa scelta ha a che fare con l’/indicatore/ [1] e ancor più [3] (per indicatore [1], indicatore [2] e indicatore [3] devo rinviare ancora una volta alla nota precedente).

(Questa nota del Portolano è tratta – con modifiche e riduzioni – dall’ultimo paragrafo del contributo di Claudio Bezzi, “Indicatori senza pensiero”, in Bezzi, Cannavò e Palumbo – a cura di – Costruire e usare indicatori nella ricerca sociale e nella valutazione, Franco Angeli, Milano 2010, in libreria dalla seconda metà di febbraio).