Valutazione.it

In seguito ad alcune cortesi domande di un collega ho riflettuto nuovamente sulla customer satisfaction. Una pratica interessante per la valutazione ma da non enfatizzare e, specialmente, da realizzare con cautela a causa di alcuni limiti da non sottovalutare.

Un collega mi ha scritto:

Condivido appieno il grafico a pagina 87 del suo Glossario (alla voce efficacia). I miei dubbi, o piuttosto i punti a me non chiari, sono due.

1) Il primo riguarda il ruolo della soddisfazione degli utenti nella valutazione. Trattandosi della misurazione di aspettative (per estensione: bisogni), mi verrebbe da dire che tale analisi pertenga alla sfera dei risultati (intesi come outcome) e quindi interessi l'efficacia esterna. Non so se lei condivide.

2) Direi però che l'affermazione di cui sopra si debba più che altro intendere come riferita alle aspettative sul processo/relazione, su come si è verificato quel "qui ed ora" con tutte le incognite relative all'intangibilità e alla negoziabilità che rende l'esecuzione "irripetibile". Però in tale maniera, cercando di semplificare, siamo in grado di analizzare per la maggior parte "il servizio mi è piaciuto o non mi è piaciuto", e in misura minore "il servizio mi ha fatto bene o non mi ha fatto bene", anche perché gli utenti non hanno tutti gli elementi oggettivi per potersi esprimere su questo, al di là delle loro percezioni. Attraverso l'analisi della soddisfazione posso quindi avere indicazioni su come rendere migliore il servizio sotto il profilo dei "criteri di valutazione", ma non tanto su come effettivamente guarire l'utente malato. Per questo obiettivo (il risultato della cura sul singolo in termini di salute, che pure, come sopra, direi che pertenga alla sfera degli outcome e quindi dell'efficacia esterna), mi sembrerebbe necessario un quasi-esperimento basato sulla misurazione prima-dopo sullo stesso utente, attraverso uno dei tanti strumenti di valutazione multidimensionale.

Caro collega, provo a risponderle.

RUOLO DELLA CUSTOMER

• Non è detto che riguardi l'efficacia esterna; potrei realizzare un'indagine presso gli utenti per verificare il loro gradimento sull'organizzazione, e anzi mi pare che più spesso sia questo il ruolo assegnato; in questo caso l'analisi riguarderebbe l'efficienza. Più difficile, credo, che possa riguardare l'efficacia interna;
• attenzione a parlare di "misurazione"; le cose misurabili - nella sfera sociale - sono pochissime (si contano sulle dita di una sola mano) e solitamente inutili; più spesso si conta; ma con la customer satisfaction solitamente non si misura né si conta ma si ordina (primo, secondo... nel gradimento) o si classifica (cosa di un dato tipo rispetto a cosa di un altro tipo);
• io ho dei dubbi anche sull'equivalenza aspettative-bisogni; la letteratura sui bisogni è ampia e contraddittoria, ma credo sia il caso di distinguere almeno su bisogni come elementi stabiliti da altri, ovvero ciò che autorità preposte stabiliscono essere gli elementi rispetto ai quali organizzare una risposta in termini di servizio (legga a questo proposito la definizione di "bisogni" di Lipari nella mia raccolta di citazioni sul sito, la n° 557), e ciò che soggettivamente gli individui ritengono essere i propri bisogni. E' su questi secondi che si concentra la customer satisfaction, ma credo sia facile osservare che non coincide necessariamente con la prima.

NATURA DELLA CUSTOMER

• Tutte le forme di interrogazione degli individui sono espressioni di pareri "qui ed ora" e necessariamente viziati e distorti da una vera quantità di fattori; nella tipica indagine con questionario, se ben fatta, si ritiene di poter limitare questi fattori distorcenti, per esempio limitando o evitando domande intrusive, delicate o molto connotate sotto il profilo politico, economico, religioso e sessuale (che sono temi sui quali non si risponde volentieri); molto spesso la customer satisfaction ha proprio a che fare con temi delicati quali la salute, il disagio e così via, e quindi occorre essere estremamente cauti, e bravi, nella realizzazione di tali indagini;
• ma anche se si è cauti e bravi, proprio come dice lei l'utente dei servizi che risponde non è detto che abbia gli elementi di giudizio per dare una risposta convincente; l'utente è portatore di un "egoismo ignorante" inevitabile: 'egoismo' perché se si rivolge a un servizio ha un bisogno (vero, presunto, non importa) e vede solo quello, ne vuole un'immediata ed efficace soddisfazione; 'ignorante' perché solitamente non conosce la legislazione che regola quella materia, lo stato tecnico-scientifico della prestazione che richiede, la struttura organizzatrice che eroga il servizio e via discorrendo: vuole massima attenzione e totale soddisfazione, punto.
• Ma ci sono anche altre questioni, ben note e citate in letteratura: se per servizi "freddi" posso ritenere utile comunque l'opinione dell'utente (p.es. l'organizzazione delle rete degli autobus urbani), per quelli "caldi" (che riguardano la sfera della salute per esempio) no: a chi chiedere la soddisfazione sul servizio di cura erogato nel caso di servizi psichiatrici? E per cure riabilitative dolorose? Per quelle pediatriche? In altri settori: a chi chiedere il grado di soddisfazione per quanto riguarda il trattamento carcerario? La costrizione in comunità terapeutiche? Non solo c'è un'asimmetria di conoscenza (punto precedente) ma anche un'asimmetria negli interessi, fra quelli collettivi e quelli personali dell'utente, quelli immediati e quelli in prospettiva...

UTILITA' DELLA CUSTOMER

A questo punto c'è veramente da chiedersi se queste analisi siano utili, e con quali limiti.

Io credo che siano in parte utili, in certi casi, e solo se vincolate a certe condizioni:

• la soddisfazione degli utenti (utilizziamo i termini italiani, quando ci sono) è utile solo come parte di un'analisi valutativa, e mai da sola. In nessun caso (sono categorico, come vede) si può "valutare" un servizio solo con questo genere di analisi, e anche assieme ad altre parti la customer deve avere un ruolo ancillare, modesto. Va fatta (non si può né si deve ignorare il punto di vista dell'utente), ma non va enfatizzata.
• La soddisfazione degli utenti va realizzata con grande cautela metodologica; è un terreno scivoloso, e i risultati maldestri potrebbero essere utilizzati in maniera impropria.

COME FARE QUESTE INDAGINI

Lei suggerisce approcci prima/dopo. Ma sì, perché no? Ma non sopravvaluti alcun approccio. In particolare il prima/dopo ha dei limiti notevoli che lei deve ben considerare: Se "prima" di ricevere un servizio mi dichiaro in un determinato modo (rispetto a dimensioni da stabilire relative, per esempio, al mio stato di salute, alla mia ansia, all'entità di un mio bisogno...) e poi, "dopo", in un altro modo (per esempio dichiaro di stare meglio, di essere più felice, e di percepire il mio bisogno come ridotto) lei è sicuro di poter imputare il risultato al trattamento? Qui si aprono molte considerazioni:

• la prima e più banale riguarda il cosiddetto "controfattuale", ovvero: in che modo lei può stabilire se tale diverso stato dichiarato sia totalmente dovuto alla prestazione erogata e non ad altri fattori (p.es. il paziente sarebbe guarito ugualmente; oppure nel frattempo una serie di fattori concomitanti lo hanno rasserenato...); su questo può leggere il recente volume di Martini e Sisti (l'ho segnalato da poco sul mio sito - nota dal titolo "Libri letti"; il volume non mi è piaciuto molto, ma indubbiamente tutta la discussione sul controfattuale e sui metodi sperimentali e non sperimentali è ben scritta);
• indipendentemente dal controfattuale - o come specificazione particolare - le segnalo comunque l'abbondantissima letteratura che mostra, in generale, una forte sopravvalutazione della soddisfazione dichiarata oppure, in casi diversi, una forte sottovalutazione. Quest'ultima è più rara e può riguardare casi settoriali o locali in cui un contenzioso più generale travolge nel giudizio i servizi e i casi più specifici. La prima è più comune e riguarda una sorta di "gratitudine" per avere ricevuto il servizio (non inteso come "diritto" ma come "favore") qualunque sia stata la qualità dell'erogazione (questo è tipico fra gli anziani e le persone meno scolarizzate); oppure per la paura di ritorsioni (se dico che non sono contento non mi erogano più il servizio, mi trattano male, e così via). Su questi temi le raccomando la lettura di due articoli, quello di Leonardo Altieri e quello di Giarelli (questo secondo, in particolare, è ottimo) nel volume a cura di Cipolla, Giarelli e Altieri intitolato  "Valutare la qualità in sanità. Approcci, metodologie, strumenti", Franco Angeli, Milano 2002.