Valutazione.it

Alcuni suggerimenti veloci per la costruzione della matrice dei dati dei questionari che usiamo in valutazione.

Questa nota è dedicata a chi deve somministrare un questionario e per qualunque ragione si deve personalmente occupare dell’elaborazione. Poiché mi trovo io stesso, al momento, in questa situazione – nell’ambito di una valutazione dei rischi del lavoro agricolo, in cui si sono fra l’altro somministrati 900 questionari ad altrettanti agricoltori di tre regioni italiane – sono fresco di suggerimenti che vi do in ordine logico e cronologico:

1) nella fase dell’elaborazione del questionario e al di là di ogni ovvia indicazione sulla necessità di costruirlo in gruppo, assieme a persone qualificate nella materia oggetto di indagine, sulle corrette istruzioni da dare agli intervistatori, e tutta quella mole di suggerimenti che trovate in ogni manuale, vi suggerisco caldamente di realizzare un pretest, non solo in quanto prova di somministrazione per verificare – per esempio – la comprensibilità delle domande presso il gruppo target, ma anche per verificare i meccanismi di traduzione in matrice; col questionario considerato definitivo e testato su un certo numero di casi realizzate subito la matrice (vedete prossimo punto) e provate a imputare i dati del test. Una serie di problemi che potreste avere trascurato in sede di redazione potrebbero venire a galla: domande filtro che non hanno ben impostato le conseguenti domande condizionate; elenchi di risposte incompleti (p.es. potreste avere dimenticato l’indispensabile “Non pertinente” in domande condizionate; oppure “Altro…” in elenchi); problemi di elaborazione nelle domande a risposta multipla (queste in particolare sono rognose da elaborare, e qualche volta ce se ne accorge proprio quando imputiamo i dati); eccetera. Insomma: il pretest non si deve limitare alla somministrazione, ma deve arrivare anche alla codifica e imputazione dei dati in matrice;

2) la matrice casi per variabili è un normale foglio elettronico in cui riservare righe diverse per i diversi questionari e colonne diverse per le diverse variabili (domande del questionario). Se siete evoluti utilizzate programmi come SAS o SPSS, se siete meno sofisticati e non intendete andare oltre una buona analisi bivariata vi può bastare Excel o un elaboratore analogo (esiste anche la versione open source). La matrice va costruita ovviamente prima di imputare i dati in questo modo:

• se avete un questionario strutturato (a domande “chiuse”) tenetene copia vicino a voi e usatelo come libro codice (per questionari con molte domande aperte la faccenda è molto più complessa e divertente ma non ho spazio per trattarli in questa nota);
• impegnate una prima colonna della matrice per mettere il numero progressivo dei questionari anche se non l’avevate previsto materialmente nel cartaceo;
• a partire dalla seconda colonna: la domanda “1” (per esempio “Regione di appartenenza dell’intervistato”) occuperà la seconda colonna; poiché – nel mio caso – i questionari sono riferibili solo a tre regioni, nel questionario io ho tre caselline numerate “1, 2, 3”; ‘1, 2 e 3’ sono i codici delle tre risposte; in quella colonna non ci possono essere che questi tre codici e trovando un “4” o un “8” significa errore nella mia imputazione dei dati…
• … tranne in un caso: supponiamo che un questionario sia privo della Regione di appartenenza e non abbia modo di risalire alla risposta; cosa metto in matrice? Serve un codice per il caso “Mancata risposta”; in una situazione come questa è usuale utilizzare il valore “9”, o ancor meglio il “99”, perché rappresenta un codice implausibile per qualunque altra risposta che evidenzia, appunto, un errore, l’omissione di una risposta, e così via;
• nella terza colonna metterò la seconda domanda del questionario (per esempio “Sesso dell’intervistato”) e così procedendo, considerando una colonna per ogni domanda (importantissime eccezioni al punto seguente) e – nelle celle – valori di codifica tratti dall’elenco delle risposte preimpostate (“o₁ Toscana, o₂ Umbria…; o₁ Maschio, o₂ Femmina; e così via). E’ quindi evidente che per facilitare le operazioni di imputazione dei dati è bene che ogni domanda sia numerata da 1 a n, e che per ogni domanda le risposte siano a loro volta numerate da 1 a m);

3) fra i tanti problemi che sorgono costruendo la matrice il più rilevante riguarda il trattamento delle domande a risposta multipla; una specie di maledizione. Se riservate una colonna (un campo) per ogni domanda/risposta, come fate a inserite più risposte in quella sola colonna? E’ difficile, anche se possibile; i modi possibili sono o complicati da gestire (utilizzare un codice binario anziché decimale per numerare le risposte e inserire in matrice la somma dei valori delle risposte indicate) o interessanti e proficui ma complessi da costruire (immaginare delle codifiche qualitative di sintesi che esprimano dei significati interpretati alle risposte multiple, aggregate per “profili” sociologicamente significativi; ma per fare questo dovete fare uno spoglio preliminare, vedere quali tipi di risposte multiple occorrono maggiormente e preparare un libro codice a parte). Non resta che una terza soluzione (in questa elaborazione in economia): riservare una distinta colonna per ogni risposta, con valori di cella pari a 1 (ha dato quella risposta) e 0 (non ha dato quella risposta); insomma è come se ogni risposta fosse in realtà una domanda con risposta dicotomica Sì/No. Questo non solo amplia la matrice e la riempie di inutili zeri, ma fa perdere molta informazione perché diventa più complicato riaggregare i dati.

Di queste cose, di quante decisioni siano da prendere, di quante complicazioni avremmo evitato pensando meglio al questionario anche in termini di elaborazione, ci si accorge proprio inserendo i primi questionari nella matrice. Più “bello” e fantasioso vi sarà apparso il questionario al momento della redazione e somministrazione, più probabilmente complicato e pieno di grattacapi al momento dell’imputazione in matrice.