Normalizzare le valutazioni di gruppi diversi


Quando si devono confrontare le valutazioni di persone giudicate da valutatori diversi, ci si scontra inevitabilmente con la soggettività degli esaminatori. Per quanto essi possano essere formati sulla metodologia della valutazione e siano esortati ad avere la massima obiettività, ogni valutatore è soggetto a propri bias cognitivi, pregiudizi, stereotipi.
Può essere che un valutatore tenda a dare mediamente voti bassi, o alti, oppure differenziarli poco o tanto uno dall'altro. Dobbiamo però presumere che ogni gruppo sia nella realtà, come composizione, molto simile agli altri perchè questo è comunque un requisito richiesto nella stessa formazione dei gruppi. Immaginiamo, per esempio, di dover costituire delle classi di alunni o dei reparti di lavoro: non sarebbe proficuo per nessuno formare gruppi disomogenei a livello di prestazioni. Considerando gruppi composti da qualche decina di elementi, possiamo quindi supporre, con una certa approssimazione, che la distribuzione statistica delle valutazioni abbia la cosiddetta distribuzione normale dove i componenti del gruppo tendono a concentrarsi simmetricamente verso il valore medio, assumendo la forma a campana:
Con un ortogramma, la distribuzione statistica normale può assumere la forma come in figura.
In sintesi l'area della campana rappresenta la numerosità dei dati o, nel nostro esempio, il numero di valutazione/dipendenti.

Per rendere quindi confrontabili i valori di gruppi simili con medie diverse, occorre normalizzarli: un metodo semplice è quello di sottrarre a ogni valore la media del gruppo di appartenenza cosicché le medie vengono a coincidere. A ciascun valore si può anche aggiungere un numero fittizio, per esempio la media di tutti gli elementi, per dare un significato più comprensibile ai nuovi valori.
Il diagramma seguente mostra graficamente come tre gruppi, con lo stesso numero di componenti, vengono allineati alla media totale applicando la normalizzazione. Immaginando che la variabile in questione sia la valutazione, si può notare come il gruppo "rosso", che ha avuto mediamente delle valutazioni basse, venga spostato verso valori più elevati. Viceversa per i gruppi blu e verde.
Questo metodo può andare bene anche per gruppi che non hanno distribuzioni simili alla normale.


Il diagramma successivo rappresenta invece tre gruppi con la stessa media, e sempre con lo stesso numero di componenti, che hanno però avuto una diversa varianza dei dati: parlando di valutazioni, nel gruppo rosso il valutatore ha assegnato voti più differenziati mentre il valutatore del gruppo verde ha dato voti meno discostati dalla media.
In questo caso, per normalizzare i valori occorre dividerli per la deviazione standard (media degli scarti quadratici sotto radice). L'operazione è più complessa e ai fini della normalizzazione delle valutazioni per gruppi poco numerosi, o con distribuzioni non normali, può essere meglio non applicarla. Comunque sia, graficamente, l'operazione riscala i gruppi come simulato di seguito. Come si nota i valori dei componenti del gruppo verde vengono "sparsi" mentre quelli del rosso vengono un po' più raccolti:
Nella terza simulazione vengono rappresentati tre gruppi con numerosità, medie e varianze diverse. Il gruppo verde è il meno numeroso, quello blu il più numeroso. Applicando entrambi i metodi descritti, i valori dei 3 gruppi diventano più confrontabili tra loro: