Quando si effettua la peer review, ad esempio per valutare la competitività dei prodotti, è necessario, come in ogni lavoro scientifico, effettuare elaborazioni statistiche di dati. Quest'ultimo inizia con la determinazione della consistenza delle perizie, la cui espressione numerica è il coefficiente di concordanza.
Perché abbiamo bisogno di una valutazione del consenso di esperti?
Questa valutazione è necessaria, innanzitutto, perché le opinioni degli esperti possono differire notevolmente sui parametri stimati. Inizialmente, la valutazione viene effettuata classificando gli indicatori e assegnando loro un certo coefficiente di significatività (peso). Una classifica incoerente fa sì che questi coefficienti siano statisticamente inaffidabili. Le opinioni degli esperti con il loro numero richiesto (più di 7-10) dovrebbero essere distribuite secondo la legge normale.
Il concetto di coefficiente di concordanza
Così. La coerenza è concordanza. Il coefficiente è una quantità adimensionale che mostra il rapporto tra la dispersione e la dispersione massima nel caso generale. Generalizziamo questi concetti.
Il coefficiente di concordanza è un numero da 0 a 1, che mostra la coerenza delle opinioni degli esperti quandoclassificare alcune proprietà. Più questo valore è vicino a 0, minore è la consistenza considerata. Se il valore di questo coefficiente è inferiore a 0,3, le opinioni degli esperti sono considerate incoerenti. Quando il valore del coefficiente è compreso tra 0,3 e 0,7, la consistenza è considerata media. Un valore maggiore di 0,7 è considerato consistenza elevata.
Usa casi
Nel condurre una ricerca statistica, possono verificarsi situazioni in cui un oggetto può essere caratterizzato non da due sequenze, che vengono elaborate statisticamente utilizzando il coefficiente di concordanza, ma da più sequenze, che sono di conseguenza classificate da esperti con lo stesso livello di professionalità in una determinata area.
La coerenza della classifica effettuata dagli esperti deve essere determinata per confermare la correttezza dell'ipotesi che gli esperti effettuino misurazioni relativamente accurate, il che consente la formazione di vari raggruppamenti in gruppi di esperti, che sono in gran parte determinati da fattori umani, principalmente come differenze di opinioni, concetti, diverse scuole scientifiche, natura dell'attività professionale, ecc.
Breve descrizione del metodo di classificazione. I suoi vantaggi e svantaggi
Quando si classifica, viene utilizzato il metodo della classifica. La sua essenza sta nel fatto che a ciascuna proprietà dell'oggetto viene assegnato un proprio rango specifico. Inoltre, a ciascun esperto incluso nel gruppo di esperti viene assegnato questo gradoautonomamente, con conseguente necessità di elaborare tali dati al fine di individuare la coerenza delle perizie. Questo processo viene effettuato calcolando il coefficiente di concordanza.
Il principale vantaggio del metodo rank è la sua facilità di implementazione.
I principali svantaggi del metodo sono:
- un piccolo numero di oggetti di classifica, poiché quando il loro numero supera 15-20, diventa difficile assegnare punteggi di classifica oggettivi;
- In base all'uso di questo metodo, la questione di quanto gli oggetti studiati siano distanti l'uno dall' altro in termini di significato rimane aperta.
Quando si utilizza questo metodo, si deve tenere conto del fatto che i rating si basano su una sorta di modello probabilistico, quindi devono essere applicati con cautela, dato lo scopo.
Coefficiente del grado di concordanza di Kendall
Utilizzato per determinare la relazione tra caratteristiche quantitative e qualitative che caratterizzano oggetti omogenei e classificati secondo lo stesso principio.
Questo coefficiente è determinato dalla formula:
t=2S/(n(n-1)), dove
S - la somma delle differenze tra il numero di sequenze e il numero di inversioni sulla seconda caratteristica;
n - numero di osservazioni.
Algoritmo di calcolo:
- I valori x sono classificati in ordine crescente o decrescente.
- I valori y sono disposti nell'ordine in cui corrispondono ai valori x.
- Per ogni rango successivo di y, determina quanti valori di rango superiore lo seguono. Si sommano e si calcola la misura della corrispondenza delle successioni di ranghi in xey.
- Allo stesso modo, viene calcolato il numero di ranghi di y con valori inferiori, che si sommano anche.
- Aggiungi il numero di gradi con valori più alti e il numero di gradi con valori inferiori, ottenendo il valore S.
Questo coefficiente mostra la relazione tra due variabili e nella maggior parte dei casi è chiamato coefficiente di correlazione del rango di Kendall. Tale dipendenza può essere rappresentata graficamente.
Determinazione del coefficiente
Come si fa? Se il numero di caratteristiche o fattori classificati supera 2, viene utilizzato il coefficiente di concordanza, che, in sostanza, è una variante multipla della correlazione di rango.
Stai attento. Il calcolo del coefficiente di concordanza si basa sul rapporto tra la deviazione della somma dei quadrati dei ranghi dalla somma media dei quadrati dei ranghi, moltiplicata per 12, al quadrato degli esperti, moltiplicata per la differenza tra il cubo del numero di oggetti e il numero di oggetti.
Algoritmo di calcolo
Per capire da dove viene il numero 12 al numeratore della formula di calcolo, osserviamo l'algoritmo di determinazione.
Per ogni riga con i gradi di un certo esperto, viene calcolata la somma dei gradi, che è un valore casuale.
Il coefficiente di concordanza è generalmente definito come il rapporto tra la stima della varianza (D) e il valore massimo della stima della varianza(REmax). Formuliamo successivamente le definizioni di queste quantità.
dove ravg - stima delle aspettative;
m - numero di oggetti.
Sostituendo le formule risultanti in relazione a D con Dmax otteniamo la formula finale per il coefficiente di concordanza:
Qui m è il numero di esperti, n è il numero di oggetti.
La prima formula viene utilizzata per determinare il fattore di concordanza se non ci sono ranghi correlati. La seconda formula viene utilizzata se sono presenti ranghi correlati.
Quindi il calcolo del coefficiente di concordanza è terminato. Qual è il prossimo? Il valore ottenuto viene valutato per significatività utilizzando il coefficiente di Pearson moltiplicando questo coefficiente per il numero di esperti e per il numero di gradi di libertà (m-1). Il criterio risultante viene confrontato con il valore della tabella e, se il valore del primo supera l'ultimo, si parla della significatività del coefficiente in esame.
Nel caso di gradi correlati, il calcolo del criterio di Pearson diventa un po' più complicato e viene eseguito dal seguente rapporto: (12S)/(d(m2+ m)-(1/(m-1))x(Ts1 +Ts2 +Tsn)
Esempio
Supponiamo che il metodo esperto valuti la competitività del burro venduto in una rete di vendita al dettaglio. Facciamo un esempio di calcolo del coefficiente di concordanza. Prima di valutare la competitività, è necessario classificare il consumatoreproprietà di questo prodotto che sono coinvolte nella valutazione. Assumiamo che queste proprietà siano le seguenti: gusto e odore, consistenza e aspetto, colore, imballaggio ed etichettatura, contenuto di grassi, nome commerciale, produttore, prezzo.
Supponiamo che il gruppo di esperti sia composto da 7 esperti. La figura mostra i risultati della classifica di queste proprietà.
Il valore medio di r viene calcolato come media aritmetica e sarà 31.5 Per trovare S, somma le differenze al quadrato tra rè e la media r, secondo la formula sopra, e determinare che il valore di S è 1718.
Calcola il coefficiente di concordanza utilizzando la formula senza utilizzare ranghi correlati (i ranghi sarebbero correlati se lo stesso Expert Advisor avesse gli stessi ranghi per proprietà diverse).
Il valore di questo coefficiente sarà 0,83. Ciò indica un forte consenso tra gli esperti.
Controlla il suo significato usando il test di Pearson:
7 x 0,83 x (8-1)=40,7.
Il test tabulare di Pearson al livello di significatività dell'1% è 18,5 e al 5% - 14,1.
L'esempio dimostra la semplicità e l'accessibilità del calcolo per qualsiasi persona che conosca le basi dei calcoli matematici. Per alleviarli,usa i moduli del foglio di calcolo.
In conclusione
Così, il coefficiente di concordanza mostra la coerenza delle opinioni di diversi esperti. Più è lontano da 0 e più vicino a 1, più opinioni coerenti. Questi coefficienti devono essere confermati calcolando il criterio di Pearson.
