Podczas recenzowania, na przykład oceny konkurencyjności produktów, konieczne jest, jak w każdej pracy naukowej, przeprowadzenie statystycznego przetwarzania danych. Ta ostatnia rozpoczyna się od ustalenia zgodności opinii biegłych, których liczbowym wyrazem jest współczynnik zgodności.
Dlaczego potrzebujemy oceny konsensusu ekspertów?
Ta ocena jest konieczna przede wszystkim dlatego, że opinie ekspertów mogą znacznie różnić się od szacowanych parametrów. Początkowo ocena odbywa się poprzez uszeregowanie wskaźników i przypisanie im określonego współczynnika istotności (wagi). Niespójny ranking powoduje, że te współczynniki są statystycznie niewiarygodne. Opinie biegłych w wymaganej liczbie (powyżej 7-10) powinny być rozpowszechniane zgodnie z normalnym prawem.
Pojęcie współczynnika zgodności
Tak. Spójność to zgodność. Współczynnik jest bezwymiarową wielkością pokazującą stosunek rozproszenia do maksymalnego rozproszenia w ogólnym przypadku. Uogólnijmy te pojęcia.
Współczynnik zgodności to liczba od 0 do 1, pokazująca zgodność opinii ekspertów, gdyranking niektórych nieruchomości. Im bliżej ta wartość jest do 0, tym niższa konsystencja jest brana pod uwagę. Jeżeli wartość tego współczynnika jest mniejsza niż 0,3, opinie biegłych uważa się za niespójne. Gdy wartość współczynnika mieści się w zakresie od 0,3 do 0,7, konsystencja jest uważana za średnią. Wartość większa niż 0,7 jest uważana za wysoką spójność.
Przypadki użycia
Podczas prowadzenia badań statystycznych mogą zaistnieć sytuacje, w których obiekt może charakteryzować nie dwie sekwencje, które są przetwarzane statystycznie przy użyciu współczynnika zgodności, ale kilka sekwencji, które są odpowiednio klasyfikowane przez ekspertów o tym samym poziomie profesjonalizm w określonej dziedzinie.
Spójność rankingu przeprowadzonego przez ekspertów musi być określona, aby potwierdzić słuszność hipotezy, że eksperci dokonują stosunkowo dokładnych pomiarów, co pozwala na tworzenie różnych grupowań w grupach eksperckich, które w dużej mierze są determinowane czynnikami ludzkimi, przede wszystkim takie jak różnice poglądów, koncepcji, różnych szkół naukowych, charakteru działalności zawodowej itp.
Krótki opis metody rangowania. Jego zalety i wady
Podczas rankingu używana jest metoda rangowania. Jego istota polega na tym, że każdej właściwości przedmiotu przypisuje się własną, określoną rangę. Ponadto każdemu ekspertowi wchodzącemu w skład grupy ekspertów przypisywana jest ta rangasamodzielnie, co skutkuje koniecznością przetwarzania tych danych w celu ustalenia spójności opinii ekspertów. Proces ten jest realizowany poprzez obliczenie współczynnika zgodności.
Główną zaletą metody rangowania jest łatwość jej wdrożenia.
Główne wady metody to:
- mała liczba obiektów rankingowych, ponieważ gdy ich liczba przekracza 15-20, trudno jest przypisać obiektywne wyniki rankingu;
- W oparciu o zastosowanie tej metody pytanie, jak daleko od siebie badane obiekty są od siebie, pozostaje otwarte.
Używając tej metody, należy wziąć pod uwagę, że oceny są oparte na jakimś modelu probabilistycznym, więc należy je stosować ostrożnie, biorąc pod uwagę zakres.
Współczynnik rang zgodności Kendalla
Służy do określenia relacji między cechami ilościowymi i jakościowymi charakteryzującymi obiekty jednorodne i uszeregowane według tej samej zasady.
Ten współczynnik jest określony wzorem:
t=2S/(n(n-1)), gdzie
S - suma różnic między liczbą ciągów a liczbą inwersji na drugim elemencie;
n - liczba obserwacji.
Algorytm obliczeniowy:
- Wartości x są uszeregowane w porządku rosnącym lub malejącym.
- Wartości y są ułożone w kolejności, w jakiej odpowiadają wartościom x.
- Dla każdej kolejnej rangi y określ, ile wyższych wartości rang następuje po niej. Są one sumowane i obliczana jest miara zgodności ciągów rang w x i y.
- Podobnie obliczana jest liczba rang y o niższych wartościach, które również się sumują.
- Dodaj liczbę rang o wyższych wartościach i liczbę rang o niższych wartościach, w wyniku czego otrzymamy wartość S.
Ten współczynnik pokazuje związek między dwiema zmiennymi iw większości przypadków jest nazywany współczynnikiem korelacji rang Kendalla. Taką zależność można przedstawić graficznie.
Wyznaczanie współczynnika
Jak to się robi? Jeżeli liczba rangowanych cech lub czynników przekracza 2, stosuje się współczynnik zgodności, który w istocie jest wielokrotnym wariantem korelacji rang.
Bądź ostrożny. Obliczenie współczynnika zgodności opiera się na stosunku odchylenia sumy kwadratów rang od średniej sumy kwadratów rang pomnożonej przez 12 do kwadratu ekspertów pomnożonej przez różnicę między sześcianem liczby obiektów i liczba obiektów.
Algorytm obliczeniowy
Aby zrozumieć, skąd pochodzi liczba 12 w liczniku wzoru obliczeniowego, spójrzmy na algorytm wyznaczania.
Dla każdego wiersza z rangami określonego eksperta obliczana jest suma rang, która jest wartością losową.
Współczynnik zgodności jest ogólnie definiowany jako stosunek oszacowania wariancji (D) do maksymalnej wartości oszacowania wariancji(Dmax). Sformułujmy sukcesywnie definicje tych wielkości.
where ravg - oszacowanie oczekiwań;
m - liczba obiektów.
Zastępując otrzymane wzory w stosunku do D do Dmax otrzymujemy końcową formułę na współczynnik zgodności:
Tutaj m to liczba ekspertów, n to liczba obiektów.
Pierwszy wzór służy do określenia współczynnika zgodności, jeśli nie ma powiązanych rang. Druga formuła jest używana, jeśli istnieją powiązane rangi.
Więc obliczanie współczynnika zgodności dobiegło końca. Co dalej? Otrzymaną wartość ocenia się pod kątem istotności za pomocą współczynnika Pearsona, mnożąc ten współczynnik przez liczbę ekspertów i liczbę stopni swobody (m-1). Otrzymane kryterium porównuje się z wartością z tabeli, a jeśli wartość pierwszego przekracza ostatnią, mówią o istotności badanego współczynnika.
W przypadku rang pokrewnych obliczenie kryterium Pearsona staje się nieco bardziej skomplikowane i odbywa się według następującego stosunku: (12S)/(d(m2+ m)-(1/(m-1))x(Ts1 +Ts2 +Tsn)
Przykład
Załóż, że metoda ekspercka ocenia konkurencyjność masła sprzedawanego w sieci detalicznej. Podajmy przykład obliczania współczynnika zgodności. Przed oceną konkurencyjności konieczne jest uszeregowanie konsumentawłaściwości tego produktu, które są objęte oceną. Załóżmy, że tymi właściwościami będą: smak i zapach, konsystencja i wygląd, kolor, opakowanie i oznakowanie, zawartość tłuszczu, nazwa handlowa, producent, cena.
Załóżmy, że grupa ekspertów składa się z 7 ekspertów. Rysunek przedstawia wyniki rankingu tych właściwości.
Średnia wartość r jest obliczana jako średnia arytmetyczna i wyniesie 31,5. Aby znaleźć S, zsumuj kwadrat różnicy między ris i średnią r, zgodnie ze wzorem powyżej i określ, że wartość S to 1718.
Oblicz współczynnik zgodności za pomocą wzoru bez używania powiązanych rang (rangi byłyby powiązane, gdyby ten sam Expert Advisor miał te same rangi dla różnych właściwości).
Wartość tego współczynnika wyniesie 0,83. Wskazuje to na silny konsensus wśród ekspertów.
Sprawdź jego znaczenie za pomocą testu Pearsona:
7 x 0,83 x (8-1)=40,7.
Tabularny test Pearsona przy 1% poziomie istotności wynosi 18,5, a przy 5% - 14,1.
Przykład demonstruje prostotę i dostępność obliczeń dla każdej osoby, która zna podstawy obliczeń matematycznych. Aby je złagodzić,użyj formularzy arkuszy kalkulacyjnych.
Na zakończenie
Tak więc współczynnik zgodności pokazuje zgodność opinii kilku ekspertów. Im dalej od 0, a bliżej 1, tym bardziej spójne są opinie. Współczynniki te należy potwierdzić poprzez obliczenie kryterium Pearsona.
