Badania satysfakcji mieszkańców – analiza wyników, cz. 1

Spróbujemy odpowiedzieć na pytanie: co sprawia, że ludzie skłonni są oceniać jakość życia w swoim miejscu zamieszkania na tyle wysoko, że chcieliby zachęcić swoich bliskich do zamieszkania w nim. Zaprezentujemy kilka dostępnych wizualizacji, które w łatwy i atrakcyjny sposób pozwalają zobrazować wyniki badania satysfakcji. W drugiej części wykorzystamy analizę dyskryminacyjną, która pozwoli nam na dalsze pogłębienie wniosków o stopniu zadowolenia z miejsca zamieszkania, a w konsekwencji – zinterpretować zależność pomiędzy oceną zadowolenia z poszczególnych obszarów jakości życia, a chęcią do promowania lub krytyki miejsca zamieszkania.

Spróbujemy odpowiedzieć na pytanie: co sprawia, że ludzie skłonni są oceniać jakość życia w swoim miejscu zamieszkania na tyle wysoko, że chcieliby zachęcić swoich bliskich do zamieszkania w nim. Zaprezentujemy kilka dostępnych wizualizacji, które w łatwy i atrakcyjny sposób pozwalają zobrazować wyniki badania satysfakcji. W drugiej części wykorzystamy analizę dyskryminacyjną, która pozwoli nam na dalsze pogłębienie wniosków o stopniu zadowolenia z miejsca zamieszkania, a w konsekwencji – zinterpretować zależność pomiędzy oceną zadowolenia z poszczególnych obszarów jakości życia, a chęcią do promowania lub krytyki miejsca zamieszkania.

Zadowolenie z wybranych aspektów życia w badanej miejscowości

W pewnym (hipotetycznym) mieście przeprowadzono badanie ankietowe na temat zadowolenia z warunków życia. Respondenci oceniali na skali procentowej (0-100), w jakim stopniu są zadowoleni z każdego z wymienionych 6 obszarów: komunikacja publiczna, infrastruktura drogowa, edukacja, bezpieczeństwo, oferta kulturalna, wypoczynek i rekreacja. To będzie nasz zestaw predyktorów. Dodatkowo badani zostali poproszeni o ocenę, czy poleciliby życie w danej miejscowości swoim bliskim lub znajomym. Wykorzystując kategorie z popularnych skal NPS[1] osoby, które nie poleciłyby danej miejscowości jako miejsca do życia zostały nazwane krytykami, niemających zdania na ten temat uznaliśmy za neutralnych, a osoby polecające daną miejscowość za promotorów. Przynależność do 1 z tych 3 kategorii (krytycy, neutralni, promotorzy) będzie naszą zmienną zależną.

Na początku przyjrzyjmy się średnim ocenom poszczególnych obszarów. Wykorzystamy wizualizację Procent Planu Progi: Słupki, która łączący w sobie wykres z tabelą, w której może zostać zaprezentowana więcej niż 1 statystyka opisowa dla kategorii wybranej zmiennej jakościowej. Po odpowiednim przekształceniu zbioru danych w tabeli mogą jednak zostać zaprezentowane statystyki dla kilku zmiennych. Tło wykresu stanowi skala zaprezentowana w 3 kolorach w zależności od przyjętych progów. Ustaliłem je na poziomach: źle – czerwony (0-40), przeciętnie – żółty (40-60) oraz dobrze – zielony (60-100). Istotnym elementem wizualizacji jest możliwość wykorzystania alertu, czyli zdefiniowanej przez użytkownika dodatkowej flagi, która sygnalizuje przekroczenie krytycznych wartości Ustawiliśmy go na ocenach poniżej 50%.

Rysunek 1. Badanie satysakcji: średnie oceny poszczególnych obszarów

Wizualizacja pozwala na szybką ocenę i porównanie średnich w poszczególnych obszarach. Niestety nie dostarcza ona rozstrzygających wniosków. Praktycznie wszystkie aspekty zostały ocenione na naszej skali obojętnie, a różnice pomiędzy nimi nie są zbyt duże. Alerty wskazują, które zmienne mają średnią poniżej teoretycznego środka skali (wartości 50). Najniżej oceniane były: oferta kulturalna i infrastruktura drogowa, a najlepiej: możliwości wypoczynku i rekreacji oraz bezpieczeństwo.

Czynniki wpływające na chęć promowania swojej miejscowości

W badaniu satysfakcji, ogólne zadowolenie z życia w danej miejscowości można mierzyć na różne sposoby. Można obliczyć średnią (ważoną lub prostą średnią arytmetyczną) z poszczególnych obszarów, można zadać jedno ogólne pytanie. Pominę w tym miejscu omówienie wad i zalet każdego z tych rozwiązań. W naszym przypadku respondenci zostali poproszeni o odpowiedź na pytanie, czy byliby skłonni polecić życie w analizowanej miejscowości swoim bliskim lub znajomym.

Rysunek 2. Chęć polecenia innym swojego miejsca zamieszkania

Zaprezentowany powyżej wykres pierścieniowy (podobnie jak inne wizualizacje i analizy w tym tekście został on wykonany przy użyciu PS IMAGO PRO) obrazuje strukturę odpowiedzi: 22% badanych nie poleciłoby życia w niej innym (krytycy). 37% poleciłoby życie w danym miejscu (stąd też promotorzy), zaś 41% nie miało zdania w tej kwestii (neutralni).

Intuicyjnie zakładalibyśmy, że skłonność do polecania swojego miejsca zamieszkania innym będzie pozytywnie związana z każdym z obszarów. Czy tak jest w istocie? Zweryfikujmy tę tezę za pomocą zamieszczonej poniżej mapie. Ma ona postać tabeli, której komórki zawierają średnie oceny poszczególnych kategorii dla poszczególnych wymiarów (mapa podsumowań umożliwia wykorzystanie również innych statystyk opisowych). Dla zwiększenia czytelności komórki zostały pokolorowane gradientem – im wyższe wartości tym są one bardziej zielone, im niższe – czerwone. Dodatkowo na marginesach tabeli zostały zamieszczone średnie oceny dla poszczególnych wymiarów (średnie wierszowe). Z marginesów kolumnowych możemy również odczytać uśrednione oceny wszystkich wymiarów dla poszczególnych kategorii respondentów.

Rysunek 3. Średnie oceny poszczególnych wymiarów według chęci polecenia swojej miejscowości

Generalny kierunek zależności jest zgodny z naszymi oczekiwaniami. Średnia ocena 6 wymiarów jest najniższa wśród krytyków a najwyższa wśród promotorów. Widzimy jednak, że różne wymiary w odmienny sposób wpływają na stosunek do swojego miejsca zamieszkania. W przypadku oferty kulturalnej możemy zaobserwować bardzo mocną relację pomiędzy zmiennymi. Krytycy oceniają ten obszar jakości życia zdecydowanie negatywnie a promotorzy pozytywnie. Podobnie sprawa ma się z edukacją oraz komunikacją publiczną. Sprawa nieco komplikuje się w przypadku infrastruktury drogowej, którą najwyżej oceniają osoby skategoryzowane jako neutralne, natomiast bezpieczeństwo i wypoczynek są co prawda najlepiej oceniane przez promotorów, ale krytycy oceniają je wyżej niż osoby o neutralnym stosunku do swojego miejsca zamieszkania.

Wykorzystanie analizy dyskryminacyjnej w badaniach satysfakcji

Analiza dyskryminacyjna znajduje szerokie zastosowanie między innymi w prognozowaniu zjawisk ekonomicznych, takich jak ocena kondycji finansowej przedsiębiorstw, zakupy produktu, czy odchodzenie klientów. Znakomicie sprawdza się jednak również na gruncie biologii, medycyny czy w zorientowanych empirycznie naukach społecznych.

Analiza dyskryminacyjna znajduje szerokie zastosowanie między innymi w prognozowaniu zjawisk ekonomicznych, takich jak ocena kondycji finansowej przedsiębiorstw, zakupy produktu, czy odchodzenie klientów. Znakomicie sprawdza się jednak również na gruncie biologii, medycyny czy w zorientowanych empirycznie naukach społecznych.

Analiza dyskryminacyjna jest techniką klasyfikacji - polega na jak najlepszym odtworzeniu przynależności do kategorii zmiennej zależnej w oparciu o posiadany zestaw predyktorów. Postępowanie jest więc podobne jak w przypadku regresji logistycznej czy opisywanej na naszym blogu techniki drzew decyzyjnych. Klasyfikacja służy zrozumieniu i wyjaśnieniu istniejącego podziału. Przygotowany w ten sposób model może zostać wykorzystany w prognozowaniu wartości dla nowych obserwacji, dla których nie znamy jeszcze wartości zmiennej przewidywanej – np. zakupu produktu, odejścia klienta czy też możliwości niespłacenia pożyczki.

Analiza dyskryminacyjna – ogólne założenia

Na czym polega analiza dyskryminacyjna? Algorytm tworzy funkcje dyskryminacyjne, które są liniową kombinacją predyktorów i są od siebie niezależne. Tworzone są one tak, by w jak najlepszy sposób rozdzielić od siebie przypadki należące do różnych kategorii zmiennej zależnej.

Na podstawie funkcji dyskryminacyjnych obliczane są oceny dyskryminacyjne. Są to nowe zmienne ilościowe (wymiary), które stanowią podstawę do przypisywania analizowanych przypadków do kategorii zmiennej zależnej. W praktyce oznacza to, że średnie wartości ocen dyskryminacyjnych dla poszczególnych kategorii zmiennej przewidywanej powinny jak najbardziej różnić się od siebie.

Analiza dyskryminacyjna stawia spore wymagania w stosunku do zmiennych niezależnych:

• Jakościowa zmienna zależna o co najmniej dwóch kategoriach
• Ilościowe zmienne niezależne o rozkładzie normalnym
• Brak korelacji pomiędzy predyktorami
• Równość macierzy kowariancji predyktorów w poszczególnych kategoriach zmiennej zależnej
• Brak przypadków odstających

Kontrowersje wokół możliwości wykorzystania zmiennych jakościowych w analizie (zmienne wskaźnikowe, skale porządkowe typu Likerta) oraz trudności interpretacyjne sprawiają, że w podobnych zadaniach zdecydowanie częściej wykorzystuje się obecnie regresję logistyczną.

Jak zwykle przed przystąpieniem do analizy ważna jest wstępna diagnostyka zmiennych, wykluczenie przypadków odstających, a zwłaszcza unikanie zmiennych o skośnych rozkładach. Praktyka pokazuje, że analiza dyskryminacyjna jest względnie odporna na umiarkowane odstępstwa od normalności rozkładów i to założenie nie musi być traktowane rygorystycznie. Brak równości macierzy kowariancji skutkuje koniecznością wykorzystania osobnych macierzy kowariancji dla każdej grupy[2], co jest jedną z zaawansowanych ustawień dostępnych w oknie kreatora analizy.

Analiza dyskryminacyjna – interpretacja wyników

Wracając do analizy wyników badania satysfakcji: widać, że wzorzec ocen poszczególnych wymiarów i ich wpływ na ostateczną skłonność do promocji lub krytyki badanej miejscowości jest nieco bardziej skomplikowany niż to się pierwotnie wydawało. Wykorzystywane przez nas oprogramowanie PS IMAGO PRO umożliwia wybór zmiennej zależnej (nazywaną tutaj zmienną grupującą) oraz wskazanie kategorii, które mają zostać uwzględnione w analizie. Drugim niezbędnym elementem jest wybór zmiennych niezależnych.

Rysunek 4. Okno analizy dyskryminacyjnej w PS IMAGO PRO

W celu przetestowania założeń możemy opcjonalnie przeprowadzić test równości macierzy kowariancji wewnątrzgrupowych (test M-Boxa). Aby ocenić istotność wpływu każdego z predyktorów na zmienną zależną wybieramy także test ANOVA dla poszczególnych zmiennych. Okno [Klasyfikuj] pozwala uzyskać między innymi tabelę podsumowań, która pozwala ocenić jakość klasyfikacji dokonywanej przez nasz model. W tym miejscu warto także zaznaczyć opcję [Klasyfikacja typu pozostaw-jedną-poza]. Ostatnim elementem zamówionym w tym oknie będzie wykres [Połączone grupy], który z kolei wizualizuje przeprowadzoną klasyfikację, a przez to pomaga nam w interpretacji funkcji dyskryminacyjnych. Dodatkowo okno [Zapisz] pozwala zapisać do zbioru danych przewidywaną przynależność do grup i oceny dyskryminacyjne.

Jak wspomnieliśmy we wstępie, funkcje dyskryminacyjne powinny w jak najlepszym stopniu różnicować przypadki należące do odmiennych kategorii zmiennej przewidywanej. Ocena tego, w jaki sposób funkcje różnicują poszczególne grupy obserwacji pozwala na ich merytoryczną interpretację. Najłatwiej jest to zrobić porównując wartości średnich ocen dyskryminacyjnych obliczone dla poszczególnych kategorii zmiennej zależnej. Tabela z tymi wynikami została zaprezentowana poniżej.

Rysunek 5. Funkcje w środkach ciężkości grup

Możemy stwierdzić, że pierwsza funkcja oddaje naturalnie nasuwający się porządkowy układ kategorii zmiennej zależnej. Przyjrzyjmy się jednak uważniej różnicom. Widzimy, że funkcja generalnie koncentruje się na wyróżnieniu Promotorów od osób Neutralnych i Krytyków. Średnia ocena dla Promotorów jest dosyć wysoka, podczas gdy średnia wartość ocen dla Neutralnych i Krytyków jest do siebie zbliżona. Z kolei druga funkcja rozróżnia Krytyków (niskie oceny) od Neutralnych (wysokie oceny). Średnia dla Promotorów na tej funkcji jest bliska 0.

Znacznie bardziej atrakcyjną i szczegółową formą prezentacji zróżnicowania pomiędzy grupami (nie tylko w badaniach satysfakcji) jest wykres rozrzutu obrazujący wartości ocen dyskryminacyjnych (dla pierwszych dwóch funkcji) oraz zobrazowaną za pomocą kolorów przynależność do poszczególnych grup zmiennej zależnej. Dodatkowo zawiera on opisane wcześniej średnie wartości funkcji dla kategorii (środki ciężkości grup). Wykres pomaga więc zinterpretować funkcje dyskryminacyjne i jednocześnie umożliwia wizualnie ocenić jakość klasyfikacji dokonywanej przez model. Przypadki należące do danych kategorii powinny znajdować się jak najbliżej ich środków ciężkości a jednocześnie jak najdalej od środków ciężkości pozostałych grup. W idealnej sytuacji przypadki należące do różnych grup nie powinny się mieszać ze sobą. Wykres pozwala zidentyfikować potencjalne problemy modelu z klasyfikacją: przypadki odstające, czy też grupy obserwacji błędnie sklasyfikowanych, które powinny zostać poddane dalszej analizie, a być może uwzględnienie w modelu dodatkowych zmiennych.

Rysunek 6. Wykres połączonych kategorii

Ocena kierunku zależności pozostaje analogiczna w stosunku do omawianej wcześniej tabeli, dlatego też w tym miejscu ją pominę. Pierwsza funkcja dobrze tłumaczy, dlaczego ktoś jest skłonny polecać swoje miejsce zamieszkania innym. Znajduje ona również umiarkowane zastosowanie w odróżnieniu postawy neutralnej od krytycznej. Na jej podstawie da się względnie skutecznie uporządkować przypadki należące do różnych kategorii zmiennej zależnej. W przypadku osób niebędących promotorami o różnicach w znacznie lepszym stopniu decyduje jednak druga funkcja. Ona z kolei jest praktycznie bezużyteczna w prognozowaniu przynależności do tej kategorii. Mimo że średnia dla promotorów znajdują się blisko 0, to jednak wartości ocen dla tej grupy rozrzucone są praktycznie w całym zakresie zmienności funkcji.

Aby poprawnie zinterpretować funkcje dyskryminacyjne, musimy ocenić w jakim stopniu powiązane są one z wykorzystanymi do ich budowy predyktorami. W wyniku analizy otrzymujemy funkcje, które są liniowymi kombinacjami predyktorów. Standaryzowane współczynniki tych funkcji zostały zaprezentowane w tabeli poniżej. Interpretujemy je podobnie jak standaryzowane współczynniki regresji liniowej – pozwalają porównać wpływ poszczególnych zmiennych niezależnych na przeprowadzoną klasyfikację.

Rysunek 7. Standaryzowane współczynniki
funkcji dyskryminacyjnych

Pierwsza funkcja jest silnie związana z ofertą kulturalną, edukacją oraz ocenami komunikacji publicznej. Tym co decyduje więc o chęci polecania innym życia w analizowanej miejscowości jest wysoka ocena oferty kulturalnej (kina, koncerty, festyny). Kolejnym predyktorem jest pozytywna ocena warunków edukacyjnych. Dla miast często wizytówką jest komunikacja publiczna. Na podstawie wyników naszej analizy możemy stwierdzić, że im lepiej oceniam ten obszar życia, tym wyższe szanse na to, że będę promotorem mojej miejscowości . Pozostałe obszary (wypoczynek i rekreacja, bezpieczeństwo) mają mniejszy, choć pozytywny wpływ na skłonność do polecania swojej miejscowości. Z kolei infrastruktura drogowa jest w niewielkim stopniu związana z pierwszą funkcją – wartość współczynnika dyskryminacyjnego jest bliska 0.

Przyjrzyjmy się drugiej funkcji dyskryminacyjnej. Opisuje ona skłonność do negatywnych ocen, ponieważ różnicuje osoby o neutralnym nastawieniu od krytyków. Tutaj największe znaczenie ma ocena infrastruktury drogowej. W naszym przykładzie wysoka ocena tego obszaru nie ma wpływu na skłonność do polecania swojego miejsca zamieszkania, ale jest tym czynnikiem, który może złagodzić krytyczne oceny. Infrastruktura nie jest tym, co sprawi, że będziemy polecać daną miejscowość – w tym przypadku raczej łatwiej jest zauważyć wady niż zalety. Nie należy jednak o niej zapominać. Niskie oceny szybko wpłyną na negatywne nastawienie do miejsca zamieszkania.

Kolejne czynniki: bezpieczeństwo i możliwości wypoczynku są wyżej oceniane przez krytyków niż przez osoby obojętne i dlatego są ujemnie skorelowane z drugą funkcją dyskryminacyjną. Ten pozorny paradoks jest jednak w pewnym stopniu wytłumaczalny. Być może te czynniki są traktowane przez mieszkańców jako kwestie podstawowe, obowiązki, które samorząd musi spełnić. Jeżeli jesteśmy z nich zadowoleni, to wyostrza się nasz krytycyzm w stosunku do innych obszarów usług publicznych. Brak bezpieczeństwa i warunków do wypoczynku może powodować, że mieszkańcy obojętnieją na pozostałe, nawet pozytywne aspekty danego miejsca zamieszkania.

Analiza dyskryminacyjna – klasyfikacja i ocena jakości modelu

Na zakończenie poddajmy analizie jakość zbudowanego przez nas modelu. Najważniejszym elementem jest to, czy dobrze prognozuje on wartości zmiennej zależnej.

Rysunek 8. Jakość klasyfikacji na podstawie modelu

Powyższa tabela zestawia wartości przewidywane przez analizę dyskryminacyjną z oryginalnymi wartościami zmiennej przewidywanej. Na przekątnej (zaznaczonej kolorem zielonym) znajdują się przypadki sklasyfikowane poprawnie, poza nią przypadki sklasyfikowane błędnie. Przykładowo możemy z niej odczytać, że model poprawnie uznał 51 obserwacji za promotorów (92,7%) natomiast 4 respondentów z tej kategorii zostało sklasyfikowanych błędnie. Ogólnie model poprawnie zaprognozował wartości zmiennej przewidywanej dla 80,7% obserwacji co nie jest złym wynikiem.

Opisana w przypisie klasyfikacja krzyżowa nieco redukuje nasz optymizm (klasyfikacja dokonywana jest na podstawie modelu zbudowanego bez danej obserwacji). Niemniej jednak 77,3% poprawnych klasyfikacji nadal możemy uznać za dobry wynik na gruncie badań społecznych.

Rysunek 9. Wpływ poszczególnych zmiennych na model

Tabela równości średnich pozwala ocenić, które zmienne mają wpływ na proces klasyfikacji. Każda z nich poddawana jest znanemu z analizy wariancji testowi F (hipoteza: średnie dla danego predyktora obliczone w kategoriach zmiennej grupującej są sobie równe). Istotny wynik testu wskazuje na konieczność uwzględnienia danej zmiennej w modelu. Zaprezentowana tamże Lambda Wilksa mówi nam, jaki zakres zmienności danej zmiennej nie da się wytłumaczyć za pomocą przynależności do kategorii zmiennej jakościowej. Im jest ona bliższa 0 tym lepiej. W naszym przypadku wszystkie z wykorzystanych predyktorów istotnie wpływają na klasyfikację, więc pozostawiamy je w modelu.

Rysunek 10. Podsumowanie modelu

Zaprezentowana w tabeli wartość własna reprezentuje zakres zmienności wyjaśniany przez daną funkcję, jednak nie posiada dogodnej interpretacji. Pozwala ona jednak ustalić ważność poszczególnych funkcji dla modelu, pamiętając, że podstawą procentowania jest suma wartości własnych dla modelu a nie początkowy zakres zmienności. Funkcje ułożone są w niej malejąco według wartości własnych – czyli według znaczenia dla modelu. W naszym przykładzie 1 funkcja odpowiada za ponad 75% zmienności wyjaśnionej przez analizę. Z kolei korelacja kanoniczna jest równa współczynnikowi korelacji eta pomiędzy daną funkcją dyskryminacyjną a kategoriami zmiennej zależnej. Przyjmuje wartości od 0 do 1. Po podniesieniu do kwadratu mówi nam jaką część zmienności funkcji możemy wyjaśnić poprzez przynależność do poszczególnych kategorii zmiennej jakościowej. Im wartość korelacji jest wyższa, tym funkcja w lepszym stopniu jest skorelowana ze zmienną wyjaśnianą.

Rysunek 11. Lambda Wilksa dla funkcji dyskryminacyjnych

Zaprezentowana w powyższej tabeli Lambda Wilksa przyjmuje wartości od 0 do 1. Im jest niższa, tym funkcja lepiej różnicuje kategorie zmiennej zależnej. W tabeli testowana jest hipoteza, że wartość Lambdy jest równa 1 a niski poziom istotności powinien skłaniać nas do odrzucenia tej hipotezy. Co ważne, funkcje testowane są hierarchicznie. Najpierw testowany jest pełny model, następnie model bez pierwszej funkcji i tak kolejno,  aż do ostatniej możliwej funkcji dyskryminacyjnej. Pozwala to na ocenę, jaka liczba funkcji jest faktycznie istotna dla klasyfikacji, a które możemy pominąć bez szkody dla modelu.

W tym miejscu kończymy wpis dotyczący zastosowania analizy dyskryminacyjnej w badaniach satysfakcji. Pomaga ona w interpretacji zaobserwowanych zależności i pozwala uzupełnić analizę o ciekawą wizualizację. W łatwy sposób umożliwia również identyfikację przypadków, które z różnych przyczyn nie pasują do modelu. W połączeniu z możliwościami wizualizacyjnymi PS IMAGO PRO może być ona interesującym narzędziem wsparcia w procesie identyfikacji potrzeb i budowania rekomendacji podczas kształtowania polityk publicznych.

[1] Skala NPS mierzy skłonność do polecenia innym usługi lub firmy w skali od 0 do 10. Następnie  odpowiedzi grupowane są w 3 kategorie: krytyków(0-6), neutralnych (7-8) i promotorów (9-10). Szczegółowe informacje na stronie twórców: https://www.bain.com/

 [2] O założeniach oraz odporności analizy dyskryminacyjnej na ich naruszenia: M. Rószkiewicz, Analiza klienta, Kraków 2011, s. 94-95.