Jednoczynnikowa analiza wariancji (one-way ANOVA)

Analiza wariancji ma zastosowanie m.in. w przypadku badań społecznych i przyrodniczych, w medycynie jak i również w biznesie. W medycynie analiza wariancji pozwoli określić, która z testowanych metod leczenia jest najbardziej skuteczna. W biznesie natomiast można ją wykorzystać do porównywania, który materiał reklamowy budzi większe zainteresowanie wśród odbiorców, lub też w celu porównania jakości materiałów z kosztami, aby dowiedzieć się, który materiał powinien zostać zakupiony.

Czym jest jednoczynnikowa analiza wariancji

Jednoczynnikowa analiza wariancji – jak sama nazwa wskazuje – ma zastosowanie w przypadku analizy wpływu jednego czynnika na badaną zmienną zależną. Jednoczynnikowej analizy wariancji możemy użyć np. w celu weryfikacji, czy wyniki studentów z egzaminu różniły się w zależności od poziomu ich stresu przed egzaminem. Studentów podzieliśmy na trzy niezależne grupy np. o niskim, średnim i wysokim poziomie stresu.

W teście ANOVA hipoteza zerowa zakłada, że średnie arytmetyczne we wszystkich grupach są równe (nie występuje istotna statystycznie różnica między średnimi). Stosując ten test, badaczowi zazwyczaj zależy na odrzuceniu hipotezy zerowej i przyjęciu hipotezy alternatywnej. Jeśli wynik dla testu ANOVA jest istotny statystycznie przyjmujemy hipotezę alternatywną, która w tym przypadku pozwala uznać badaczowi, że wartość średnia przynajmniej jednej z grup różni się od pozostałych.

Warto zaznaczyć, że w tym tekście opisane jest podejście eksploracyjne, w którym to postawione hipotezy badawcze są hipotezami niekierunkowymi. Aby określić, które konkretne grupy różniły się od siebie, stosuje się testy post hoc, o których w dalszej części tekstu. W przypadku hipotezy kierunkowej, wskazującej, między którymi analizowanymi kategoriami mogą występować istotne statystycznie różnice posłużylibyśmy się tzw. analizą kontrastów.

Zastanówmy się nad samą nazwą testu. Jeśli w teście ANOVA porównujemy średnie między grupami to dlaczego w nazwie testu jest mowa o wariancji? Wynika to z konstrukcji testu jaki w tym celu wykonujemy. Test ten jest nazywany testem F lub czasami też testem F Fishera-Snedecora[1]. Test F ma postać ilorazu dwóch niezależnie oszacowanych wariancji. W liczniku testu F umieszczamy tzw. wariancję międzygrupową, a w mianowniku tzw. wariancję wewnątrzgrupową. Wariancja międzygrupowa to suma kwadratów różnic pomiędzy średnimi grupowymi (czyli średnimi danej zmiennej ilościowej w poszczególnych kategoriach predykatora) a średnią ogólną. Natomiast wariancja wewnątrzgrupowa to suma kwadratów różnic pomiędzy poszczególnymi wartościami zmiennej ilościowej a średnią obliczoną w odpowiednich grupach.

gdzie:

MS_MG – wariancja międzygrupowa

MS_WG – wariancja wewnątrzgrupowa

Wykres 1.Graficzne przedstawienie istotnych (A) oraz nieistotnych (B) statystycznie różnic między analizowanymi grupami w teście ANOVA

Przy testowaniu zmiennych zależy nam, aby wariancja wewnątrzgrupowa (różnice wewnątrz wyróżnionych kategorii czynnika) została zminimalizowana, a zwiększyła się wariancja międzygrupowa (różnice między wyróżnionymi grupami).

Założenia jednoczynnikowej analizy wariancji

Przystępując do wykonania jednoczynnikowej analizy wariancji, należy spełnić kilka założeń aby można było uznać, że otrzymane wyniki są prawdziwe:

1. Niezależność obserwacji. Dane zostały zebrane przy użyciu poprawnych metod badawczych i nie ma ukrytych zależności między obserwacjami. Niezależność obserwacji oznacza, że nie ma związku między obserwacjami w każdej grupie lub między samymi grupami. W każdej grupie są różni uczestnicy badania i żaden uczestnik nie należy do więcej niż jednej grupy. To założenie jest związane bardziej z realizacją projektu badawczego, niż z tym co można przetestować posiadając już zebrane dane, ale warto podkreślić, że jest to ważne założenie dla wielu testów statystycznych.
2. Zmienna zależna mierzona na skali ilościowej. Zmienna zależna powinna być zmienną ilościową (na poziom interwałowym lub ilorazowym).
3. Rozkład wyników w analizowanych grupach jest zbliżony do rozkładu normalnego. Poszczególne rozkłady w grupach powinny być zbliżone do rozkładu normalnego. Oceny tego założenia można dokonać stosując test Kołomogorowa-Smirnova lub Shapiro-Wilka. Kiedy założenie to nie jest spełnione i wyniki odbiegają znacząco od rozkładu normalnego, możemy również posłużyć się różnego rodzaju transformacjami danych, np. logarytmowaniem, potęgowaniem.
4. Równoliczność obserwacji w grupach. Poszczególne kategorie zmiennej niezależnej powinny być statystycznie równoliczne. Trzeba mieć na uwadze, że w tym założeniu nie chodzi o idealną równoliczność poszczególnych grup i niewielkie różnice między grupami są do przyjęcia. Aby sprawdzić, czy analizowane grupy różnią się istotnie statycznie pod względem liczebności, można zastosować test zgodności Chi-kwadrat.
5. Wariancje w grupach są jednorodne (homogeniczność wariancji). Zmienność w każdej porównywanej grupie powinna być podobna. Jeśli wariancje różnią się między grupami, to można zastosować test Welcha lub Browna-Forsythe'a, które wprowadzają poprawkę na nierówne wariancje do statystyki F. Można te testy stosować zamienienie, jednak test Welcha można uznać za bardziej konserwatywny i mający większą moc wykrywania różnic. Założenie o homogeniczności wariancji testujemy za pomocą testu Levene'a. Jeśli wynik testu Levene’a jest istotny statystycznie, oznacza to, że założenie o jednorodności wariancji nie jest spełnione.

Testy post-hoc

Analiza wariancji pozwala stwierdzić, czy między analizowanymi grupami występują istotne statystycznie różnice, ale nie testuje, które grupy różnią się między sobą. Dla przykładu, przeprowadzono test wiedzy dla trzech grup studentów. Analiza testem ANOVA wykazała, że między wynikami trzech grup studentów występują różnice, nie wiadomo jednak, które grupy mają taką samą średnią z testów, a które różnią się między sobą. Odpowiedź na te pytanie można uzyskać wykonują porównania a posteriori, za pomocą jednego z dostępnych testów. Testy te często są również nazywane testami porównań wielokrotnych lub testami post-hoc.

Istnieje wiele różnych testów post hoc, z których można skorzystać, najczęściej jednak przy testowaniu różnic wybieramy jeden test post-hoc. Jeśli dane spełniły założenie jednorodności wariancji, możemy użyć popularnego testu post hoc Tukey’a HSD (Honestly-Significant Difference). Jeśli dane nie spełniają założenia jednorodności wariancji, należy rozważyć przeprowadzenie analizy post hoc np. za pomocą testu Gamesa-Howella.

Przykład analizy

Poniżej w kilku punktach została przedstawiona kolejność postępowania w jednoczynnikowej analizie wariacji.

1. Sprawdź założenia dla testu ANOVA. Jeśli założenia nie są spełnione, np. rozkłady analizowanych grup nie są zbliżone do rozkładu normalnego, to spróbuj przekształcić dane (w zależności od rozkładu można użyć logarytmowania, pierwiastkowania itp.), sprawdź czy nie występują przypadki odstające, jeśli grupy nie są równoliczne, dokonaj balansowania rozkładu. Jeśli nie jest spełnione założenie o jednorodności wariancji, a pozostałe założenia są spełnione, to można wykonać test Welcha lub Browna-Forsythe'a. Jeśli założenia nie są spełnione, to zastosuj nieparametryczny odpowiednik testu ANOVA, tj. test Kruskala-Wallisa.
2. Wynik testu F jest nieistotny statystycznie. W takiej sytuacji należy podać wynik jednoczynnikowej analizy wariancji, np. „Jednoczynnikowa analiza wariancji nie wykazała statystycznie istotnych różnic między średnimi grupowym (F(2,27)=1,397, p=0,15)”. Raportując wynik testu F możemy posłużyć się proponowanym przez APA (American Psychological Association) standardem zapisu tego testu, gdzie w nawiasie najpierw podajemy stopnie swobody (df) dla wariancji międzygrupowej, a następnie dla wariancji wewnątrzgrupowej. Następnie podajemy wartość statystyki F oraz wartość poziomu istotności. Warto pamiętać, że brak wyniku istotnego statystycznie nie oznacza, że nie należy podawać średnich dla poszczególnych grup oraz odchyleń standardowych. Jednak przeprowadzenie testu post-hoc zwykle nie jest uzasadnione i nie powinno być stosowane.
3. Wynik testu F jest istotny statystycznie. Jeśli wynik jest istotny to nie jest to koniec analizy. Jak na razie wiemy, że przynajmniej jedna średnia różni się istotnie statystycznie od pozostałych, ale nie wiemy która. Aby to sprawdzić należy wykonać test post-hoc.
4. Test post-hoc. W celu sprawdzenia, które średnie grupowe różnią się istotnie statystycznie między sobą, należy wykonać test post-hoc. W przypadku spełniania założenia o jednorodności wariancji możemy użyć jednego z testów np. test Scheffe, Tukey’a HSD, Bonferroniego. Jeśli założenie o homogeniczności wariancji nie jest spełnione, można wybrać np. test Gamesa-Howella, C Dunnetta lub T2 Tamhane'a.
5. Obliczenie siły efektu. Do tej pory nasz wniosek jest taki, że średnie nie są równe oraz po analizie testem post-hoc wiemy, między którymi grupami są istotne statystycznie różnice. Dla uzupełnienia warto również podać siłę efektu. W przypadku jednoczynnikowej analizy wariancji miarą siły efektu jest współczynnik eta-kwadrat, który możemy zapisać jako eta² lub η². Pozwala on określić siłę związku między zmienną niezależną a zmienną zależną lub ujmując to w sposób bardziej statystyczny, jaka proporcja całkowitej wariancji zmiennej zależnej wyjaśniana jest przez badany efekt.
6. Opisanie wyników oraz interpretacja. Raportując wyniki analizy wariancji warto dołączyć krótki opis testowanych zmiennych, wartość testu F, stopnie swobody oraz wartości poziomu istotności dla każdej zmiennej niezależnej. Z uwagi na czytelność wyników warto również wyniki dla statystyk opisowych przedstawić w tabeli, a na wykresie zaprezentować różnice średnich dla poszczególnych analizowanych kategorii.

Poniżej opis wyników dla przykładu dotyczącego wyników studentów a stresem przed egzaminem.

„W celu zweryfikowania, czy poziom stresu studentów przed egzaminem wpływa istotnie statystycznie na jego wyniki, zastosowano jednoczynnikową analizę wariancji. W wyniku analizy uzyskano istotny statystycznie efekt zmiennej poziom stresu: F(2,27) = 73,90; p<0,001. Porównania post-hoc za pomocą testu Tukey’a HSD wykazały istotne statystycznie różnice między wszystkimi grupami (p<0,001).

Najlepszy wynik egzaminu uzyskiwali studenci, u których poziom stresu był niski (M=91,2; SD=6), niższe wyniki otrzymali natomiast studenci zaliczani do grupy osób o średnim poziomie stresu przed egzaminem (M=79,5; SD=6,2). W przypadku ostatniej grupy, deklarującej wysoki poziom stresu, ich wyniki egzaminu były najniższe (M=48,2; SD=11,2).

Na podstawie uzyskanych wyników można dojść do wniosku…”

Wykres 2. Poziom stresu a średni wynik egzaminu wraz z 95% przedziałem ufności

ANOVA – podsumowanie

Jednoczynnikowa analiza wariancji jest testem, który pozwala określić, czy między porównywanymi grupami predyktora a zmienną zależną występują istotne statystycznie różnice. Warto pamiętać, iż ten test stosujemy, gdy porównywanych grup jest przynajmniej trzy, a zmienna zależna jest zmienną mierzoną na skali ilościowej. Jednoczynnikowa analiza wariancji jest tzw. testem omnibusowym, który pozwala stwierdzić, że występują różnicę w porównywanych średnich, ale nie wskazuje między którymi. W tym celu, jeśli wynik testu F okaże się istotny statystycznie, możemy posłużyć się testami post-hoc, które pozwalają zbadać, między którymi średnimi występują różnice. Należy również pamiętać przed zastosowaniem testu ANOVA o tym, aby sprawdzić założenia dla tego testu, gdyż ich niespełnienie może powodować błędne wyniki.

[1] Nazwa „F” została zaproponowana przez George'a W. Snedecora na cześć Sir Ronalda A. Fishera. Fisher w latach dwudziestych XX wieku początkowo opracował tę statystykę.