Badania kwotowe w PS QUAESTIO PRO, czyli jak okiełznać Internet - cz. 2

W pierwszej części artykułu na temat zasad i możliwości wykorzystania mechanizmu kwotowego doboru respondentów, nauczyliśmy się jak prawidłowo przygotować prostą tabelę kwotową oraz gdzie umieścić predefiniowany skrypt naliczający kwoty. Teraz przejdziemy do kolejnego etapu, czyli aktywacji projektu.

Aktywacja projektu badawczego z włączoną opcją Quota control

Utworzony za pomocą programu Quota plik .mqd musi zostać zapisany w odpowiedniej lokalizacji. Program domyślnie  zapisuje plik kwoty .mqd w folderze zawierającym elementy szablonu czyli _files. Jeśli zapiszemy plik .mqd w innej lokalizacji to mechanizm aktywacyjny nie będzie w stanie zlokalizować pliku i uzna, że jest niedostępy.

Po przygotowaniu pliku kwoty możemy przystąpić do uruchomienia procesu aktywacyjnego badania. Zaznaczamy checkbox Use quota control znajdujący się w dolnej części okna Project (sekcja Options).

Teraz po lewej stronie okna aktywacyjnego, pojawi się dodatkowa gałąź Quota. Podczas pierwszej aktywacji projektu wykorzystującego mechanizm kwotowy, jedyną dostępną opcją będzie Create new quota database.

Podczas pierwszej tego typu aktywacji, w bazie danych tworzona jest specjalna tabela o nazwie identycznej jak aktywowany projekt. Przy każdej kolejnej próbie, program zaznaczał będzie domyślnie opcję Use existing quota database (sugerując ponowne wykorzystanie tabeli utworzonej podczas pierwszej aktywacji). Niemniej aktywna stanie się również opcja Create new quota database.

UWAGA! Ponowne wybranie tej opcji już w trakcie trwania badania, nadpisze wszystkie dotychczas naliczone wartości kwotowe. Dlatego nie należy wykonywać tej czynności jeśli nie jest to absolutnie konieczne.

To rozwiązanie może wydać się utrudnieniem, ale dzięki temu każdy inny projekt może wykorzystać istniejącą w bazie danych tabelę założoną na potrzeby obecnego badania. Jest to szczególnie przydatne w sytuacji, gdy chcemy aby kilka projektów badawczych naliczało wspólne kwoty (np. różne warianty tej samej ankiety). W zależności od sytuacji możemy wykorzystać trzy różne ustawienia opcji Use existing quota database, są to:

1. Do not update the quota definitions on the server – zaznaczenie tej opcji spowoduje wyłącznie przypisanie wybranej przez nas bazy tabeli kwotowej do aktywowanego projektu. Bieżący plik kwoty .mqd nie zostanie uwzględniony w procesie aktywacji. Sytuacja taka będzie miała miejsce najczęściej podczas aktualizacji kwestionariusza, w której dokonywane zmiany będą miały charakter symboliczny (niewpływający na postać kwoty). Przykładowo będzie to modyfikacja kolejności pytań, literówki itp.;
2. Publish new quota definitions, but do not update existing quotas – w tym przypadku wszystkie naliczone do tej pory wartości kwot pozostają w niezmienionej postaci. Nowe tabele, które np. dodaliśmy w późniejszym czasie, zostaną dodane i udostępnione do wykorzystania w postaci zdefiniowanej w pliku .mqd. Opcja jest przydatna w sytuacji, gdy badanie jest już w trakcie realizacji i przygotowane w pierwotnej wersji tabele kwotowe zostały już częściowo wypełnione przez respondentów. Z drugiej strony wprowadzenie nowych warunków może wymagać od badacza ręcznego ich uzupełnienia. Jeżeli w pierwszej wersji pliku .mqd bazowaliśmy tylko na pytaniu o płeć, a w kolejnej chcemy dodać również wielkość miejscowości, z której pochodzi respondent, to konieczne będzie manualne zaktualizowanie wartości tabeli dla respondentów, którzy wypełniali ankietę przed dokonaniem przez nas modyfikacji. (O tym jakie możliwości otrzymuje użytkownik w zakresie modyfikacji tabel kwotowych, napiszę w dalszej części artykułu);
3. Update quota with changes made in the project's mqd file – jeżeli na etapie testowania dokonujemy zmiany zawartości pliku .mqd, a nie zależy nam na wartościach zapisanych do tej pory w bazie danych kwoty, to zaznaczenie tego parametru nadpisze w całości jej zawartość (bazując na pliku .mqd). Opcja działa analogicznie jak Create new quota database.

Tyle tytułem wyjaśnienia. My natomiast pozostawiamy domyślnie zaznaczoną opcję Create new quota database i naciskamy klawisz Activate. Teraz wystarczy już tylko poczekać, aż projekt w całości zostanie umieszczony na serwerze. W trakcie trwania procesu aktywacji warto jest zweryfikować, czy w okienku podsumowującym status projektu, parametr Use Quota, posiada wartość True.

Monitoring procesu gromadzenia danych – kontrola i modyfikacja wartości kwot

Bezpośrednio po zakończeniu procesu aktywacji, do obszaru zarządzania badaniem w sekcji Manage zostaje automatycznie dodana nowa opcja Quotas.

Po kliknięciu na przycisk Quotas, w lewej części okna przeglądarki znajdują się wszystkie utworzone tabele kwotowe, a także wyrażenie zbudowane za pomocą opcji Expression Quotas (domyślna nazwa, której nie można zmodyfikować to Expressions).

Jak widać na rysunku powyżej, każdy z obiektów jest identyfikowany po nazwie własnej. W związku z tym warto, aby każda z tabel była nazwana przez badacza w taki sposób, by również inni użytkownicy systemu PS QUAESTIO PRO byli w stanie domyślić się jaki obszar kontroluje. Wybranie dowolnego z obiektów powoduje wyświetlenie następujących informacji:

• daty umieszczenia lub aktualizacji danej kwoty na serwerze;
• nazw zmiennych wraz z treścią pytania, na bazie których będą naliczane kwoty;
• wartości limitów ustalonych przez badacza oraz sposobu naliczania;
• bieżącej wartości kwot naliczonych (Complete) lub będących w trakcie naliczania (Pending) - również w ujęciu procentowym;
• obowiązującego rodzaju priorytetu (tę własność omówię szczegółowo w dalszej części artykułu).

Pozwala to zweryfikować czy umieszczony przez nas w ankiecie skrypt (opisany przeze mnie w poprzednim artykule działa prawidłowo i zgodnie z naszymi założeniami inkrementuje komórki tabeli plec.

UWAGA! Pamiętajmy, że zmiany w poszczególnych komórkach możemy zaobserwować jedynie dla tabel kwotowych, które zostały dodane do skryptu naliczającego.

Przyjrzyjmy się teraz opcji Edit (widocznej na poprzednim zrzucie ekranu), która odpowiada za to, w jakim stopniu możemy modyfikować zawartości poszczególnych kwot. I tak odpowiednio:

• Do Not Edit – umożliwia jedynie podgląd poszczególnych komórek kwotowych (opcja domyślna),
• Targets – pozwala na modyfikację jedynie ustalonych przez badacza limitów,
• All – zakres zmian dotyczy wszystkich dostępnych wartości tabeli kwotowej,
• Prioritization – umożliwia nadawanie priorytetów, a co za tym idzie pozwala kontrolować kolejność naliczania poszczególnych komórek tabeli kwotowej. Priorytetyzacja odnosi się przede wszystkim do kwot bazujących na pytaniach wielokrotnego wyboru.

Zagadnienie priorytetyzacji wymaga wyjaśnienia. Przykładowo, gdy kwota bazuje na pytaniu wielokrotnego wyboru, zaznaczenie przez respondenta kilku odpowiedzi jednocześnie może zwiększać wartość kwoty nawet dla wszystkich komórek tabeli jednocześnie (jeżeli respondent zaznaczył wszystkie dostępne kategorie). Aby uniknąć tego typu sytuacji, dla których powinno istnieć merytoryczne uzasadnienie, mamy możliwość wcześniejszego ustalenia zasady naliczania, według jednej z dostępnych w systemie metod.

Każdorazowa zmiana wartości lub modyfikacja jakiejkolwiek opcji w obszarze Quotas wymaga potwierdzenia przez użytkownika za pomocą klawisza Update. Jest to związane bezpośrednio z faktem, że wszystkie wprowadzane przez nas lub innego użytkownika zmiany są zapisywane tylko w bazie danych. Natomiast nie jest w żaden sposób modyfikowany plik kwoty .mqd. Warto pamiętać o tym fakcie, gdyż zdarza się podczas realizacji projektu badawczego, że dokonujemy pewnych korekt w obszarze naliczania tabel kwotowych. W efekcie mogą powstać rozbieżności pomiędzy plikiem .mqd, a tabelą kwotową w bazie danych.

Wszystkie opcje związane z bezpośrednią kontrolą nad kontami użytkowników znajdują się w menu Tools -> User Administration.

W ramach jednej z dostępnych funkcji o nazwie Activities mamy możliwość ustalenia zakresu uprawnień do znajdujących się w Quotas opcji.

O ile modyfikacja kwot powinna zawsze pozostać w rękach osoby bezpośrednio odpowiedzialnej za dany projekt badawczy, to już bieżący podgląd poziomu wypełnienia poszczególnych tabel kwotowych, może być udostępniony szerszemu gronu odbiorców (przełożeni, współpracownicy, klienci itp.).

Podsumowanie

Podsumowując temat realizacji badań kwotowych techniką CAWI chciałbym zwrócić uwagę na jeszcze jeden, kluczowy element. Znaczenie badań on-line systematycznie rośnie. Wynika to z dużej „dostępności” respondentów (w 2019 z Internetu korzystało 73% Polaków i 94 % przedsiębiorstw), jak i z niskich kosztów i szybkości realizacji badania.

Wzbogacenie projektu badawczego o mechanizm walidacyjny tylko podniesie rangę i jakość uzyskanych wyników – więc do dzieła!