Załaduj kalendarz
KALENDARIUM
Poprzedni Październik 2017 Następny
Ni Po Wt Śr Cz Pi So
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31 1 2 3 4
Ukryj kalendarium

Ewaluacja krok po kroku

CO WYNIKA Z BADANIA EWALUACYJNEGO? Analiza danych oraz wnioskowanie

cytat_5_2







Na opracowanie danych zebranych w toku badania należy przeznaczyć dostatecznie dużo czasu, ponieważ ich staranna i pogłębiona analiza zaprocentuje w postaci wiarygodnych wniosków. Prowadząc analizę informacji pozyskanych zgodnie z zasadą triangulacji, należy zestawiać dane pochodzące z różnych źródeł (zebrane odmiennymi metodami) w celu ich uzupełnienia i zweryfikowania. Analiza danych ma na celu nie tylko opisanie uzyskanych wyników, ale również ich ocenę oraz interpretację, czyli skomentowanie poprzez odniesienie się do szerzej wiedzy na temat przedmiotu ewaluacji. Dlatego też jednym z warunków udanej ewaluacji jest dobra znajomość jej tematyki. Analiza wyników badania obejmuje także poszukiwanie zależności przyczynowo-skutkowych, które pomagają zrozumieć stwierdzone zjawiska poprzez wskazanie ich powodów i konsekwencji.

Wykorzystywanie różnych metod badawczych wiąże się z gromadzeniem dwóch typów danych – ilościowych oraz jakościowych. Dane ilościowe mają postać liczbową. Dzięki standaryzacji (polegającej m.in. na tym, że podczas sondażu wszyscy respondenci odpowiadają na te same pytania przy pomocy zestawów tych samych odpowiedzi), są one bardziej jednolite i łatwiejsze do porównywania, niż dane jakościowe, które występują w postaci tekstowej. Wywiady indywidualne i pogłębione zakładają pełną swobodę wypowiedzi, których porównanie jest pracochłonne i skomplikowane.

Czynności analityczne, którym poddajemy dane ilościowe oraz jakościowe są takie same i polegają na redukowaniu ich liczby, przedstawieniu wyników w spójnej formie oraz wyciągnięciu wniosków. Ograniczenie liczby danych ilościowych następuje poprzez obliczenie np. odsetków czy średnich, a danych jakościowych w drodze selekcji istotnych treści, uogólniania i podsumowywania.

Analiza ilościowa przebiega sekwencyjnie – jej kolejne etapy występują w ustalonej kolejności, bez możliwości powrotu do wcześniejszej fazy. Jeżeli po przeprowadzeniu analizy statystycznej stwierdzimy, że nie mamy pełnych danych, nie możemy powrócić do ich gromadzenia i np. zrobić kilka dodatkowych ankiet, które będą zawierały brakujące lub zadane w innej formie pytania. Dlatego staranne opracowanie ankiety, skontrolowanie jej zawartości, pilotaż (czyli próbna realizacja na małej próbie) są tak istotne w badaniach ilościowych.


schemat_12






Z kolei analiza jakościowa przebiega cyklicznie – poszczególne jej fazy wzajemnie się przeplatają. Dzięki elastyczności metod jakościowych możliwy jest powrót do etapu badania i przeprowadzenie dodatkowych wywiadów, czy obserwacji w przypadku odkrycia braku informacji lub potrzeby potwierdzenia danych wniosków.


schemat_13













Przed rozpoczęciem analizy oceniamy poprawność i kompletność danych. Jeśli jakieś informacje wymagają potwierdzenia, weryfikujemy je w drodze triangulacji. Następnie przystępujemy do kodowania danych, które polega na porządkowaniu i klasyfikowaniu uzyskanych informacji w sposób umożliwiający ich dalsze przetwarzanie.

Kodowanie danych ilościowych zebranych przy pomocy kwestionariuszy w wersji papierowej, polega na przypisaniu odpowiedziom respondentów ustalonych wartości liczbowych, które zostaną wprowadzone do arkusza kalkulacyjnego (np. tak=1, nie=0, nie wiem=3). Odpowiedzi na pytania otwarte lub półotwarte (w kategorii „inne, jakie?”) na ogół zamieszczamy w bazie danych w dosłownym brzmieniu, a potem grupujemy w bardziej ogólne kategorie. W przypadku wykorzystania technik wspomaganych komputerowo kodowanie następuje automatycznie. Po zakodowaniu danych przeprowadzamy analizy statyczne, dzięki którym możemy poznać skalę (częstość występowania) danego zjawiska, a także zbadać zależności pomiędzy różnymi zmiennymi np. poglądami i pewnymi cechami respondentów, takich jak ich wiek, płeć, poziom wykształcenia, miejsce zamieszkania i zatrudnienia, pełniona funkcja, czy staż pracy.

Specyfika danych jakościowych, które przyjmują postać rozbudowanych wypowiedzi, sprawia, że ich analiza ma charakter subiektywny. W znacznym stopniu bazuje na doświadczeniu prowadzącej ją osoby. Analizami statystycznymi rządzą ścisłe reguły, toteż ich wyniki nie są w takim stopniu uzależnione od konkretnego analityka. Różnice w obliczeniach średnich czy odsetków wykonanych przez inne osoby świadczą o błędach kalkulacyjnych. Tymczasem w analizie jakościowej dopuszczalne są różne interpretacje wyników. W celu zwiększenia obiektywizmu analiz jakościowych zaleca się ich prowadzenie przez więcej, niż jedną osobę.

Analiza danych jakościowych zebranych podczas wywiadów składa się z kilku etapów. Najczęściej rozpoczynamy ją od sporządzenia transkrypcji, czyli spisania treści nagrania. Następnie kodujemy dane zgodnie z odgórnie ustaloną przez badacza listą kategorii, lub tworzymy je po uprzednim zapoznaniu się z całością zebranego materiału. Kodowanie jakościowe polega na przyporządkowaniu fragmentów transkrypcji do wyróżnionych kategorii. Proces ten można porównać do wkładania do szufladek z odpowiednimi etykietkami (kodami) urywków tekstu (wypowiedzi respondentów). W efekcie każdy fragment wywiadu odnoszący się do danego zagadnienia zostaje zakodowany w ten sam sposób, co ułatwia znalezienie w transkrypcjach wszystkich treści włączonych do poszczególnych kategorii i organizuje dalszą analizę. Uporządkowanie kodów (np. w hierarchiczny sposób) umożliwia porównywanie i rozpatrywanie związków pomiędzy danymi kategoriami. Przeniesienie zakodowanych informacji do zbiorczej matrycy (tabeli) ułatwia analizowanie powiązań pomiędzy opiniami respondentów i ich cechami. Poszukiwanie elementów, które są dla nich wspólne, bądź je różnicują, doprowadzi nas do sformułowania określonych wniosków.

schemat_14





Wyniki uzyskane w efekcie przeprowadzonych analiz ilościowych i jakościowych wskazują na wystąpienie pewnych zjawisk/faktów, zaś wnioski są ich interpretacją i oceną w odniesieniu do pytań badawczych. Wyniki są przetworzonymi informacjami pochodzącymi z różnych źródeł, natomiast wnioski mają charakter ogólniejszych twierdzeń i stanowią podsumowanie całego procesu badawczego. Umożliwiają udzielenie odpowiedzi na pytania badawcze oraz ustosunkowanie się wobec kryteriów ewaluacyjnych. Podczas formułowania wniosków należy uwzględnić warunki prowadzenia badania, które mogą prowadzić do ograniczeń we wnioskowaniu. Jeśli np. stopień zwrotu ankiet był niski, wnioski wyciągnięte na tej podstawie będą mało wiarygodne. Nie przedstawiamy wniosków nie popartych rzetelnymi danymi. Jeżeli nie jesteśmy pewni jakiegoś wniosku, formułujemy go w ostrożny sposób (np. używając określeń „prawdopodobnie”, „być może”).

Warunkiem uogólniania wyników z próby na populację jest posłużenie się metodami ilościowymi i doborem losowym, który zapewnia reprezentatywność próby. W przeciwnym razie uzyskane wnioski odnoszą się wyłącznie do przebadanych osób. Nie wolno też utożsamiać współwystępowania (korelacji) zjawisk z ich związkiem przyczynowo-skutkowym. Wzajemne powiązanie zmiennych nie musi świadczyć o tym, że jedna z nich powoduje drugą.



Drukuj
Mapa dojazdu
Regionalny Ośrodek Polityki Społecznej w Krakowie

30-070 Kraków; ul. Piastowska 32
tel./ fax: (+48 12) 422 06 36
e-mail: biuro@rops.krakow.pl