Załaduj kalendarz
KALENDARIUM
Poprzedni Październik 2017 Następny
Ni Po Wt Śr Cz Pi So
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31 1 2 3 4
Ukryj kalendarium

Ewaluacja krok po kroku

CZEGO UNIKAĆ? Najczęstsze błędy w ewaluacji

cytat_6






Nie zawsze można się ustrzec od pewnych potknięć podczas prowadzenia ewaluacji. Każda z nich uczy nas czegoś nowego i niemal przy każdej napotykamy na różnego rodzaju trudności. Wielu porażkom można jednak zapobiec, nie popełniając następujących błędów:

  • brak koncepcji ewaluacji - rozpoczynanie pracy od stworzenia ankiety, bez określenia celu ewaluacji, kryteriów i pytań ewaluacyjnych;
  • brak planu ewaluacji – harmonogramu prac i podziału zadań;
  • zbyt szeroki zakres ewaluacji w stosunku do założonego czasu realizacji i budżetu;
  • niestosowanie triangulacji – uwzględnienie pojedynczego źródła informacji, prowadzenie badania ewaluacyjnego z wykorzystaniem tylko jednej metody/narzędzia badawczego, najczęściej kwestionariusza ankiety;
  • niepoprawne sformułowanie/zbyt duża liczba pytań badawczych – np. kilkadziesiąt świadczy o ich nadmiernej szczegółowości (zazwyczaj są to pytania, które powinny się znaleźć w narzędziach badawczych);
  • niepoprawnie dobrane kryteria np. niedostosowane do rodzaju ewaluacji, niemożliwe do oszacowania;
  • błędy metodologiczne, np. niewłaściwie dobrane metody i próby badawcze, źle zidentyfikowanie źródła informacji;
  • niepoprawnie sformułowane pytania w narzędziach badawczych – zgodnie z zasadą „jakie pytanie, taka odpowiedź”, błędy te prowadzą do nierzetelnych wyników;
  • błędy w konstruowaniu narzędzi badawczych:
    • niewłaściwa liczba pytań – zbyt mała lub za duża (brak możliwości zebrania niezbędnych informacji, bądź „przeładowanie” narzędzia wiążące się z ryzykiem udzielania machinalnych odpowiedzi i zbierania nierzetelnych informacji);
    • pytania niedostosowane do respondenta - nieadekwatne jego sytuacji, zakładające posiadanie wiedzy, której nie ma;
    • operowanie językiem niezrozumiałym dla respondenta - stosowanie skrótów i terminów, które nie są mu znane;
    • pytania nadmiernie długie, wielokrotnie złożone, za trudne - np. o zbyt wysokim poziomie ogólności;
    • pytania typu „2 w 1” - o kilka rzeczy naraz, nie wiadomo na które z nich respondent ma odpowiedzieć (np. czy wzrosła Twoja wiedza i umiejętności?);
    • powtarzające się pytania lub schematyczny sposób ich zadawania i udzielania odpowiedzi (stosowanie tego samego wzorca w kilku kolejnych pytaniach, zamiast posłużenia się tabelą, zawierającą wspólne kategorie odpowiedzi);
    • brak pytań filtrujących - pozwalających omijać pytania nie dotyczące badanego;
    • brak jednoznacznej perspektywy czasowej - nie wiadomo do jakiego przedziału czasowego respondent ma się odnieść (np. czy w ostatnim czasie…?);
    • stosowanie negacji - nie wiadomo w jaki sposób należy odpowiedzieć na tak postawione pytanie (np. czy jesteś przeciwko…?, czy nie należy…? nie wolałbyś…?);
    • pytania niejednoznaczne np. jak oceniasz materiały dydaktyczne? (nie wiadomo jaki aspekt należy ocenić – jakość graficzną czy merytoryczną materiałów);
    • pytania sugerujące - skłaniające do udzielania społecznie akceptowanych odpowiedzi (np. czy jesteś za, popieranym przez innych…?);
    • niesymetryczna skala zawierająca nierównoważną liczbę wskazań pozytywnych i negatywnych;
    • skala o nierównych odległościach pomiędzy poszczególnymi wartościami;
    • kafeterie niewyczerpujące możliwych odpowiedzi lub nierozłączne (dana odpowiedź mieści się w więcej niż jednej kategorii).
  • realizacja badania w nieodpowiednim czasie – zbyt późno, kiedy już zapadły istotne decyzje, lub za wcześnie (określone działania nie zostały jeszcze podjęte);
  • powierzchowna analiza danych, omawianie wyników ilościowych oraz jakościowych bez ich zestawiania i porównywania;
  • zliczanie wypowiedzi respondentów FGI/IDI – w przypadku metod jakościowych opinie większej liczby osób nie są istotniejsze od zdania mniejszości; kluczowe jest ich zróżnicowanie;
  • nieprawidłowe użycie cytatów – wstawianie do raportu bardzo obszernych fragmentów wywiadów bez ich analizy i interpretacji, lub bardzo krótkich, wyrwanych z kontekstu wypowiedzi w celu udowodnienia jakiejś tezy. Cytaty muszą być powiązane z opisywaną kwestią, stanowić jej ilustrację lub uszczegółowienie. Nie ma też sensu relacjonować stwierdzeń respondentów przy pomocy tych samych słów, które zostały użyte w cytacie, ponieważ nie wnosi to nowych treści;
  • niezapewnienie poufności i anonimowości – zamieszczenie w raporcie informacji, które umożliwiają przypisanie danych wypowiedzi konkretnym respondentom;
  • niedostatki raportu ewaluacyjnego:
    • brak kluczowych informacji na temat koncepcji ewaluacji, kwestii metodologicznych (np. stopnia realizacji prób badawczych, ich reprezentatywności);
    • brak omówienia danych zamieszczonych na wykresach i w tabelach;
    • podawanie odsetków, zamiast liczebności w przypadku mało licznych prób (w odniesieniu do wyników ilościowych);
    • brak interpretacji wyników (wyjaśnienia o czym one świadczą);
    • koncentrowanie się na mocnych stronach przedmiotu ewaluacji z pominięciem stron słabszych, wymagających modyfikacji (tworzenie „laurek”) lub wręcz przeciwnie – skupianie się na negatywach, pomijanie pozytywów (tworzenie „wilczych biletów”).
  • niepoprawne wnioskowanie lub brak wniosków – brak podsumowania wyników, mylenie ich z wnioskami, formułowanie konkluzji nie wynikających z uzyskanych danych lub opartych na nierzetelnych informacjach (np. przy niskiej stopie zwrotu odpowiedzi), opieranie się podczas wnioskowania na własnym mniemaniu i subiektywnych ocenach, nieuprawnione przypisywanie wynikom reprezentatywności;
  • brak rekomendacji lub ich niepoprawne sformułowanie - zbyt ogólne zalecenia, niemożliwe do wdrożenia, nie zaadresowane, nie uzgodnione z adresatami, bez terminu realizacji, mylone z wnioskami;
  • niewykorzystanie wyników ewaluacji, niewdrażanie rekomendacji;
  • brak zrozumienia, czemu ma służyć ewaluacja.


    ramka_7


Drukuj
Mapa dojazdu
Regionalny Ośrodek Polityki Społecznej w Krakowie

30-070 Kraków; ul. Piastowska 32
tel./ fax: (+48 12) 422 06 36
e-mail: biuro@rops.krakow.pl