SPOŁECZNOŚĆ    login: hasło: zapamiętaj: REJESTRACJA | NEWSLETTER
czwartek, 21 września 2017 roku
Imieniny: Darii, Mateusza, Wawrzyńca
regioportal.pl - rozwój lokalny i regionalny
dodaj do ulubionych podyskutuj na forum mapa portaluformularz kontaktowy
SZUKAJ W:  tekstach
szukana fraza:
występująca w:
w dziale:
autor:
sortuj według:
znajdujesz się w:
poniedziałek, 3 maja 2010

Ewaluacja to żadna wiedza tajemna

opracowanie: Piotr Siłka
polecany:  
  • aktualna ocena: 2.73/6
Facebook Twitter drukuj artykuł do PDF drukuj artykuł wyślij link do artykułu
rozmiar tekstu: powiększ czcionkę tekstu pomniejsz czcionkę tekstu

"Ewaluacja to więc sztuka a jednocześnie rzemiosło. Sztuką jest stawianie właściwych pytań - konkretnych, logicznych a jednocześnie przydatnych tym, którzy będą czytali raport. Sztuką jest też umiejętność dialogu, współpracy zarówno w zespole badawczym jak i z instytucją zlecającą badanie i interesariuszami danego programu. Rzemiosłem jest natomiast zbieranie danych, prowadzenie analiz." - zapraszamy do lektury wywiadu z dr Karolem Olejniczakiem, kierownikiem Akademii Ewaluacji prowadzonej w Centrum Europejskich Studiów Regionalnych i Lokalnych Uniwersytetu Warszawskiego.

Piotr Siłka: Czym jest ewaluacja danego projektu, przedsięwzięcia? Jakie rodzaje ewaluacji są stosowane obecnie?
dr Karol Olejniczak: Ewaluacja to - ujmując najogólniej - systematyczne wykorzystywanie badań społeczno-ekonomicznych do krytycznej refleksji nad wartością i jakością danej interwencji publicznej - zarówno procesów jej wdrażania jak i skutków.To po prostu narzędzie uczenia się oparte na stawianiu pytań ważnych dla skuteczności danego projektu, weryfikowaniu tych pytań za pomocą metod badawczych oraz przedstawianiu wniosków i rekomendacji.
Wyróżniamy trzy podstawowe typy ewaluacji, w zależności od tego w jakim momencie trwania danej interwencji podejmowana jest refleksja. Pierwszy typ to ewaluacja ex ante (wstępna), która jest wykonywana zanim jeszcze rozpoczęliśmy projekt czy program. Typ drugi to ewaluacja bieżąca, w trakcie wdrażania danej interwencji, zaś trzeci typ to ewaluacja ex post (końcowa), wykonywana po zakończeniu danego programu czy projektu.
Czy rzeczywiście ewaluacja jest przydatna, lepsza np. od zwykłej oceny?
Podstawowa różnica jest taka, że prowadząc badania ewaluacyjne nie zawsze "oceniamy". Wszystko zależy od pytań, które postawimy w badaniu, te zaś zależą od momentu w którym podejmujemy nasze badanie. I tu wracamy do typów ewaluacji. Nieco upraszczając, trzem głównym typom czasowym ewaluacji dopowiadają jej trzy główne funkcje - pomoc w planowaniu, wdrażaniu i ocenie efektów. Może wyjaśnię to odwołując się do przykładów pytań ewaluacyjnych.
Ewaluacje ex ante pomagają zaplanować polityki, programy a nawet projekty zanim zostaną rozpoczęte. Czy granty dla małych i średnich przedsiębiorstw są dobrym sposobem wspierania innowacji w Polsce? Czy planowane w Polsce inwestycje infrastrukturalne wzajemnie się uzupełniają tworząc sieć, czy też układają się w przypadkowy wzór? Czy cykle szkoleń dla osób poszukujących pracy zminimalizują problem bezrobocia w gminie X? Odpowiedzi na takie pytania racjonalizują planowanie działań publicznych i pomagają uniknąć nadmiernych kosztów nieprzemyślanych decyzji.
Ewaluacje bieżące pomagają identyfikować i rozwiązywać problemy we wdrażaniu. Czy uczestnicy szkoleń są zadowoleni ze sposobu i zawartości merytorycznej zajęć? Dlaczego w regionie X tak mało firm aplikowało o środki unijne? Jakie są przyczyny opóźnienia w płatnościach w danych programie? Wnioski i rekomendacje z takich badań pomagają menedżerom programów poprawić bieżącą płynność i jakość realizowanych działań.
Wreszcie ewaluacje ex post poszukują i analizują rzeczywiste efekty zakończonych już działań. Czy po roku od zbudowania obwodnicy miasto rzeczywiście zostało odciążone? Czy uczestnicy konsultacji nt. rozpoczynania działalności gospodarczej spróbowali założyć firmy? Czy wprowadzenie "zielonych strzałek" rzeczywiście poprawiło płynność ruchu na skrzyżowaniach, czy też może zwiększyło wypadkowość? Przy analizie efektów jest też miejsce na szerszą naukę - weryfikowanie teorii i założeń, które stoją za politykami publicznymi. Na przykład, przez lata wykładnią dla wszystkich programów rozwoju regionalnego było wspieranie najsłabszych regionów, po to by mogły one "dogonić" regiony wyżej rozwinięte. Nowe paradygmaty coraz częściej pokazują jednak inny kierunek - wspieranie regionów najsilniejszych, by te - niczym lokomotywy - pociągnęły za sobą regiony słabsze. Czy dotychczasowe założenie - wpierania słabych - sprawdziło się? Na nim przecież oparta jest cała pomoc strukturalna dla Polski. W realizowanych ostatnio badaniach ewaluacyjnych zaczęliśmy weryfikować właśnie te teorie.
Jakie metody i narzędzia są wykorzystywane w ewaluacji?
"Skrzynka narzędziowa" ewaluatorów jest bardzo szeroka i bogata, właściwie obejmuje większość narzędzi badań społeczno-ekonomicznych. Wszystko zależy od tematu badania - tego czego dotyczy badany projekt i czy badamy jego proces wdrażania, czy też efekty. Zwykle planując badanie ewaluacyjne używamy paneli dyskusyjnych, map myśli (mindmapping), modeli logicznych, przeglądów literatury naukowej. Zbierając dane sięgamy po wywiady, badania ankietowe (np. beneficjentów danego projektu), odbywamy wizyty studyjne. Analizując, wyciągając wnioski i tworząc rekomendacje odwołujemy się do takich metod jak analizy statystyczne, analizy przepływów w przypadku projektów drogowych, panele ekspertów, a przy dużych programach używamy modeli ekonometrycznych. Zwykle w jednym badaniu ewaluatorzy sięgają po szereg różnych metod.
Podam może przykład: analizując efekty projektów szlaków rowerowych programu Sąsiedztwa Polska-Białoruś-Ukraina robiliśmy przeglądy pracy lokalnej i internetu pod kątem liczby i skali imprez rowerowych, odwiedzaliśmy projekty, analizowaliśmy liczbę turystów korzystających z lokalnych punktów informacji i miejscowej bazy turystycznej, prowadziliśmy badania ankietowe z mieszkańcami, wywiady z władzami i przedstawicielami branżowych organizacji pozarządowych. Zaś w prowadzeniu badania i analizie danych pomagały nam modele logiczne.
Jakie najważniejsze zmiany nastąpiły w ostatnim latach w podejściach i metodach badań ewaluacyjnych, czy możemy mówić w tym zakresie o pewnych trendach?
Podejścia badawcze i metody ewaluacji programów publicznych rozwijają się bardzo dynamicznie, czerpiąc z metod badań społecznych. Wiele zawdzięczamy tu postępowi technologicznemu, szybkim komputerom i nowoczesnym programom. Na przykład coraz bardziej popularne staje się wykorzystanie map satelitarnych i GISu do analiz przestrzennych efektów projektów, zaś przy studiach współpracy i powiązań instytucji - analiz sieci.
W Polsce trudno zaobserwować jakieś trendy, bo ewaluacji używamy od niedawna. Natomiast na świecie, widać pewne ewolucję podejść badawczych. Do lat 1970 królowały podejścia quasi-eksperymentalne, ze ściśle ilościowymi i statystycznymi metodami. W latach 1980-tych promowano podejścia i metody jakościowe i partycypatywne (wywiady, panele dyskusyjne, obserwacje uczestniczące). Obecnie różne podejścia współegzystują ze sobą. To czy ewaluatorzy sięgają po metody ilościowe czy jakościowe, czy też ich mieszankę, zależy od tematu.
Czy ewaluacją powinna zajmować się firma zewnętrzna czy też poszczególne urzędy powinny tworzyć odpowiednie jednostki zajmujące się tym badaniem?
Teoretycznie urząd może sam prowadzić ewaluacje swoich projektów. Jest to jednak mało praktyczne rozwiązanie z dwóch powodów. Po pierwsze pojedyncze badania mają zupełnie odmienną tematykę, a co za tym idzie wymagają różnych metodologii. Urząd musiałby więc na stałe zatrudniać na etacie całą rzeszę specjalistów - socjologa, ekonomistę, geografa, inżyniera od ochrony środowiska, specjalistę od analizy procesów, etc. Po drugie, badanie ewaluacyjne wymaga obiektywizmu i zewnętrznego punktu widzenia. Pracując w danej jednostce trudno się zdystansować.
Dlatego w praktyce polskiej i międzynarodowej przyjęło się, że badania zlecane są zwykle firmom czy instytucjom naukowym. W zależności od tematu badania do przetargów stają różne zespoły ekspertów. Nie oznacza to jednak, że dany urząd czy instytucja zlecająca nie ma w badaniu żadnej roli. Otóż ma rolę kluczową - jej pracownicy powinni umieć stawiać pytania ewaluacyjne, współpracować i nadzorować ewaluatorów podczas badania, a następie zatroszczyć się o to by wyniki badania trafiły do decydentów we właściwym momencie - wtedy kiedy potrzebują merytorycznych informacji do podjęcia decyzji.
W polskich instytucjach tworzone są tzw. jednostki ewaluacyjne. Zwykle są to 2-3 osoby, które przygotowują zlecenie na badanie ewaluacyjne, a później nadzorują jego przebieg. Na codzień osoby te zajmują się także monitoringiem projektów.
Jak najlepiej zdobyć wiedzę na temat ewaluacji i czy rzeczywiście jest ona tak trudna jak się sądzi? Jakie wykształcenie jest najbardziej przydatne do wykonywania takich badań?
Zacznijmy od tego, że ewaluacja to żadna wiedza tajemna. To trochę tak jak z Panem Jourdain z Komedii Moliera, który nie wiedział, że mówi prozą. Każdy z nas wielokrotnie dokonuje "ewaluacji" w swoim życiu codziennym. Na przykład kiedy przeciętna polska rodzina kupuje mieszkanie, czy nawet samochód zwykle siada i wspólnie zadaje sobie pytania: Czy warto podejmować tę inwestycję? Czy to jest nam potrzebne? Czy stać nas na to? Co z tego będziemy mieli za kilka lat? A gdy dojdzie już do transakcji, po jakimś czasie, rodzina podejmuje refleksję: Czy warto było? Co mogliśmy zrobić inaczej, lepiej? Na co w przyszłości, przy podobnej inwestycji, zwrócić uwagę? To są wszystko pytania ewaluacyjne!
Oczywiście cała sztuka polega na tym by umieć je zadawać nie tylko w odniesieniu do naszych własnych spraw ale i do programów publicznych - do naszego dobra wspólnego. A tu jest już gorzej... W debacie publicznej z rzadka pojawiają się pytania o zakładane efekty (w perspektywie dłuższej niż rok, niż kolejne wybory), czy o możliwe rozwiązania alternatywne. Zaś post factum ani z ust polityków, urzędników, czy w szerokiej debacie publicznej nie padają ani pytania ani tym bardziej odpowiedzi na temat rzeczywiste skutków polityk (rozwiązane problemy, wykorzystane szanse).
Ewaluacja to więc sztuka a jednocześnie rzemiosło. Sztuką jest stawianie właściwych pytań - konkretnych, logicznych a jednocześnie przydatnych tym, którzy będą czytali raport. Sztuką jest też umiejętność dialogu, współpracy zarówno w zespole badawczym jak i z instytucją zlecającą badanie i interesariuszami danego programu. Rzemiosłem jest natomiast zbieranie danych, prowadzenie analiz.
Każde studia podyplomowe, które uczą krytycznego myślenia i formułowania pytań, pracy w zespole oraz zarysu metodologii badań społeczno-ekonomicznych są dobrą podstawą. Reszta to praktyka - nabywanie doświadczenia w kolejnych badaniach i otwartość na nowe pomysły.
W Polsce działa kilka programów studiów podyplomowych - na wydziałach socjologii, w Akademii L.Koźmińskiego, w Szkole Głównej Handlowej. Te programy działają już od kilku lat i są zorientowane głównie na uczenie jak realizować badania ewaluacyjne - a więc jak być ewaluatorem, wykonawcą badań. Od zeszłego roku, w ramach Programu Pomocy Technicznej UE Ministerstwo Rozwoju Regionalnego uruchomiło wraz z moją instytucją - EUROREG-UW, niekomercyjne studia z zakresu ewaluacji wyłącznie dla pracowników administracji państwowej. Uczymy na nich jak zlecać i nadzorować ewaluację.
Obecnie ewaluacja stała się już międzynarodowym standardem w nowoczesnym zarządzaniu administracji publicznej. Od kiedy zaś możemy mówić o jej stosowaniu w Polsce?
W Polsce ewaluacja pojawiła się pod koniec lat 1990-tych wraz z funduszami pomocowymi Unii Europejskiej i Banku Światowego. Jednak to czego nauczyliśmy się w tych latach zostało praktycznie wymazane gdy weszliśmy do Unii Europejskiej i rozpoczęliśmy programy Funduszy Strukturalnych. Po prostu zniknęły całe instytucje, zabrakło ciągłości kadr między okresem przed i po przystąpieniu do UE. Wraz z Funduszami Strukturalnymi nastąpił w Polsce prawdziwy boom ewaluacyjny. Tyle tylko, że te praktyki są ograniczone do pola funduszy strukturalnych. W odniesieniu do działań stricte krajowych ewaluacja dopiero się pojawia. Dopiero w zeszłym roku wprowadzono ustawą wymóg ewaluacji ex ante krajowych programów rozwoju.
Tak jak Pan zauważył ewaluacja to standard nowoczesnego zarządzania. Ale warto tu podkreślić jest ona tylko jednym z trzech, tak na prawdę ostatnim z elementów szerszej filozofii nowoczesnego zarządzania publicznego opartego na wynikach. Dwa pierwsze elementy to planowanie strategiczne (a więc tworzenie planów działań, określanie własnych celów) oraz budżety zadaniowe (przypisywanie celom środków finansowych na ich realizację). Na tej filozofii zarządzania oparte są fundusze strukturalne, ale w przypadku polityk krajowych dopiero modernizujemy system (np. przejście do budżetowania zadaniowego rozpoczęliśmy w zeszłym roku).
Mam wrażenie, że w Polsce wciąż bardziej uczymy się ewaluacji niż ją powszechnie stosujemy. Jakie błędy są najczęściej popełnianie i jakie czynniki mają wpływ na jakość tych badań?
Kilka lat temu ja też miałem takie wrażenie i byłem dość krytycznie nastawiony do naszych krajowych doświadczeń. Muszę jednak przyznać, że sytuacja w ostatnich latach zmieniła się diametralnie. Po pierwsze zlecamy bardzo dużo badań. Po drugie te badania są coraz wyższej jakości - eksperymentujemy z nowymi metodami, raporty mają narrację, opowiadają historie programu i stawiają konkretne, użyteczne rekomendacje. Komisja Europejska stawia nasz system ewaluacji za wzór. Jesteśmy niewątpliwie "prymusem" wśród nowych krajów członkowskich. To wszystko należy zapisać po stronie plusów. Minusem jest natomiast fakt, że to wszystko dotyczy pola funduszy strukturalnych. W przypadku naszych krajowych działań i polityk nikt nie zastanawia się nad ich racjonalnością, nad tym co się zmieniło i co można poprawić w przyszłości.
Unikałbym słowa błędy a to dlatego, że nie ma rozwiązań idealnych. Poza tym termin błąd wywołuje poczucie winy. Ewaluacja jest procesem ciągłego uczenia się i doskonalenia. Tak więc zamiast o błędach wolałbym mówić o dwóch głównych wyzwaniach.
Pierwszym jest zadawanie ważkich pytań, na które da się odpowiedzieć. Urzędnicy zlecając badanie powinni zadawać pytania na które odpowiedzi, są ważne i potrzebne decydentom. Z tym związany jest realizm - trzeba wyważyć zakres pytań z przeznaczanym na nie czasem i budżetem. Pytanie o wpływ projektu na ogólny rozwój społeczno-gospodarczy gminy zwykle wymaga kilku miesięcy badań i szerokich badań ankietowych. Stawiając takie pytanie i dając na nie miesiąc czasu ryzykujemy, że odpowiedź będzie pobieżna i nie oparta na mocnych faktach. A tym samym bezużyteczna, bo któż chciałby się powoływać w swoich decyzjach na niewiarygodnych wynikach? Z drugiej strony pytając tylko o procesy i problemy wdrażania nie musimy przeznaczać na badanie dużego budżetu i długiego czasu.
Drugim wyzwaniem jest natomiast zastosowanie wyników badań ewaluacyjnych w praktyce. A więc jako rzeczywistej pomocy w podejmowanych decyzjach rozwojowych. Zlecanie i tworzenie raportów to jedna rzecz. Tak jak mówiłem jesteśmy w tym coraz lepsi. Jednak zapewnienie praktycznego wpływu wyników z tych studiów na naszą rzeczywistość to zupełnie inna sprawa.
No właśnie czy nie jest tak, że raporty ewaluacje są po prostu dokumentami wymaganymi przez UE, jednakże potem jest on po prostu odkładane na półkę a wnioski nie wprowadzane w życie?
Na to czy ewaluacja będzie przydatna, czy też wyląduje na półce w formie opasłego raportu, wpływ ma kilka czynników. W badaniach empirycznych grantu "Sprawne Państwo" udało nam się zidentyfikować trzy rzeczy które wpływają na to czy dane badanie było użyteczne czy też nie.
Po pierwsze - dość oczywiste - jest to jakość wykonanego badania. Chodzi tu zarówno o poprawność metodologii, naukową rzetelność jak i... o przystępność raportu. Wyniki i rekomendacje muszą być przedstawione w sposób jasny, zwięzły i przystępny. Amerykanie mówią, że dobry raport ewaluacyjny można poznać po tym, czy jego autor potrafi wyjaśnić osobie postronnej wnioski z raportu w trzech zdaniach.
Po drugie dużo zależy od zaangażowania osób z instytucji zlecającej badanie oraz momentu w którym raport zostaje opublikowany. Na raport ktoś musi czekać. Podam przykład. Miasto chce zaktualizować swoją strategię, zleca więc ewaluację poprzedniej strategii. Zleconym badaniem nikt się jednak specjalnie nie interesuje, a w międzyczasie urząd kończy opracowywać nową strategię. Gdy raport wreszcie powstanie nawet jeśli będzie bardzo wysokiej jakości to jego użyteczność w tym wypadku będzie zerowa.
I wreszcie trzecia rzecz to zaangażowania ewaluatora. Ewaluatorzy tym się różnią od naukowców, że nie tylko prowadzą badania ale muszą też prowadzić ciągły dialog z interesariuszami. Uczenie się następuje nie tylko w momencie czytania raportu ale dużo wcześniej, w trakcie dyskusji nad wstępną metodologią, uszczegóławianiem pytań, przy prezentowaniu pierwszych wyników, przy testowaniu rekomendacji. Uczenie się tak ludzi jak i organizacji opiera się na interakcjach. A ewaluator powinien być animatorem tych interakcji.

polecam tekst:  
  • aktualna ocena: 2.73/6
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
ocena: 2.7 / 6 - głosowano 106 razy
liczba komentarzy do tego tekstu: 0

Do tej pory nikt jeszcze nie skomentował tego tekstu.
Możesz być pierwszy, wyraź swoją opinię.

  

Wrzesień 2017
PWŚCPSN
 123
45678910
11121314151617
18192021222324
252627282930 
Październik 2017
PWŚCPSN
 1
2345678
9101112131415
16171819202122
23242526272829
3031 
ZOSTAŃ NASZYM FANEM
Valid XHTML 1.0 Transitional Poprawny CSS!
© 2007-2017 RegioConsulting.pl
ISSN 1897-3639.