Lepsze zarządzanie, planowanie i dostarczanie usług w jednostkach samorządu lokalnego w Polsce

Report

30 czerwca 2021

Available in:

English
polski

4. Wykorzystanie dowodów w podejmowaniu decyzji strategicznych przez samorząd lokalny

Abstract

Niniejszy rozdział analizuje wykorzystywanie danych i dowodów przez polskie samorządy lokalne1 w projektowaniu, wdrażaniu i przeglądzie ich polityk i regulacji. W związku z tym, przedstawiony został przegląd mechanizmów wykorzystywanych przez nie do monitorowania priorytetów polityk, a także ramy instytucjonalne i możliwości ewaluacji interwencji publicznych. Po ich omówieniu, zaprezentowana została ocena zakresu, w jakim samorządy lokalne wykorzystują dane i dowody pochodzące z monitoringu i ewaluacji do celów podejmowania decyzji i kształtowania polityk. Rozdział kończy się sekcją zawierającą prognozy na przyszłość.

Wstęp

Niniejszy rozdział omawia w jaki sposób samorządy lokalne w Polsce wykorzystują dane i dowody przy projektowaniu, wdrażaniu i weryfikacji swoich polityk i regulacji. Stopień w jakim jednostki samorządu terytorialnego wykorzystują dowody przy podejmowaniu decyzji i upubliczniają dane i fakty, którymi kierują się podejmując określone decyzje - zarówno przed ich podjęciem, jak i po wcieleniu w życie – obrazuje zdolność samorządów do zachowania rozliczalności wobec swoich obywateli. Stanowi podstawę do budowania zaufania do instytucji publicznych. Jednocześnie jest gwarancją racjonalności i dalekowzroczności przy podejmowaniu interwencji publicznych. Monitoring i ewaluacja (M&E) to kluczowe elementy procesu podejmowania decyzji opartych na dowodach. Dlatego stanowią one jeden z głównych tematów tego rozdziału.

Rozdział ten rozpoczyna się od przeglądu mechanizmów, procesów i narzędzi stosowanych przez samorządy lokalne w Polsce w celu monitorowania swoich interwencji publicznych. Poddaje je krytycznej analizie i identyfikuje szereg obszarów wymagających poprawy. Następnie przedstawia kluczowe cechy systemów i praktyk ewaluacji na poziomie lokalnym i regionalnym, ze szczególnym uwzględnieniem czynników determinujących ich jakość, takich jak zaangażowanie interesariuszy oraz dostępność danych i zasobów (w tym zasobów własnych). Ostatnia część rozdziału poświęcona jest ocenie tego, w jakim stopniu dostępne dowody są efektywnie wykorzystywane przez samorządy w procesie podejmowania decyzji oraz identyfikacji obszarów, w których należy nadal promować wykorzystywanie dowodów.

Mechanizmy monitorowania lokalnych strategii rozwoju

Wykorzystywanie dowodów w kształtowaniu polityk wynika głównie z funkcjonowania systemu monitorowania i ewaluacji (M&E) wyposażonych w odpowiednie wskaźniki poddawane analizie. Solidny system monitorowania przede wszystkim zakłada istnienie ram instytucjonalnych dla monitorowania, które zapewniają: i) podstawę prawną do prowadzenia monitorowania; ii) jednoznacznie wskazane i upoważnione podmioty instytucjonalne, z przydzielonymi zasobami, odpowiedzialne są za sprawowanie nadzoru lub prowadzenie monitorowania; iii) wytyczne na poziomie makro: kiedy i jak prowadzić monitorowanie (OECD, 2019[1])

Monitorowanie realizacji priorytetów polityk jest kluczowym narzędziem stosowanym przez rządy państw OECD na wszystkich szczeblach. Dzięki temu uzyskiwana jest poprawa strategicznego i operacyjnego procesu decyzyjnego wraz z przejrzystością i w gospodarowaniu środkami publicznymi. Na przykład Narodowy Ramowy Model Efektywności Działań definiuje w Szkocji "narodowe efekty docelowe", które odzwierciedlają wartości i aspiracje mieszkańców Szkocji i które są monitorowane za pośrednictwem publicznie dostępnej strony internetowej (Scottish Government, 2020[2]). W Meksyku Federalna Ustawa o Planowaniu z 5 stycznia 1983 r. wymaga, aby każdy stan opracował Stanowy Plan Rozwoju, zgodny z Sześcioletnim Narodowym Planem Rozwoju i monitorował jego realizację (Mexican Government, 2013[3]). Tak więc instytucjonalizacja monitorowania wyników w ramach prawnych i politycznych podkreśla wagę, jaką władze przywiązują do tej praktyki i przyczynia się do jasnego określenia ról i uprawnień uczestników systemu.

W polskich samorządach lokalnych priorytety polityki rządowej są w większości sformalizowane w postaci terytorialnych strategii rozwoju (SR). W związku z tym, rozdział ten koncentruje się głównie na mechanizmach monitorowania SR (więcej informacji na temat SR znajduje się w Rozdziale 3). Niemniej jednak, jak wspomniano w Rozdziale 3, samorządy lokalne stosują również inne, sektorowe lub tematyczne instrumenty planowania, które wymagają monitorowania (np. w obszarach planowania przestrzennego, zarządzania nieruchomościami, ochrony środowiska, ochrony przyrody czy gospodarki wodnej). Jak wskazano w Rozdziale 2, większa koordynacja pomiędzy tymi instrumentami planowania i ich systemami monitoringu pozwoliłaby na podejmowanie lepszych strategicznych decyzji w samorządach lokalnych .

System monitorowania w Polsce na szczeblach niższych niż krajowy jest kształtowany głównie przez wymogi integracji europejskiej oraz krajowe polityki planowania

W Polsce, samorządy lokalne mogą opracowywać strategie rozwoju lokalnego (SRL). Jak wyjaśniono w Rozdziale 3, jeśli gminy przygotowują swoje SRL, muszą wziąć pod uwagę kierunki określone w "Strategii na rzecz Odpowiedzialnego Rozwoju na okres do 2020 r. z perspektywą do 2030r." i dostosować je do swoich lokalnych potrzeb (Polish Government, 2017[4]). Nowelizacja Ustawy o zasadach prowadzenia polityki rozwoju 2 z listopada 2020 r. ma również na celu zachęcenie gmin do opracowywania SRL, dążąc do tego, aby docelowo te instrumenty planistyczne stały się obowiązkowe. Obecnie 95,5% gmin (kwestionariusz OECD) deklaruje, że posiada już SRL. Jak opisano w Rozdziale 3, ten wysoki odsetek można prawdopodobnie wyjaśnić tym, że w celu ubiegania się o fundusze Unii Europejskiej (UE), samorządy lokalne muszą wykazać ścisły związek między działaniami, na które ubiegają się o fundusze UE, a treścią istniejącej SRL.

Na poziomie regionalnym samorządy opracowują strategie rozwoju województw (SRW), które muszą być dostosowane do krajowych celów rozwojowych (Polish Government, 2017[4]). Urzędy marszałkowskie tworzą ponadto regionalne programy operacyjne (RPO), które są współfinansowane z Europejskich Funduszy Strukturalnych i Inwestycyjnych (ESIF). Polityki rozwoju w Polsce (zarówno na poziomie krajowym, jak i lokalnym) są bowiem w dużej mierze wspierane przez fundusze unijne (OECD, 2009[5]), a co za tym idzie, podlegają regulacjom europejskim. RPO są więc ważnym, choć nie jedynym, narzędziem realizacji SRW.

Gminy i regiony, które otrzymują fundusze unijne, są zobowiązane do monitorowania i ewaluacji wykorzystania tych funduszy i ich efektów. Przykładowo, Rozporządzenie ustanawiające wspólne przepisy (Common Provisions Regulation, CPR) na lata 2014-20 wymaga, aby państwa członkowskie powołały komitety monitorujące dla każdego programu operacyjnego (Art. 49) (European Parliament and Council, 2013[6]). W Polsce za monitorowanie osiągania celów określonych w RPO, a także wydatkowania środków unijnych przyznawanych w ramach tego dokumentu, odpowiadają regionalne komitety monitorujące.

Regionalna instytucja zarządzająca przeprowadza "[coroczny] przegląd realizacji regionalnego programu operacyjnego i postępów w osiąganiu jego celów" i sporządza roczne sprawozdanie z wdrażania swojego RPO, które jest ostatecznie zatwierdzane przez regionalny komitet monitorujący (Art. 49 i 50 CPR) (European Parliament and Council, 2013[6]). Takie regionalne, okresowe sprawozdania ze wszystkich 16 województw są następnie konsolidowane na poziomie krajowym z raportami okresowymi z sektorowych krajowych programów operacyjnych (KPO) w celu przygotowania sprawozdania okresowego na poziomie Umowy Partnerstwa (UP). Zadanie to należy do krajowej instytucji koordynującej funkcjonującej w ramach Ministerstwa Funduszy Rozwoju i Polityki Regionalnej, która jest odpowiedzialna za koordynowanie wszystkich 16 RPO i kilku sektorowych KPO (patrz Rysunek 4.1 prezentujący schemat interakcji pomiędzy regionalnymi komitetami monitorującymi a krajową instytucją koordynującą).

Rysunek 4.1. Proces monitorowania regionalnych programów operacyjnych

W związku z powyższym jednostki samorządu lokalnego, które otrzymują fundusze unijne, posiadają jasno określone ramowe procesy monitorowania sposobu wykorzystania tych funduszy, co pociąga za sobą najczęściej monitorowanie strategii rozwoju lokalnego. W innych przypadkach wiele samorządów lokalnych nie prowadzi usystematyzowanego monitorowania takich strategii. Dane z kwestionariusza OECD pokazują, że tylko nieco ponad 70% gmin i 80% powiatów monitoruje wdrażanie swoich strategii rozwoju. Ponadto, jak zostanie to dokładniej omówione w następnym rozdziale, ważne jest nie tylko samo monitorowanie realizacji strategii, ale także posiadanie procesu i narzędzi o wysokiej jakości, które służą podejmowaniu decyzji. W tym względzie kluczowe znaczenie mają formalne wytyczne oraz posiadane przez samorządy możliwości. Poza stworzeniem ram prawnych i jasnym określeniem kompetencji, solidny system monitorowania wymaga wytycznych na poziomie makro, wskazujących kiedy i jak prowadzić monitorowanie oraz właściwego rozumienia na czym ono polega.

Bieżące metody i narzędzia monitoringu stosowane przez samorządy lokalne nie zawsze są dostosowane do potrzeb procesu podejmowania decyzji operacyjnych i komunikacji

Monitoring różni się zasadniczo od ewaluacji pod wieloma względami. Celem monitorowania jest wsparcie planowania i podejmowania decyzji operacyjnych poprzez dostarczanie danych i dowodów do pomiaru wyników oraz ułatwienie w formułowaniu konkretnych pytań pomocnych w identyfikacji opóźnień i barier we wdrażaniu. Monitorowanie może również przyczynić się do zwiększenia rozliczalności i lepszego informowania społeczeństwa, ponieważ informacje dotyczące wykorzystywania zasobów, efektywności wewnętrznych procesów zarządzania oraz wyników działań podejmowanych w ramach polityk są mierzone i upubliczniane. Monitorowanie opiera się na rutynowych, systematycznych procesach gromadzenia danych. Wymaga zatem integracji zasobów z infrastrukturą organizacyjną (OECD, 2019[1]).

Dowody z monitorowania można wykorzystać do realizacji trzech głównych celów (OECD, 2019[1]):

Wsparcia w procesie podejmowania decyzji operacyjnych poprzez dostarczanie dowodów do pomiaru wyników i formułowania konkretnych pytań pomocnych w zidentyfikowaniu opóźnień lub barier we wdrażaniu.
Zwiększenia rozliczalności w zakresie wykorzystywania zasobów, efektywności wewnętrznych procesów zarządzania oraz wyników poszczególnych działań podejmowanych w ramach polityk.
Zapewnienia większej przejrzystości poprzez dostarczanie obywatelom i interesariuszom informacji o tym, czy działania podejmowane przez władze przynoszą oczekiwane rezultaty.

Każdy z tych celów wymaga nieco innej konfiguracji procesu monitorowania.

Europejskie wytyczne dotyczące monitorowania i ewaluacji funduszy spójności wymagają stworzenia systemów monitorowania, których głównym celem jest rozliczalność

W Polsce wymogi monitorowania nałożone na samorządy terytorialne w związku z wykorzystaniem funduszy strukturalnych UE w większości promują rozliczalność w wykorzystaniu funduszy strukturalnych (OECD, 2009[5]). Beneficjenci funduszy muszą przygotowywać coroczne sprawozdanie z wykorzystania funduszy i ich efektów (Rysunek 4.2 przedstawia przykład przygotowania takiego rocznego sprawozdania z wdrożenia dla RPO). Podkreślają to wytyczne na lata 2014-20 dotyczące monitorowania i ewaluacji funduszy strukturalnych (EC, 2015[7])w których stwierdza się, że sprawozdanie roczne jest "jednym z kluczowych elementów monitorowania programu operacyjnego". O ile format ten pomaga interesariuszom kontrolować i zatwierdzać realizację programów i strategii, to niekoniecznie jest on przydatny z punktu widzenia sprawnego i szybkiego podejmowania decyzji operacyjnych.

W rezultacie władze samorządowe, które składają sprawozdania z wykorzystania funduszy UE, mogą postrzegać monitoring jako narzędzie kontroli, a nie narzędzie, które jest rzeczywiście przydatne do poprawy wdrażania ich polityk i podejmowania decyzji. Istnieją także dowody (Meyer, Stockmann and Taube, 2020[8]), że percepcja ukierunkowana na kontrolę może występować również na szczeblu centralnym w odniesieniu do monitorowania priorytetów polityki krajowej.

Przedstawienie innych metodologii monitorowania może pozwolić na podejmowanie lepszych decyzji operacyjnych i usprawnienie komunikacji z obywatelami na szczeblu lokalnym.

Po pierwsze, aby monitorowanie efektywności stało się skutecznym narzędziem zarządzania i podejmowania decyzji operacyjnych, musi ono odbywać się w ramach dialogu na temat wyników działań prowadzonego regularnie i wystarczająco często, aby umożliwić decydentom i urzędnikom publicznym dostosowywanie swoich działań i/lub zasobów do potrzeb w obliczu trudności we wdrażaniu (Vági and Rimkute, 2018[9]). Aktualnie dane OECD wskazują, że tylko 17 z 36 badanych samorządów lokalnych (kwestionariusz OECD) sporządza regularne sprawozdania w celu monitorowania priorytetów swoich polityk. Spośród tych 17, tylko kilka robi to częściej niż raz w roku. Dlatego też mogą one rozważyć ustanowienie wewnętrznego dialogu na temat efektywności działań pomiędzy najwyższym szczeblem decyzyjnym (na przykład burmistrzem lub marszałkiem) a kierownikami wydziałów/dyrektorami departamentów w celu dokonania przeglądu kluczowych celów i wskaźników realizacji ich strategii rozwoju. Rozdział 7 zawiera szersze omówienie zagadnień związanych z zasobami ludzkimi w samorządach terytorialnych w Polsce.

Stworzenie ram dialogu dotyczącego efektywności działań stanowiłoby zachętę dla kadry kierowniczej urzędów do rozwiązywania problemów monitorowania wdrażania strategii o charakterze technicznym poprzez proces stopniowej eskalacji. Jeśli po dwóch kwartałach problem nadal pozostaje nierozwiązany, mógłby być dwa razy w roku kierowany do burmistrza/prezydenta lub marszałka w celu podjęcia decyzji. Rysunek 4.2 pokazuje, w jaki sposób dialog na temat rezultatów działań mógłby być prowadzony pomiędzy niższymi poziomami decyzyjnymi a centrum władzy na szczeblu samorządowym na przestrzeni jednego roku. Aby wprowadzić w życie dialog poświęcony skuteczności podejmowanych działań, władze lokalne i regionalne musiałyby zdefiniować zakres odpowiedzialności każdego uczestnika całego łańcucha wartości monitorowania, na który składa się koordynacja i promocja monitorowania, gromadzenie danych, analiza danych, sprawozdawczość i wykorzystanie danych. Nowelizacja Ustawy o zasadach prowadzenia polityki rozwoju z listopada 2020 r. (Polish Government, 2017[4]) przewiduje, że gminy powinny dążyć do stworzenia własnego systemu monitorowania, ale nie precyzuje, w jaki sposób to zrobić.

Rysunek 4.2. Proponowana konfiguracja dialogu na temat skuteczności działań

Samorządy lokalne mogą dodatkowo rozważyć dokonanie wyboru ograniczonej liczby priorytetowych celów i wskaźników ze swoich strategii rozwoju, aby skoncentrować posiadany potencjał na monitorowaniu polityk o dużej widoczności i wpływie na gospodarkę i społeczeństwo. Wybór mniejszej liczby wskaźników o dużej widoczności mógłby również służyć lepszemu komunikowaniu się z obywatelami, albo poprzez stronę internetową aktualizowaną informacjami pochodzącymi z monitoringu strategii rozwoju regionalnego lub lokalnego, albo poprzez opracowanie dokumentu komunikującego postępy w realizacji strategii.

Ogólnie rzecz biorąc, działania takie mogłyby być wspierane przez Ministerstwo Funduszy Rozwoju i Polityki Regionalnej, które mogłoby rozważyć opracowanie konkretnych wytycznych dotyczących monitorowania realizacji strategii lokalnych, w tym opracowania celów monitorowania i odpowiadających im metodologii. Tak dzieje się na przykład w Kolumbii, gdzie Krajowy Departament Planowania zapewnia wytyczne dla władz niższego szczebla (głównie departamentów) dotyczące monitorowania ich planów strategicznych (zob. Ramka 4.1).

Ramka 4.1. Narzędzia i wytyczne oferowane przez władze krajowe w celu promowania monitorowania polityk, lokalnych i regionalnych

Władze krajowe mogą zachęcać władze regionalne do monitorowania polityk publicznych i strategii rozwoju za pomocą szeregu narzędzi. Na przykład rząd Kolumbii udostępnił Portal Terytorialny, aby pomóc samorządom w monitorowaniu i ewaluacji ich planów strategicznych. Platforma ta została stworzona przez Krajowy Departament Planowania w celu promowania zarządzania wiedzą i interakcji pomiędzy rządem krajowym a administracją lokalną poprzez dzielenie się informacjami, metodologiami, narzędziami, najlepszymi praktykami i innymi treściami udostępnianymi za pośrednictwem sieci.

Jednym z takich narzędzi jest Zestaw do Monitoringu (Kit de Seguimiento), który zawiera podręczniki, formularze i instrukcje dotyczące projektowania i wdrażania systemu monitoringu. Narzędzie podzielone jest na kilka modułów:

Pierwszy moduł (Moduł 0) zestawu zawiera ogólne wytyczne dotyczące korzystania z narzędzi oraz określa instytucjonalne, instrumentalne i koncepcyjne ramy systemu monitorowania, aby dobrze zrozumieć jego zakres przed wprowadzeniem go w życie. Przykłady omawianych pojęć to zarządzanie publiczne zorientowane na wyniki, wartość publiczna, łańcuch wartości itp.
Moduł 1 zawiera wytyczne dotyczące właściwego zbierania informacji, ich analizy i raportowania na potrzeby monitorowania strategii rozwoju, a docelowo również terminowego i świadomego podejmowania decyzji. Oferuje on przewodnik krok po kroku, jak sporządzić listę, dokonać przeglądu i spełnić warunki, które umożliwią prowadzenie takiego monitorowania.
Moduł 2 przedstawia etapy projektowania systemu monitorowania, jak również dostosowywania go do potrzeb i realiów instytucjonalnych regionu.
Moduł 3 przedstawia uwarunkowania metodologiczne i operacyjne niezbędne do wdrożenia systemu monitorowania.

We Włoszech utworzono krajowy system monitorowania (SNM) w celu zharmonizowania działań w zakresie monitorowania programów polityki spójności. System ten, zarządzany przez Ministerstwo Finansów, opiera się na protokole wymiany danych wspólnym dla wszystkich władz lokalnych i regionalnych odpowiedzialnych za programy operacyjne oraz na wspólnej otwartej platformie danych.

Dane są wprowadzane do systemu przez jednostki administracji regionalnej i krajowej będące właścicielami programów operacyjnych. Przekazują one wyniki monitorowania realizacji programów operacyjnych będących w ich gestii za pośrednictwem własnych systemów informatycznych.
W celu zapewnienia lepszej jakości danych i pełniejszych informacji zasoby informatyczne SNM są dodatkowo wzbogacane poprzez połączenia operacyjne z zewnętrznymi bazami danych, w tym z bazą danych administracji publicznej (BDAP), bazą danych Krajowej Agencji Antykorupcyjnej (ANAC), rejestrem podatkowym, bazą danych Single Project Code itp.
Dane zebrane przez SNM są następnie udostępniane za pośrednictwem portalu OpenCoesione (https://opencoesione.gov.it/en/), który dla każdego projektu wyświetla informacje o jego głównych aspektach. W ten sposób wszyscy obywatele i zainteresowane strony mogą sprawdzić, w jaki sposób fundusze są wykorzystywane w celu zaspokojenia potrzeb odpowiednich jednostek terytorialnych.

Źródło: Colombian Government Department for National Planning (n.d.[10]), Territorial Portal, https://portalterritorial.dnp.gov.co (accessed 15 June 2020); Italian Government (n.d.[11]), Open Cohesion Project, https://opencoesione.gov.it/en/ (accessed 15 September 2020).

Potencjał niezbędny do monitorowania stanowi kluczowe wyzwanie dla samorządów lokalnych

Polskie samorządy lokalne muszą wzmocnić swoje możliwości dostępu do rzetelnych, aktualnych danych, aby zapewnić wysoką jakość swojego monitoringu.

Po pierwsze, opracowanie jasnych wskaźników efektywności, ich wartości bazowych i docelowych jest ważne dla monitorowania priorytetów polityk, takich jak te, które są zawarte w polskich strategiach rozwoju lokalnego na poziomie gmin (SRL) lub strategiach rozwoju województw (SRW). Badane trzydzieści cztery jednostki samorządu lokalnego szczebla gminnego deklarują, że definiują wskaźniki wyników dla swojej strategii rozwoju ex ante, co oznacza, że zdefiniowały te wskaźniki w powiązaniu ze swoimi strategiami rozwoju. Może to jednak także oznaczać, że zadeklarowały one nazwy wskaźników bez podania kwantyfikowalnej wartości docelowej.

Rysunek 4.3. Jednostki samorządu lokalnego definiujące wskaźniki *ex ante*

Niemniej jednak jedna trzecia (14) ankietowanych samorządów lokalnych podaje, że nie definiuje swoich wskaźników ex ante. Co jeszcze ważniejsze, jeśli wskaźniki takie nawet istnieją, brak jest systematycznego powiązania między każdym celem zawartym w strategiach a wskaźnikami wybranymi do ich monitorowania, co utrudnia interesariuszom ocenę postępów w realizacji celów. W rzeczywistości wskaźniki często nie są zawarte w samym dokumencie SRL. Samorządy mogłyby skorzystać z okazji, jaką stanowi kolejny cykl SRL, aby jasno określić wskaźniki, za pomocą których będą mierzyć realizację swoich strategii.

Mimo wszystko gminy, powiaty i regiony wykorzystują szeroką gamę wskaźników do obserwowania wyników osiągania celów swoich polityk. Samorządy terytorialne mają dostęp do wielu baz danych przydatnych do tworzenia i aktualizacji wskaźników. Na przykład regionalne obserwatoria terytorialne mają za zadanie gromadzenie, rozpowszechnianie i wymianę danych na temat rozwoju danego regionu oraz interwencji publicznych przeprowadzanych na poziomie regionalnym (więcej na temat obserwatoriów w Ramka 4.2).

Ramka 4.2. Regionalne Obserwatoria Terytorialne

Na poziomie regionalnym działa 16 Regionalnych Obserwatoriów Terytorialnych (ROT), które zostały utworzone wraz z Krajowym Obserwatorium Terytorialnym (KOT), w ramach Krajowej Strategii Rozwoju Regionalnego (KSRR). Zakres działania tego systemu monitorowania i ewaluacji polityki regionalnej określony jest w Strategii na Rzecz Odpowiedzialnego Rozwoju do roku 2020 (z perspektywą do 2030 r.) i obejmuje:

zapewnienie spójności metodologii oceny i monitorowania;
monitorowanie procesów rozwoju regionalnego w wymiarze społecznym, gospodarczym i przestrzennym w regionie;
zapewnienie jakości działań monitorujących urzędów marszałkowskich.

ROT monitorują osiąganie celów polityki rozwoju regionalnego głównie w przypadku projektów współfinansowanych ze środków UE (RPO, SRW, regionalne strategie innowacji).

Źródło: Jarczewski, W. (2010[12]), “Regional observatories of development policy as a tool for monitoring the efficiency of the cohesion policy”, http://dx.doi.org/10.7163/eu21.2010.21.12; Maśloch, P. and L. Piotrowska (2017[13]), “An overview of regional territorial observatories – common elements and substantial differences. Territorial observatories and their role in shaping the defence capability and security of a region”, http://psjd.icm.edu.pl/psjd/element/bwmeta1.element.psjd-4aeb1116-bbef-4036-ac3a-22b815245839/c/WSN_72__2017__194-203.pdf (accessed on 2 July 2020).

Dodatkowo platforma internetowa STRATEG (https://strateg.stat.gov.pl/) jest cennym narzędziem monitorowania polityk rozwoju na poziomie krajowym i wojewódzkim. Jednym z głównych celów tej platformy jest gromadzenie danych na temat wskaźników statystycznych istotnych z punktu widzenia realizacji polityki spójności. Od połowy 2021 r. ma powstać kolejny portal internetowy Głównego Urzędu Statystycznego, służący monitorowaniu usług publicznych. Platforma ta (www.smup.gov.pl) powinna oferować interesujące dane na temat jakości, ilości, dostępności i efektywności kosztowej ponad 80 usług publicznych.

Obecnie 34 z 37 ankietowanych gmin i powiatów sygnalizuje, że dostępność danych stanowi wyzwanie w prowadzeniu i promowaniu M&E. Kilka gmin wskazuje, że statystyki regionalne i krajowe nie pomagają im monitorować ich strategii rozwoju. I rzeczywiście, ten rodzaj danych najlepiej nadaje się do wykorzystania w długoterminowych badaniach oddziaływania i wskaźnikach kontekstowych, w przypadku których zmiany leżące u podstaw są mniej pewne niż w przypadku wskaźników efektywności (DG NEAR, 2016[14]). Dane administracyjne i dane zebrane podczas wdrażania interwencji są zazwyczaj lepiej dostosowane do potrzeb związanych ze wskaźnikami procesów, produktów i efektów pośrednich, takich jak zawarte w SRL. Wszystkie szczeble samorządu mogą rozważyć wykorzystywanie własnych danych administracyjnych do monitorowania strategii rozwoju. Może to być szczególnie przydatne w kontekście dialogu na temat wyników, dla którego dane muszą być bardzo responsywne. Takie dane można czasem znaleźć na portalu internetowym bdl.stat.gov.pl/BDL/start.

Prowadzenie wysokiej jakości monitorowania będzie wymagało od samorządu lokalnego posiadania odpowiedniego potencjału

Aby stworzyć system monitorowania dostarczający wiarygodnych i istotnych danych, a także umożliwiający ich analizę, władze muszą posiadać odpowiedni potencjał. Pojęcie potencjału można zdefiniować jako "ogół zdolności i zasobów dostępnych w ramach mechanizmu rządzenia. Odnosi się ono do systemów organizacyjnych, strukturalnych i technicznych, jak również do indywidualnych umiejętności, które tworzą i wdrażają politykę odpowiadającą potrzebom społeczeństwa, zgodnie z orientacją polityczną". (OECD, 2008[15]).

Kluczowe są dwa rodzaje umiejętności:

umiejętności analityczne, pozwalające na przeglądanie i analizowanie danych oraz wyciąganie wniosków,
umiejętności komunikacyjne, umożliwiające skonstruowanie zestawu wskaźników monitorowania i raportowania postępów w sposób mający wpływ na czytelność komunikatu kierowanego do odbiorców docelowych.

Przede wszystkim monitorowanie wyników wymaga posiadania wystarczających zasobów do regularnego zbierania i analizowania danych, obliczania wskaźników, wnioskowania na ich podstawie itp., co wymaga odpowiedniej liczby przeszkolonych pracowników i menadżerów. W polskich samorzadach zasoby te wydają się być ograniczone. Podczas gdy większe lokalne samorządy posiadają jednostki audytu lub monitorowania odpowiedzialne za tego rodzaju zadania (27, z czego 15 położonych w miejskich obszarach funkcjonalnych), w małych samorządach działania monitorujące są w większości wykonywane przez biuro burmistrza/wójta (patrz Rysunek 4.4).

Rysunek 4.4. Podmioty zaangażowane w proces monitorowania na poziomie samorządu lokalnego

Ponadto istnieje wyraźna różnica między zasobami dostępnymi na poziomie regionalnym a zasobami do dyspozycji gmin czy powiatów, ponieważ regiony są instytucjami zarządzającymi funduszami strukturalnymi i w związku z tym mają wyraźnie przydzielone środki na raportowanie wykorzystania tych funduszy. Inicjatywy takie jak ROT czy nawet warsztaty i seminaria prowadzone przez Ministerstwo Funduszy Rozwoju i Polityki Regionalnej również przynoszą zwykle większe korzyści na poziomie regionalnym niż na poziomie lokalnym. Niniejszy raport rekomenduje przekazywanie większej części środków na potrzeby monitorowania z poziomu krajowego/regionalnego do samorządów lokalnych.

Ewaluacja polityk i regulacji

Ewaluację polityk można zdefiniować jako ustrukturyzowaną i obiektywną ocenę planowanej, realizowanej lub zakończonej polityki, programu, regulacji lub inicjatywy reform, z uwzględnieniem projektu, realizacji i wyników. Jej celem jest weryfikacja adekwatności i realizacji celów, wydajności, efektywności, oddziaływania i trwałości efektów, jak również wartości lub znaczenia interwencji publicznej. Termin "ewaluacja" obejmuje szereg praktyk, które mogą być elementem różnych procesów planowania i tworzenia polityk. Na przykład wiele krajów OECD stosuje przeglądy wydatków. Polityki regulacyjne stanowią obszar, w którym stosowanie ewaluacji jest ugruntowane, a wymagania obejmują oceny skutków dokonywane ex ante (OSR), a także przeglądy/oceny dokonywane ex post. W tej części rozdziału, termin "ewaluacja polityk" będzie odnosić się do ewaluacji polityk publicznych, w tym strategii, programów oraz (w niektórych przypadkach) regulacji ustawowych i wykonawczych.

Ramy instytucjonalne: Polityka spójności UE jako siła napędowa dla rozwoju ewaluacji

Praktyki ewaluacyjne rozwinęły się w Polsce znacząco od początku XXI wieku. Podobnie jak w przypadku praktyk monitorowania, rozwój ten nastąpił w dużej mierze w kontekście polityki spójności UE, której Polska jest zdecydowanie największym beneficjentem wśród państw członkowskich UE (EC, 2020[16]). Według przedstawicieli rządu do tej pory powstało ponad 2 000 opracowań oceniających różne poziomy realizacji polityki spójności. Już w studium przypadku z 2009 r. Komisja Europejska (KE) podkreśliła system ewaluacji w Polsce jako interesujący przykład "rozwoju systemowego, który ma charakter kumulatywny i wykracza poza jeden cykl programowania". (EC, 2009[17]). Krajowa Jednostka Oceny jest odpowiedzialna za kierowanie i koordynowanie działań ewaluacyjnych dotyczących interwencji w ramach polityki spójności, jak również programów budżetu państwa (o bardziej ograniczonym zasięgu). Ogólnie rzecz biorąc, polski system ewaluacji interwencji realizowanych w ramach polityki spójności jest zdecentralizowany (ewaluacja często prowadzona jest w zakresie poszczególnych programów), z jednostkami ewaluacyjnymi na szczeblu krajowym i regionalnym. Otrzymuje on wsparcie ze strony międzyresortowego zespołu, w skład którego wchodzą również przedstawiciele Polskiego Towarzystwa Ewaluacyjnego.

Polska wzmocniła również swoje praktyki w zakresie zarządzania regulacjami na szczeblu krajowym, w tym ocenę skutków regulacji (OSR) ex ante, zaangażowania interesariuszy oraz, w mniejszym stopniu, ocenę ex post. Jak pokazano na Rysunek 4.5 poniżej, pomimo zaobserwowanej poprawy, Polska nie należy jeszcze do krajów osiągających najlepsze wyniki w tej dziedzinie. Potwierdzają to wywiady z urzędnikami państwowymi, którzy sugerują, że istnieje możliwość znacznej poprawy w tym obszarze zarówno na szczeblu krajowym jak i regionalnym i lokalnym. Zwłaszcza jeśli chodzi o skuteczne wdrażanie istniejących wymogów (na co wskazują niskie wyniki w zakresie wskaźnika "systematycznego wdrażania").

Rysunek 4.5. Wskaźniki OECD w zakresie polityki regulacyjnej i zarządzania (iREG): Polska, 2018 r

Trwają prace nad budową Systemu Monitorowania Usług Publicznych, który ma usystematyzować proces monitorowania i ewaluacji usług publicznych świadczonych przez gminy i powiaty. Ma on zacząć funkcjonować w połowie 2021 r. na przygotowywanej stronie www.smup.gov.pl, a dla każdej usługi publicznej (ponad 80 będzie ujętych w systemie) zostaną określone wskaźniki jakości, ilości, dostępności i efektywności kosztowej. Ponadto, według władz szczebla krajowego, dostępne są wytyczne, za pomocą których rząd krajowy stara się promować rozwój ewaluacji polityk na szczeblu lokalnym i regionalnym. Ich uzupełnieniem jest wsparcie finansowe oraz działania w zakresie budowania kompetencji. Jednakże, wiedza na ten temat i efektywne wykorzystanie istniejących zasobów nie są powszechne, a ich poziom jest szczególnie niski w mniejszych samorządach lokalnych.

Działania zorientowane na ewaluację wydają się być ukierunkowane przede wszystkim na programy i projekty, zwłaszcza te, które korzystają z finansowania w ramach polityki spójności UE. Urzędnicy administracji krajowej przyznają, że ocena zdolności władz lokalnych do wdrażania odpowiednich wytycznych nie jest prosta, ponieważ w dużym stopniu zależy od czynników kontekstowych, a na szczeblu lokalnym informacje na ten temat są ograniczone. Niektóre z odpowiedzi na zadane pytania w ankiecie OECD wskazują, że analiza skutków regulacji nie jest systematyczna. Na przykład według jednego z przedstawicieli samorządu lokalnego nie istnieje ani formalna procedura, ani szczegółowe wytyczne dotyczące oceny skutków regulacji. Ocena ta ma raczej charakter nieformalny i doraźny. Należy jednak zauważyć, że w zakresie decyzji regulacyjnych wszystkie samorządy terytorialne mają jedynie ograniczoną swobodę działania. Ich uprawnienia regulacyjne są zasadniczo ograniczone do sytuacji, w których kompetencje legislacyjne są wyraźnie przewidziane w ustawodawstwie krajowym (Kulesza and Sześciło, 2012[19]). Jak widać na Rysunek 4.6, 33 spośród 36 gmin wskazało, że ich decyzje regulacyjne opierają się głównie na aktach prawnych lub regulacjach wydanych przez rząd; 21 stwierdziło, że bazują na ustawodawstwie prawnym lub regulacjach wydanych przez samorząd regionalny. Wyniki te są zgodne z informacjami przekazanymi przez przedstawicieli rządu podczas rozmów konsultacyjnych z OECD.

Rysunek 4.6. Czynniki leżące u podstaw decyzji regulacyjnych podejmowanych przez badane samorządy lokalne

Większość samorządów regionalnych (6 spośród 11, które odpowiedziały na pytanie w ankiecie OECD) zadeklarowała wspieranie rozwoju działań związanych z ewaluacją polityki na poziomie samorządu lokalnego. Wsparcie to jest udzielane za pomocą różnych środków, w tym wytycznych, pomocy finansowej oraz działań mających na celu budowanie kompetencji. W niektórych przypadkach władze lokalne należą do grup sterujących ewaluacją RPO (tworzonych na szczeblu wojewódzkim). Ponadto połowa ankietowanych urzędów marszałkowskich wskazała, że opracowując polityki na poziomie regionalnym, bierze pod uwagę ich potencjalny wpływ na funkcjonowanie władz lokalnych, np. zasoby potrzebne do realizacji, istniejący potencjał administracyjny lub wykonawczy itp. Podane przez respondentów przykłady sytuacji, w których takie analizy mają lub miały miejsce, odnoszą się głównie do dokumentów programowych i planistycznych w kontekście SRW, zarówno na zasadzie ex ante, jak i ex post.

Praktyki ewaluacyjne na poziomie regionalnym i lokalnym

Niezależnie od wysiłków Polski na rzecz wspierania rozwoju ewaluacji wśród władz publicznych, istnieje możliwość zapewnienia bardziej systematycznego zaangażowania i większej akceptacji dla procesu ewaluacji wśród lokalnych samorządów

Pomimo postępów, jakie Polska poczyniła w zakresie ewaluacji w ciągu ostatnich 15-20 lat, nadal istnieje szereg wyzwań związanych z promowaniem polityki M&E na poziomie niższym niż krajowy. Są to przede wszystkim: ograniczona świadomość i zrozumienie korzyści płynących z ewaluacji (co z kolei osłabia poczucie akceptacji procesu ewaluacji i aktywnego w nią zaangażowania), ograniczone zasoby i możliwości, niewystarczające wykorzystanie wyników ewaluacji w kształtowaniu polityk, a także jakość dokonywanych ocen. Są jednak obiecujące przykłady w tym zakresie pochodzące z kilku dużych samorządów lokalnych.

Zgodnie z wynikami ankiety OECD JST wykorzystują ewaluację polityk do oceny szeregu aspektów związanych z ich funkcjonowaniem i efektywnością. Jak pokazano na Rysunek 4.7 29 samorządów lokalnych spośród 39 ankietowanych, zadeklarowało, że wykorzystuje ewaluację do oceny świadczenia usług publicznych. Jedenaście spośród 16 deklarujących wykorzystywanie ewaluacji do oceny postępów w realizacji celów sektorowych (ochrona środowiska, bezpieczeństwo, dobrostan) było położonych na terenie MOF. Podobnie wykorzystanie ewaluacji do przydzielania i obliczania dotacji krajowych jest stosowane przede wszystkim przez większe samorządy lokalne w obrębie MOF, a prawie nigdy przez samorządy lokalne spoza MOF o niskiej dostępności. Ponadto przedstawiciele relatywnie większych, miejskich samorządów wskazali, że ewaluacja służy im do oceny postępów w realizacji celów określonych w ich strategiach rozwoju. Dwadzieścia sześć z nich stwierdziło, że ewaluacja jest powiązana z interwencjami finansowanymi przez UE, co po raz kolejny ilustruje rolę wymogów w zakresie monitorowania, sprawozdawczości i oceny związanych z finansowaniem unijnym jako czynników stymulujących działania ewaluacyjne. Zadowolenie obywateli z działań lokalnych władz jest kolejnym obszarem, na którym skupia się ewaluacja.

Rysunek 4.7. Wykorzystanie ewaluacji przez samorząd lokalny – wybrane obszary

Wielkość i zasoby samorządów lokalnych wydają się odgrywać ważną rolę w ich praktykach związanych z ewaluacją. Duże miasta przeznaczają na ten cel więcej czasu i zasobów, a niektóre z nich posiadają jednostki specjalizujące się w ocenie jakości polityk (np. Płock). Z drugiej strony, jeden z respondentów stwierdził, że ewaluacja polityk i programów nie ma całościowego zakresu i często nie jest przeprowadzana.

Wpływ na budżet oraz możliwość realizacji to kluczowe obszary, na których koncentrują się samorządy lokalne badając prawdopodobne oddziaływania swoich decyzji regulacyjnych i programowych

Dwadzieścia siedem z 36 jednostek, które udzieliły odpowiedzi, wskazało, że podejmowane przez nie decyzje regulacyjne opierają się głównie na dowodach i analizie potencjalnych skutków, w tym trendów i szacunków społecznych i gospodarczych. Odpowiedzi udzielone w ankiecie OECD sugerują, że wiele samorządów lokalnych poświęca znaczną uwagę wykonalności wdrożenia oraz, w stosownych przypadkach, wykonalności decyzji politycznych i regulacyjnych - w tym tych, które wynikają z ustawodawstwa krajowego lub są podejmowane na jego podstawie. Zdecydowana większość jednostek zadeklarowała, że przy opracowywaniu przepisów na szczeblu lokalnym bierze pod uwagę ich potencjalny wpływ na środowisko lokalne, np. zasoby naturalne potrzebne do wdrożenia oraz istniejące możliwości administracyjne lub realizacyjne. Przedmiot i zakres tych analiz mogą różnić się znacząco w przypadku poszczególnych samorządów oraz w zależności od obszarów polityki. Jak wynika z odpowiedzi, na pytania zawarte w ankiecie OECD, obejmują one wpływ na stosunki z sąsiednimi gminami (np. w kontekście mobilności mieszkańców lub przeciwdziałania wykluczeniu społecznemu), zatrudnienia, środowiska i jakości życia oraz finansów gmin. Ponadto niektóre z przykładów podanych przez respondentów odnoszą się również do wydatków publicznych w uzupełnieniu do interwencji regulacyjnych. W wielu odpowiedziach podkreślano potrzebę starannego rozważenia możliwości wdrożenia procesu ewaluacji, w szczególności w odniesieniu do gminnych planów zagospodarowania przestrzennego (ponieważ decyzje podejmowane na tym etapie będą miały wpływ na alokację zasobów i podział obowiązków).

Większość samorządów lokalnych przeprowadza w jakiejś formie ewaluację ex ante i/lub ex post skutków swoich decyzji politycznych i regulacyjnych, ale oceny te są ograniczone do określonych obszarów polityki lub rodzajów interwencji

Czynności ewaluacyjne prowadzone na szczeblu lokalnym w Polsce są bardzo zróżnicowane zarówno pod względem stopnia szczegółowości, jak i zakresu (bardzo niewiele gmin wykonuje je systematycznie) i rzadko są one kompleksowe. Oceny ex post często koncentrują się na postępach we wdrażaniu, a nie na efektach lub długoterminowym oddziaływaniu, co ogranicza wykorzystanie rezultatów ewaluacji w perspektywie długoterminowej.

Zdecydowana większość samorządów lokalnych, które udzieliły odpowiedzi (29 z 36), zadeklarowała przeprowadzanie jakiejś formy oceny ex ante potencjalnych skutków (w tym kosztów i korzyści) swoich decyzji regulacyjnych i programowych. Spośród nich 19 robiło to tylko dla niektórych regulacji (a 3 dla wszystkich regulacji). Miejscowe plany zagospodarowania przestrzennego były wielokrotnie wskazywane jako poddawane ocenie ex ante. Inne przykłady obejmują analizy finansowe (w tym symulacje i prognozy) dotyczące opłat za wywóz śmieci i gospodarowanie odpadami, zmian w podatkach od nieruchomości, planów gospodarki niskoemisyjnej oraz proponowanych zmian regulacyjnych w takich obszarach jak edukacja. Niektóre gminy wskazały, że wykraczają poza analizę finansową i dodatkowo wykonują analizy ryzyka, analizy ekonomiczne, oceny skutków społecznych i oceny oddziaływania na środowisko (nie podano bliższych szczegółów).

Rysunek 4.8. Ocena *ex ante* przeprowadzana przez samorząd lokalny w odniesieniu do potencjalnych skutków ich decyzji regulacyjnych i programowych, według kategorii

Powyższe odpowiedzi należy interpretować z ostrożnością, ponieważ wywiady pogłębione przeprowadzone z przedstawicielami władz lokalnych pokazały, że rzeczywisty zakres i poziom ambicji związany z ewaluacją ex ante przeprowadzaną na szczeblu lokalnym jest bardzo zróżnicowany. Na przykład, jedno z najbardziej kompleksowych podejść (w kontekście planowaniu strategicznego) zakłada wykorzystanie metodologię foresight z , jak również szeroko zakrojone konsultacje z mieszkańcami, w tym publikację ich wyników oraz odwołanie się do paneli ekspertów. Z drugiej strony niektóre sam lok stwierdziły, że oddziaływanie rzadko poddawane jest systematycznej ocenie.

Podobnie jak w przypadku ocen ex ante, 24 z 33 badanych gmin, które udzieliły odpowiedzi, stwierdziły, że przeprowadzają oceny ex post skutków swoich polityk i regulacji, choć zdecydowana większość z nich (18) robi to tylko w przypadku niektórych regulacji, a żadna nie przeprowadza oceny ex post wszystkich regulacji.3 Podobnie jak w przypadku ocen ex ante, wydaje się, że istnieje duża różnorodność, jeśli chodzi o szczegółowość i zakres tych ocen. W niektórych samorządach lokalnych ocena ex post strategii rozwoju jest systematyczna (czasami obowiązkowa) i obejmuje ocenę ich skuteczności i adekwatności (w świetle zmian, które zaszły od momentu ich przyjęcia). W innych przypadkach jednak analiza ex post ma węższy zakres i dotyczy tylko wykonania budżetu lub postępów w realizacji inwestycji, a nie efektów lub długoterminowego oddziaływania (pomijając w ten sposób zasadniczy wymiar). Odpowiedzi udzielone przez samorządy gminne kontrastują z odpowiedziami powiatów, z których większość stwierdziła, że nie przeprowadza ocen ex post.

Zapewnienie efektywnych systemów oceny i dążenie do jakości: kilka obiecujących przykładów dobrych praktyk wobec bardzo zróżnicowanych wyników ogółem

Brak odpowiednich procedur lub ram formalnych dla współdziałania, rosnące ograniczenia zasobów oraz niewielkie zainteresowanie promowaniem decyzji podejmowanych w oparciu o dowody, to kluczowe słabości systemów ewaluacji w lokalnych samorządach. Dostęp do danych i umiejętności analityczne pracowników administracji publicznej kolejne czynniki hamujące rozwój praktyk ewaluacyjnych na poziomie samorządowym.

Samorządy lokalne, z którymi konsultowano się w ramach niniejszego projektu, wykazywały zróżnicowane postrzeganie swoich systemów ewaluacji i ich efektów. Często wskazywano na potrzebę bardziej przejrzystych ram i wytycznych. Udzielone odpowiedzi sugerują wręcz potrzebę koordynacji instytucjonalnej (obejmującej władze krajowe, regionalne i lokalne) dla racjonalnego projektowania i wdrażania systemów ewaluacji, m.in. dlatego, że świadczenie wielu usług publicznych wymaga w pewnym stopniu zaangażowania władz różnych szczebli.

Tylko około jedna czwarta badanych zadeklarowała, że jest zadowolona z obecnego systemu oceny jakości usług publicznych (z czego większość jednostek położonych w MOF), podczas gdy około 20% nie było zadowolonych, a prawie połowa określiła swój poziom zadowolenia jako "neutralny". Ponadto część respondentów wskazała, że w ich gminach nie stworzono takiego systemu.

Poproszeni o dodatkowe szczegóły, przedstawiciele władz lokalnych wymienili kilka obiecujących przykładów, np. systematyczną jakościową i ilościową ewaluację strategii rozwoju lokalnego (SRL), ze szczególnym uwzględnieniem jakości życia; stworzenie systemu ewaluacji usług publicznych na poziomie strategicznym i operacyjnym w połączeniu z próbami prowadzenia benchmarkingu poprzez współdziałanie z innymi samorządami (np. Krakowski Obszar Funkcjonalny).

Większość odpowiedzi wskazywała jednak na dostrzegane braki w systemach oceny, które ograniczają opracowanie i wdrażanie praktyk ewaluacyjnych. W wielu przypadkach wydaje się, że oceny opierają się niemal wyłącznie na ankietach satysfakcji przeprowadzanych wśród mieszkańców. Same w sobie są wartościowe, ale zazwyczaj muszą być uzupełnione innymi źródłami dowodów, aby przynieść solidne wyniki analityczne. Niektórzy respondenci informowali o braku stosownych procedur lub ram formalnych dla oceny usług publicznych, a także o rosnących ograniczeniach posiadanych zasobów i trudnościach w dostępie do odpowiednich danych. Jako istotne niedociągnięcia wskazano również "brak zainteresowania" zaangażowaniem w procesy decyzyjne, a także brak woli promowania decyzji podejmowanych w oparciu o dowody. Dotyczy to zarówno interesariuszy jak i na decydentów. Ponadto niektórzy respondenci wskazywali, że wysiłki w zakresie ewaluacji były przede wszystkim ukierunkowane na spełnienie konkretnych kryteriów związanych z finansowaniem unijnym, przez co systematycznie zaniedbywano inne potencjalnie ważne aspekty. Dwa kluczowe czynniki wpływające na jakość ocen i systemów ewaluacji - zaangażowanie interesariuszy oraz dostępność danych i zasobów - omówiono bardziej szczegółowo poniżej.

Działania promujące zaangażowanie interesariuszy w ocenę i tworzenie regulacji mają ograniczony zakres i są prowadzone w sposób nieformalny, szczególnie w mniejszych samorządach

Działania na poziomie lokalnym związane z zaangażowaniem interesariuszy4 w ewaluację i tworzeniem regulacji wydają się być stosunkowo szeroko rozpowszechnione. Często są one jednak prowadzone w sposób nieformalny i nie do końca przejrzysty (szczególnie w mniejszych samorządach). Ponadto brakuje systematycznego wykorzystywania opinii interesariuszy do celów decyzyjnych, co zostało również opisane w Rozdziale 8.

Brak formalnych procedur angażowania interesariuszy może nie dawać wszystkim zainteresowanym stronom równych szans na wyrażenie swoich potrzeb i obaw. Zasoby i możliwości mają kluczowe znaczenie dla konstruktywnego angażowania interesariuszy, zwłaszcza w sytuacjach, w których wymagana jest wiedza techniczna. Znaczna większość samorządów, które udzieliły odpowiedzi (28 na 31), zadeklarowała, że angażuje interesariuszy w ocenę ex ante lub ex post swoich decyzji regulacyjnych i programowych.5 Spośród nich 22 zadeklarowały, że robią to tylko w przypadku niektórych regulacji, co jest mniej więcej zgodne z odpowiedziami na temat wykorzystywania oceny ex ante i ex post. Spotkania i konferencje lub dyskusje osobiste są zdecydowanie najczęściej stosowanymi metodami konsultacji w połączeniu z miejskimi platformami konsultacyjnymi i spotkaniami on-line. Wywiady pogłębione prowadzone z JST sugerują, że interakcje z interesariuszami często odbywają się w sposób nieformalny, bez systematycznej dokumentacji, szczególnie w mniejszych samorządach. Niektóre z nich poinformowały o przekazywaniu komunikatów związanych z konsultacjami za pośrednictwem prominentnych postaci lokalnych, takich jak księża i inne znane osobistości, w celu dotarcia do określonych grup społecznych, w tym osób starszych.

Wydaje się, że możliwe jest bardziej systematyczne i szerzej zakrojone monitorowanie informacji zwrotnych przekazywanych przez interesariuszy. Zostało to szerzej omówione w Rozdziale 8. Większość lokalnych samorządów prowadzących działania związane z angażowaniem interesariuszy stwierdziła, że przekazuje podmiotom i osobom uczestniczącym w konsultacjach pewne informacje zwrotne na temat ich wkładu w dyskusję. Podczas wywiadów niektórzy respondenci twierdzili jednocześnie, że takie informacje zwrotne, jeśli w ogóle istnieją, są często ograniczone. Czy i w jakim stopniu wkład wniesiony przez interesariuszy biorących udział w konsultacjach jest docelowo wykorzystywany w procesie podejmowania decyzji, zależy w szczególności od charakteru danej regulacji. Zdaniem 17 z nich ma to miejsce w przypadku niektórych regulacji, a zdaniem 8 w przypadku najważniejszych regulacji. Podobny rozkład odpowiedzi dotyczy publikowania informacji otrzymanych od interesariuszy.

Niedostateczna dostępność danych w odpowiednim czasie i na czytelnej platformie, ograniczone zasoby i niedoskonałe kwalifikacje analityczne stanowią główne przeszkody w rozwoju praktyk ewaluacyjnych na poziomie samorządu lokalnego. Są one krytycznymi czynnikami hamującymi wprowadzanie praktyk ewaluacyjnych. Wpływa to na niesystematyczne wykorzystywanie wyników ewaluacji do celów decyzyjnych. Chociaż rząd krajowy podjął wysiłki w celu sprostania tym wyzwaniom (np. opracowanie ramowych modeli wskaźników dla interwencji publicznych, działania szkoleniowe, wytyczne itp.), konieczne są dalsze działania, zwłaszcza w świetle dużego zróżnicowania wśród samorządów pod względem zainteresowania i zrozumienia potencjalnych korzyści płynących z ewaluacji.

Zgodnie z wynikami ankiety OECD kluczowe wyzwania dla samorządów lokalnych w zakresie promowania i prowadzenia ewaluacji polityk6 obejmują: środki finansowe na prowadzenie ewaluacji; dostępność danych; opóźnienia czasowe w uzyskiwaniu i mierzeniu rezultatów długoterminowych polityk; ograniczenia kapitału ludzkiego (umiejętności i kwalifikacje) w zakresie zarządzania i prowadzenia ewaluacji przez pracowników samorządowych. Oprócz tego często wymieniane są ograniczenia finansowe i niesatysfakcjonujące wykorzystanie wyników ewaluacji polityk w procesie ich kształtowania oraz jakość wyników oceny (zob. Rysunek 4.9). Wyposażenie w zasoby jest kluczowym czynnikiem determinującym zakres i zasięg działań ewaluacyjnych na poziomie lokalnym, ponieważ ewaluacja jest finansowana przede wszystkim ze środków gminnych. Wszystkie 33 samorządy, które odpowiedziały na tę część ankiety OECD, zadeklarowały, że działania w zakresie ewaluacji są finansowane ze środków własnych, podczas gdy zaledwie 7 wskazało fundusze UE, 5 fundusze samorządu regionalnego, a 3 fundusze rządowe (dopuszczono kilka opcji odpowiedzi).

Rysunek 4.9. Dostrzegane wyzwania związane z promowaniem polityki M&E na poziomie lokalnym

Odpowiedzi samorządów lokalnych dotyczące ograniczeń w rozwoju praktyk ewaluacyjnych są zbieżne z odpowiedziami udzielonymi przez regionalne władze samorządowe. Trzy czwarte urzędów marszałkowskich uznało ograniczenia finansowe samorządów poziomu lokalnego za główne wyzwanie w promowaniu działań związanych z ewaluacją swoich polityk.. Niewystarczająca jakość wyników ewaluacji polityk była z kolei głównym wyzwaniem w tym zakresie według dwóch trzecich ankietowanych urzędów marszałkowskich. Inne wyzwania obejmują zainteresowanie i zapotrzebowanie, jak również braki w ewaluacji polityk na poziomie niższym niż krajowy. Ponadto, niektórzy respondenci wskazywali na ograniczone kompetencje analityczne, w tym zdolność do wyciągania wniosków na podstawie danych i wskaźników, jak również na potrzebę wyższej jakości i regularnego dostępu do danych na mniej zagregowanym poziomie.

Dostęp do danych i informacji wydaje się obecnie ograniczony. Zwłaszcza do danych gromadzonych przez rząd w ramach jego działalności ustawowej. Oczekuje się, że realizowany aktualnie projekt mający na celu poprawę monitorowania usług publicznych (System Monitorowania Usług Publicznych, SMUP) przyczyni się do rozwoju ewaluacji (zarówno ex ante, jak i ex post) poprzez udostępnienie niektórych istotnych danych, jako że bardzo duża część działań samorządu lokalnego związana jest ze świadczeniem usług publicznych.

Należałoby rozważyć, czy możliwe jest przekazanie władzom lokalnym dodatkowych środków w celu wsparcia rozwoju praktyk ewaluacyjnych. Dla przykładu, w ramach Programu Operacyjnego Kapitał Ludzki 2007-13 finansowano projekty, w których pracownicy gmin przechodzili szkolenia z zakresu M&E. Mając to na uwadze, warto zbadać możliwości poprawy komunikacji i współpracy instytucjonalnej na różnych szczeblach administracji, aby zapewnić odpowiednią wiedzę i zrozumienie przez samorządy lokalne (zwłaszcza mniejsze i o ograniczonych możliwościach) już dostępnych zasobów, np. wytycznych, źródeł danych, oferty szkoleniowej, wiedzy specjalistycznej itp. W celu optymalnego wykorzystania dostępnych zasobów można również dążyć do współpracy instytucjonalnej między samorządami lokalnymi, ewentualnie z udziałem władz szczebla regionalnego, które pełnić mogą rolę koordynatora lub organizatora. Niektóre mniejsze samorządy lokalne nie muszą lub nie mogą sobie pozwolić na posiadanie na stałe wszelkich niezbędnych zasobów wiedzy i potencjału, ale mogą skorzystać z dostępu do sieci ekspertów w dziedzinie ewaluacji. Szczególną uwagę należy zwrócić na samorządy o niskiej dostępności położone poza MOF, ponieważ mogą one napotkać przeszkody w korzystaniu z takich sieci i zasobów.

Podejmowanie strategicznych decyzji przez samorząd lokalny w oparciu o dowody

Wykorzystywanie wyników ewaluacji jako podstawy dla decyzji politycznych i regulacyjnych wciąż nie jest powszechną praktyką

Ogólnie rzecz biorąc wydaje się, że nie ma wyraźnych zasad dotyczących wykorzystywania przez władze szczebla lokalnego i regionalnego wyników ewaluacji w ich procesach decyzyjnych (z wyjątkiem instytucji zarządzających funduszami polityki spójności UE, których jednostki oceniające są odpowiedzialne za przeprowadzanie ewaluacji i monitorowanie wdrażania związanych z nią zaleceń). Wykorzystywanie wyników oceny wydaje się zależeć od dostępnych możliwości, a także od wewnętrznej organizacji i osobistego zaangażowania czołowych osób odpowiedzialnych za polityki lub urzędników wysokiego szczebla. Niektóre większe jednostki samorządu lokalnego usytuowane w MOF wydają się być dość zaawansowane pod tym względem, a oceny przez nie przeprowadzane systematycznie, wyraźnie wpisują się w cykl programowy i są połączone z odpowiednimi działaniami naprawczymi lub usprawniającymi. Te przypadki kontrastują jednak z sytuacją w samorządach, gdzie ocena albo nie jest w ogóle przeprowadzana, albo jest luźno powiązana z procesem decyzyjnym.

Na pytanie o to, w jaki sposób wyniki oceny polityki są wykorzystywane do poprawy usług i polityki, 24 z 37 gmin odpowiedziało, że wyniki te są omawiane na forum rady lub jej komisji, a 12 oświadczyło, że upublicznia je w celu zaangażowania interesariuszy. Co istotne bardzo niewiele samorządów (9) stwierdziło, że istnieje związek między wynikami oceny a alokacją zasobów oraz między wynikami oceny a zachętami i wynagrodzeniami pracowników (3). Tylko siedem zadeklarowało, że posiada ustrukturyzowane lub zinstytucjonalizowane mechanizmy (np. mechanizm reagowania przez kierownictwo), których celem byłoby monitorowanie wniosków z oceny, a cztery zgłosiły brak bezpośredniego wpływu wyników oceny na kształtowanie polityk (podczas gdy siedem oświadczyło, że nie ocenia polityk i programów). Wyniki te są spójne z informacjami zwrotnymi uzyskanymi podczas wywiadów, z których wynika, że decydenci odpowiedzialni za polityki nie wykorzystują systematycznie wyników ewaluacji. Na pytanie o wyzwania związane z opracowywaniem strategii rozwoju ponad połowa powiatów wskazała brak oceny wpływu programów będących częścią strategii rozwoju jako wyzwanie.7

Ogólnie rzecz biorąc, istnieje potrzeba posiadania jasno określonych ram i procesów, które umożliwią tworzenie polityki i regulacji opartych na dowodach, zapewnią systematyczne wykorzystywanie dowodów w całym cyklu programowym (w tym budżetowym), zapewnia przestrzeganie dobrych praktyk w perspektywie długoterminowej i będą promować takie podejście do procesów decyzyjnych. Kroki, które można podjąć w tym celu obejmują ustanowienie proporcjonalnych wymogów dotyczących przejrzystego i opartego na dowodach procesu decyzyjnego (np. podanie do publicznej wiadomości uzasadnionego wyjaśnienia w przypadkach, gdy wyniki oceny nie są brane pod uwagę), jak również ustanowienie jasnych i wyraźnych powiązań pomiędzy dostępnymi faktami i dowodami, a zasobami. Jak zaleca OECD w swoich najlepszych praktykach w zakresie oceny skutków regulacji (OSR) (OECD, 2020[20])administracja może promować wykorzystywanie wyników ewaluacji w procesie podejmowania decyzji również poprzez włączenie jej kryteriów do oceny pracowniczej urzędników.

Jasne ramy instytucjonalne mogłyby również pomóc w rozwiązaniu istniejących niedociągnięć w zakresie współpracy. Inne wymienione przeszkody to brak wykwalifikowanego personelu, który mógłby uczestniczyć w czynnościach koordynacyjnych oraz zmieniające się uwarunkowania regulacyjne. W oparciu o informacje zebrane w innych częściach ankiety OECD, jak również podczas wywiadów pogłębionych, niewystarczająca koordynacja i poziom świadomości wydają się dodatkowo utrudniać rozwój praktyk i kultury ewaluacji na poziomie lokalnym. Rozpowszechnianie dobrych praktyk i wymiana doświadczeń pomiędzy posiadającymi większe zasoby i bardziej doświadczonymi samorządami, a ich mniej zaawansowanymi w tym zakresie partnerami, mogłyby także okazać się korzystne.

Należy zwiększyć promocję i komunikowanie efektów ewaluacji w celu poprawy wykorzystywania faktów i dowodów

Osoby odpowiedzialne za kształtowanie polityk i interesariusze nie mogą korzystać z dowodów lub wyników M&E jeśli o nich nie wiedzą (Haynes et al., 2018[21]). Pierwszym krokiem do promowania wykorzystywania dowodów jest zatem ich upublicznienie i zakomunikowanie ich docelowym użytkownikom (OECD, 2020[22]).

Publikowanie danych i informacji, takich jak wyniki ewaluacji, zapewnia większe oddziaływanie, a tym samym zwiększa prawdopodobieństwo ich wykorzystania. Dane OECD (2020[22]) wskazują, że większość badanych krajów standardowo udostępnia wyniki ewaluacji i zalecenia ogółowi społeczeństwa. Na przykład poprzez publikację sprawozdań na stronie internetowej instytucji zlecających. Nacisk na udostępnianie wyników ewaluacji wynika po części również z integracji europejskiej, jako że upublicznianie wyników ewaluacji jest wymogiem regulacji unijnych. Jak bowiem wskazuje Art. 54 ust. 4 Rozporządzenia w sprawie ustanowienia wspólnych przepisów (CPR) na lata 2014-2020, wszystkie oceny są udostępniane publicznie. Bazując na postanowieniach tego artykułu wytyczne dot. Europejskich Funduszy Strukturalnych i Inwestycyjnych dotyczące monitorowania i ewaluacji zalecają, aby oceny były publikowane w Internecie, a ich streszczenia były napisane w języku angielskim, aby ułatwić wymianę wyników pomiędzy krajami. Zachęca się również kraje członkowskie do wykraczania poza podstawowe wymogi prawne poprzez stosowanie bardziej zaawansowanych technologicznie środków publikacji, takich jak interaktywne mapy elektroniczne. W Polsce wszystkie ewaluacje programów polityki spójności i funduszy strukturalnych są udostępniane na stronie www.ewaluacja.gov.pl. Strona ta zawiera również oceny programów regionalnych oraz narzędzia metodologiczne dla oceniających. Znajdują się tam na przykład porady z zakresu metodologii badań, glosariusz oraz wskazówki ewaluacyjne skierowane do pracowników wszystkich jednostek administracji publicznej.

Jednakże, na poziomie lokalnym tylko jedna trzecia ankietowanych polskich gmin upublicznia swoje wyniki ewaluacji, aby zaangażować interesariuszy we wnioski wynikające z rezultatów ewaluacji (patrz Rysunek 4.10). W przypadku małych gmin można to częściowo wyjaśnić brakiem niezbędnych do tego narzędzi - takich jak baza danych z możliwością wyszukiwania online.

Rysunek 4.10. Upublicznianie wyników ewaluacji na poziomie lokalnym w Polsce

Niemniej jednak publiczna dostępność wyników ewaluacji ma zasadnicze znaczenie dla promowania wykorzystania danych i docelowo lepszego monitorowania wdrażania zaleceń, przy jednoczesnym zapewnieniu rozliczalności wobec obywateli z wykorzystania środków publicznych (OECD, 2020[22]). Na szczeblu krajowym można by stworzyć specjalną stronę na portalu www.ewaluacja.gov.pl, na której władze lokalne mogłyby zamieszczać wyniki swoich ewaluacji. Strona ta mogłaby również zawierać oceny przeprowadzane przez instytucje zarządzające na poziomie regionalnym, które są już uwzględnione na tej platformie.

Co ważniejsze, dane OECD pokazują, że wykorzystywanie dowodów, informacji przez osoby odpowiedzialne za kształtowanie polityk i podejmowanie decyzji staje się bardziej prawdopodobne, jeżeli informacje takie są dla nich łatwo dostępne. Badania pokazują, że samo publikowanie wniosków, danych, wyników nie zawsze znacząco poprawia wykorzystywanie rezultatów ocen w kształtowaniu polityk. Dowody takie należy najpierw przełożyć na zrozumiały język i odpowiedzieć na potrzeby użytkowników w zakresie wiedzy (OECD, forthcoming[23]). Badania prowadzone w Polsce pokazują, że pomimo istnienia platformy internetowej służącej do upubliczniania wyników ewaluacji, faktycznie korzystają z niej głównie pracownicy departamentów zlecających. (Stockmann, Meyer and Taube, n.d.[24]). Dlatego też dostosowane strategie komunikacji i upowszechniania danych, zwiększające dostęp do jasno przedstawionych wyników badań, są bardzo ważne dla wykorzystywania faktów i dowodów. (OECD, 2020[22]). W wytycznych dot. Funduszu Spójności UE w zakresie monitorowania i ewaluacji na lata 2014-2020 podkreślono znaczenie odpowiedniego sposobu komunikowania oraz sprofilowania wniosków wynikających z procesów ewaluacyjnych i raportów z nich powstających.

Prostym i efektywnym kosztowo sposobem na uczynienie wyników M&E bardziej przyjaznymi dla użytkownika jest włączenie do raportów ewaluacyjnych streszczeń o określonej długości. Na przykład brytyjskie centrum What Works, w skład którego wchodzi Education Endowment Foundation, Early Intervention Foundation i What Works Centre for Local Economic Growth, opracowują wiele streszczeń polityk, aby upowszechnić kluczowe informacje wśród swoich docelowych odbiorców. Dlatego też, gdy władze lokalne zlecają ewaluacje, mogłyby również uwzględnić wymóg sporządzenia podsumowania zarządczego z rekomendacjami, w celu ich skuteczniejszego upowszechnienia.

Ponadto dowody pochodzące z M&E mogłyby być bardziej strategicznie komunikowane. Istnieje 16 Regionalnych Obserwatoriów Terytorialnych (ROT), których zadaniem jest rozpowszechnianie informacji i danych dotyczących rozwoju regionalnego w celu zwiększenia oddziaływania M&E polityk terytorialnych. Jednakże badania wykazały, że sposób udostępniania danych na stronach internetowych tych obserwatoriów jest niejednorodny (Maśloch and Piotrowska, 2017[13]). Platforma internetowa strategii (https://strateg.stat.gov.pl/) gromadzi dane statystyczne związane z wdrażaniem polityki spójności na poziomie krajowym i regionalnym w sposób systematyczny i wizualnie efektowny, jednakże nie udostępnia ona bezpośrednio raportów z przeprowadzonych ewaluacji.

Rząd Polski mógłby rozważyć przekształcenie tej platformy strategicznej w centrum kompleksowej informacji na temat realizowanych strategii rozwoju, z uwzględnieniem dowodów zebranych na poziomie lokalnym i przeprowadzonych ocen. Byłaby to szansa na wykorzystanie narzędzi syntezy dowodów, takich jak te stosowane w brytyjskich centrach What Works (więcej informacji na temat tych narzędzi znajduje się w następnym rozdziale dotyczącym syntezy dowodów).

Ponadto, wykorzystanie mediów społecznościowych jest także dobrą opcją sprzyjającą skutecznemu dzieleniu się danymi i informacjami, w szczególności jeśli chodzi o wyniki monitoringu. Samorządy terytorialne mogą dzielić się istotnymi informacjami w mediach społecznościowych, co jest efektywnym kosztowo sposobem udostępniania danych z monitoringu strategii rozwoju. Na poziomie krajowym zwyczajowo jest to praktykowane poprzez Twitter „news.eval”. W Kanadzie na przykład, ministerstwa zaczęły komunikować wyniki ewaluacji poza stronami internetowymi poszczególnych departamentów, wykorzystując w tym celu platformy takie jak Twitter i Linkedin.

Ekosystem ewaluacji, który rozwinął się wokół interwencji w ramach polityki spójności UE, mógłby zostać wykorzystany do zwiększenia zapotrzebowania na podejmowanie decyzji opartych na dowodach.

Po przystąpieniu Polski do UE podjęto na poziomie krajowym liczne kroki na rzecz promowania praktyk ewaluacyjnych oraz, co istotne, kultury i systemu systematycznej ewaluacji działań podejmowanych w ramach polityki spójności. W ich skład weszły między innymi szkolenia (w wielu przypadkach również współfinansowane przez UE), spotkania z urzędnikami administracji regionalnej w celu przedstawienia i omówienia wyników ewaluacji, coroczne konferencje ewaluacyjne oraz program studiów podyplomowych (Akademia Ewaluacji). Działania te przyczyniły się do poprawy zdolności analitycznych w ramach administracji regionalnej, jak również do wyraźnego zakomunikowania znaczenia ewaluacji dla realizacji celów polityki publicznej (Wojtowicz and Kupiec, n.d.[25]). Inną godną uwagi inicjatywą wspierającą ocenę w tym kontekście jest utworzenie krajowej bazy danych zawierającej oceny przeprowadzane na potrzeby polityki spójności (zob. Ramka 4.3 poniżej), jak również Systemu Zarządzania Rekomendacjami w celu monitorowania wdrażania zaleceń zawartych w ocenie.

Ramka 4.3. Polska krajowa baza danych ewaluacji polityki spójności

Wszystkie ewaluacje zlecane w Polsce, w tym te dot. wykorzystania funduszy unijnych, muszą być udostępniane publicznie. Na potrzeby ewaluacji związanych z polityką spójności stworzono krajową bazę danych. Wszystkie ewaluacje są publikowane na stronie internetowej www.ewaluacja.gov.pl. Na platformie tej udostępniane są wyniki ponad 1000 badań przeprowadzonych od 2004 r., a także narzędzia metodologiczne skierowane do osób przeprowadzających oceny.

Źródło: OECD (2020[22]), Improving Governance with Policy Evaluation: Lessons From Country Experiences, https://doi.org/10.1787/89b1577d-en.

Chociaż nie można zaprzeczyć, że podejście rządu do wymogów polityki spójności zadziałało z czasem jako główny czynnik rozwoju ewaluacji, wydaje się, że istnieją jeszcze znaczne możliwości poszerzenia i wzmocnienia świadomości i wiedzy na temat korzyści, jakie można uzyskać z pomiaru wyników i ewaluacji w ujęciu bardziej ogólnym. Jeśli chodzi o podmioty, dotyczy to w szczególności samorządów lokalnych, których zaangażowanie w budowę potencjału i podnoszenia poziomu świadomości nie wydaje się być powszechne. Jeśli chodzi o obszary zastosowania, to obejmuje to przede wszystkim interwencje publiczne inne niż działania wspierane przez fundusz spójności.

W tym kontekście, konieczne jest sprostowanie pewnego istotnego nieporozumienia związanego ze sposobem, w jaki postrzegana jest zazwyczaj ewaluacja. Kluczowe jest, aby na poziomie administracji lokalnej ewaluacja zaczęła być postrzegana jako proces daleko bardziej wykraczający poza zwykły mechanizm audytu lub kontroli. To narzędzie które może zwiększyć możliwości urzędników samorządowych w codziennej pracy, zapewniając wyższą efektywność i rozliczalność. Podejmowanie decyzji w oparciu o dowody w kontekście działalności regulacyjnej ma zasadnicze znaczenie, ponieważ przepisy ustawowe i wykonawcze mają wpływ na wszystkie dziedziny działalności gospodarczej i życia oraz decydują o naszym bezpieczeństwie i jakości życia, łatwości prowadzenia działalności gospodarczej oraz realizacji celów społecznych i środowiskowych. Ocena ryzyka ex ante pomaga w podejmowaniu lepszych decyzji poprzez dostarczanie obiektywnych informacji na temat prawdopodobnych korzyści i kosztów poszczególnych podejść regulacyjnych, jak również poprzez krytyczną ocenę alternatywnych opcji. Ocena ex post jest z kolei kluczowym narzędziem służącym zapewnieniu, że regulacje służą zdefiniowanemu celowi, że przedsiębiorstwa nie są niepotrzebnie obciążane wymogami, a życie obywateli jest objęte ochroną. (OECD, 2018[26]).

Mając na uwadze wyżej wspomniane korzyści, warto byłoby, aby rząd zaangażował się w dodatkowe działania informacyjne skierowane do samorządów lokalnych, w miarę możliwości we współpracy z władzami regionalnymi. Działania te można by połączyć z budowaniem kompetencji obejmujących umiejętności i metody analityczne wzmacniające ogólną zdolność instytucjonalną do kształtowania polityk opartych na dowodach. Wymaga to uczynienia instytucji publicznych bardziej innowacyjnymi, efektywnymi i lepiej przygotowanymi do radzenia sobie z globalnymi i lokalnymi wyzwaniami, poprzez określenie umiejętności i kompetencji, które muszą one doskonalić, procedur instytucjonalnych, jakie należy wdrożyć oraz zachęt, które powinny zostać zapewnione. (OECD, n.d.[27]).

Przydatna może okazać się również strategiczna rewizja analitycznego ukierunkowania działań ewaluacyjnych, jak również alokacji źródeł związanych z ewaluacją. W 2017 roku przeprowadzono badanie, które dotyczyło rekomendacji zawartych w badaniach ewaluacyjnych prowadzonych w ramach polskiej Narodowej Strategii Spójności na lata 2011-2015 (Sobiech and Kasianiuk, 2017[28]). Jego wyniki sugerują, że rozległa wiedza wytworzona przez badania ewaluacyjne nie jest w pełni wykorzystywana do tworzenia polityk i ujawniają "znaczącą rozbieżność między celami ewaluacji (rozliczalność i tworzenie wiedzy) a dominującymi rekomendacjami skoncentrowanymi na wdrażaniu programu". Zauważono również, że "osoby oceniające nie przedstawiły uzasadnienia dla proponowanych modyfikacji". W badaniu OECD aż 20 spośród 33 lokalnych samorządów wskazało, że ewaluacja była prowadzona przez zewnętrznych konsultantów. Chociaż wiedza specjalistyczna pochodząca od zewnętrznych ekspertów jest korzystna, inwestowanie w rozwój wymaganych kompetencji wewnętrznych jest konieczny, aby wykorzystać wyniki oceny w sensowny sposób i pomóc w skorygowaniu zidentyfikowanych niedociągnięć. Urzędnicy o odpowiednich kompetencjach mogą na przykład dokonywać syntezy i przekazywać dostępne dowody, działając w ten sposób jako "pośrednicy" w kontaktach z decydentami. Wskazówki i/lub pomoc w tym zakresie mogą być zapewniane przez istniejące struktury, takie jak Centrum Ewaluacji i Analiz Polityk Publicznych, które już teraz pełnią rolę brokera wiedzy w Polsce (OECD, 2020[22]).

Ramka 4.4. Rola brokerów wiedzy

Władze mogą skorzystać z pomocy brokerów wiedzy, aby poprawić swoją komunikację z odbiorcami danych i informacji w zakresie ich szczególnych potrzeb i oczekiwań związanych z kształtowaniem polityk. Z drugiej strony brokerzy wiedzy mogą również pomóc dostawcom informacji i danych w przełożeniu ich wyników na język decydentów politycznych, dokonując ich syntezy, rozpowszechniając je i wyrażając w jasny i odpowiedni sposób.

Ogólnie rzecz biorąc, brokerzy wiedzy muszą rozumieć techniczne uwarunkowania badań i ewaluacji, jak również praktyczne aspekty działań i wyborów dokonywanych przez decydentów politycznych, a także czynniki polityczne, gospodarcze i społeczne, które mają na nie wpływ.

Źródło: OECD (2020[22]), Improving Governance with Policy Evaluation: Lessons From Country Experiences, https://doi.org/10.1787/89b1577d-en.

Analogicznie należy zadbać o to, aby pracownicy samorządów lokalnych byli w stanie krytycznie oceniać wyniki ewaluacji i zapobiegać podejmowaniu decyzji na podstawie niewystarczająco solidnych dowodów. Jest to problem, w zakresie którego rząd polski podjął szereg działań (zob. Ramka 4.5). Rozwijanie takiej wiedzy i umiejętności wśród innych kategorii podmiotów poza rządem może, przy jednoczesnym angażowaniu interesariuszy, w dalszym ciągu przyczyniać się do tworzenia zapotrzebowania na podejmowanie decyzji opartych na dowodach. Ponadto zaangażowanie pracowników akademickich w ewaluację (w ramach ich badań naukowych) zostało również wspomniane przez przedstawicieli wielu samorządów lokalnych w odpowiedziach na pytania w ankiecie OECD. W przyszłości cenne byłoby precyzyjne określenie form takiego zaangażowania, jego wkładu w poprawę jakości ewaluacji oraz możliwości replikacji.

Ramka 4.5. Lista sprawdzająca samooceny polskiego Ministerstwa Funduszy Rozwoju i Polityki Regionalnej

Lista sprawdzająca samooceny, przedstawiona w krajowych wytycznych w zakresie ewaluacji polityki spójności na lata 2014-2020, ma na celu zapobieganie wdrażaniu rekomendacji z ewaluacji o niskiej jakości. System ten, stosowany również przez jednostki ewaluacyjne na poziomie regionalnym, jest jednym z elementów meta-ewaluacji, skupiającym się raczej na umiejętnościach i praktykach osób oceniających niż na samej ewaluacji. Lista kontrolna obejmuje takie kryteria jak stopień osiągnięcia celów, zastosowana metodologia i wiarygodność danych. Każdemu kryterium przypisana jest ocena liczbowa, którą można uzupełnić o komentarze jakościowe.

Źródło: OECD (2020[22]), Improving Governance with Policy Evaluation: Lessons From Country Experiences, https://doi.org/10.1787/89b1577d-en.

Lokalne samorządy mogą rozważyć wykorzystanie metodologii syntezy dowodów, aby promować wykorzystywanie dowodów

Istnieje kilka metod przeglądu i oceny bazy dowodowej. Metodologie syntezy dowodów mają na celu nie tylko zebranie wyników ewaluacji i ich przegląd w mniej lub bardziej systematyczny sposób w celu omówienia metod, ale także ocenę i oszacowanie siły dowodów. Syntezy dowodów stanowią użyteczne narzędzie upowszechniania informacji, ponieważ umożliwiają decydentom dostęp do dużych zbiorów dowodów, a także szybką ocenę stopnia, w jakim mogą na nich polegać. (OECD, 2020[22]). Metody te służą zasadniczo do gromadzenia, standaryzacji, przeglądu i oceny bazy dowodowej podejmowanych interwencji (zob. Ramka 4.6). Częściej jednak synteza dowodów jest prowadzona przez instytucje niezależne od rządu, takie jak centra wymiany informacji czy brokerzy wiedzy, na przykład brytyjskie What Works Centres lub Campbell Collaboration. (Neuhoff et al., 2015[29]; Results for America, 2017[30]).

Ramka 4.6. Przykłady metodologii przeglądu bazy dowodowej

Skuteczne kształtowanie polityk wymaga wykorzystania najlepszych dostępnych dowodów, co z kolei oznacza konieczność dokonania przeglądu i wyboru istniejących dowodów dotyczących danego zagadnienia będącego przedmiotem polityki. Różne metody przeglądu umożliwiają zarządzanie i interpretowanie wyników dużej bazy dowodów:

Szybki przegląd w celu określenia zakresu: Proces ten o charakterze nieusystematyzowanym może trwać od jednego tygodnia do dwóch miesięcy. Polega on na dokonaniu szybkiego przeglądu dostępnych, istniejących badań na określony temat w celu zdefiniowania ich zakresu. Umożliwia to zmapowanie literatury dotyczącej określonego zagadnienia przy użyciu jedynie łatwo dostępnych, elektronicznych i kluczowych zasobów, sięgając do dwóch źródeł bibliograficznych.
Szybka ocena dowodów (Rapid Evidence Assessment - REA): Ta systematyczna i bardziej czasochłonna metoda (zajmująca od dwóch do sześciu miesięcy) polega na szybkim przeglądzie istniejących badań dotyczących danej kwestii politycznej i syntezie dowodów dostarczonych przez te badania. Jej celem jest skrupulatne i systematyczne wyszukiwanie dowodów i ich krytyczna ocena. Aby zyskać na czasie, można ograniczyć pewne aspekty procesu przeglądu systematycznego, takie jak zawężenie pytania lub rodzaj i zakres uwzględnianych danych. Skrócenie tradycyjnego procesu przeglądu systematycznego umożliwia szybszą syntezę istniejących istotnych dowodów, ale wiąże się z ryzykiem braku obiektywizmu.
Przegląd systematyczny: Jest to najbardziej solidna metoda przeglądu, syntezy i mapowania istniejących dowodów dotyczących danego zagadnienia stanowiącego przedmiot polityki. Wymaga ona większych nakładów środków, ponieważ proces ten może trwać minimum 8-12 miesięcy oraz powołania zespołu badawczego. Ma jasno sprecyzowane cele i dokładną strategię wyszukiwania, która uwzględnia szeroki zakres danych. Badania są wybierane i poddawane ocenie według wyraźnych i jednolitych kryteriów, a powody wykluczenia poszczególnych badań muszą być podane. Ta przejrzysta i kompleksowa metoda maksymalnie ogranicza stronniczość w wyszukiwaniu, wyborze i syntezie istniejących badań. Co więcej, pozwala na stworzenie skumulowanej i solidnej bazy dowodów na temat określonego zagadnienia. Ponadto, przeglądy systematyczne mają zastosowanie zarówno do badań ilościowych, jak i innych rodzajów pytań.

Źródło: UK Civil Service (Służba Cywilna Wielkiej Brytanii) (n.d.[31]), What is a Rapid Evidence Assessment? ,http://www.civilservice.gov.uk/networks/gsr/resources-and-guidance/rapidevidence-assessment/what-is(dostęp: 12 sierpnia 2019 r.).

W tym kontekście ROT mogłyby rozważyć pełnienie roli brokerów wiedzy na poziomie lokalnym. Brokerzy wiedzy to instytucje, które zazwyczaj odgrywają kluczową rolę w umacnianiu relacji i współpracy między dostawcami danych i dowodów a decydentami, pomagając decydentom w dostępie do informacji i posługiwaniu się materiałami badawczymi, które mogą być nieznane, poprzez zastosowanie metodologii syntezy dowodów. ROT mogłyby zatem wykorzystywać i udostępniać narzędzia syntezy dowodów, takie jak systemy oceny dowodów, w celu ułatwienia korzystania z nich przez lokalnych decydentów.

Rekomendacje

Rekomendacje dla władz krajowych i/lub regionalnych

Promowanie systematycznego monitorowania na szczeblu lokalnym poprzez zapewnianie odpowiednio dostosowanych wytycznych.

Nowelizacja Ustawy o zasadach prowadzenia polityki rozwoju z listopada 2020 r. stanowi, że gminy powinny tworzyć własne systemy monitorowania, ale nie precyzuje jak należy to zrobić. Z danych OECD wynika, że tylko 17 z 36 badanych gmin sporządza regularne raporty w celu monitorowania swoich priorytetów programowych. Spośród tych 17 tylko kilka opracowuje je częściej niż raz w roku.

Ministerstwo Funduszy i Polityki Regionalnej mogłoby zatem zachęcać gminy do prowadzenia monitoringu jako skutecznego narzędzia zarządzania, dostarczając im dostosowanych do ich potrzeb wytycznych i metodologii monitorowania lokalnych strategii rozwoju.

Zwiększenie świadomości władz lokalnych odnośnie korzyści, jakie można osiągnąć dzięki pomiarom efektywności i ogólnej ewaluacji

Niezależnie od działań podejmowanych w Polsce na rzecz wspierania rozwoju ewaluacji wśród władz publicznych, istnieje możliwość zapewnienia bardziej systematycznego zaangażowania i wzmocnienia poczucia odpowiedzialności w tym zakresie na szczeblu samorządu lokalnego.

Władze krajowe i regionalne powinny zatem skorzystać z ekosystemu ewaluacji jaki rozwinął się wokół interwencji w ramach Polityki Spójności UE, aby przekonać samorządy lokalne, że pomiar i ocena efektywności może pomóc im lepiej służyć obywatelom.

Przezwyciężanie ograniczeń potencjału i zasobów w odniesieniu do rozwoju praktyk monitorowania i ewaluacji przez miasta i gminy.

Pomimo postępów poczynionych przez Polskę w zakresie ewaluacji w ciągu ostatnich 15-20 lat, nadal istnieje szereg wyzwań związanych z promowaniem polityki monitorowania i oceny na szczeblu niższym niż krajowy, zwłaszcza ze względu na ograniczone zasoby i zdolności.

Aby rozwiązać te problemy, warto aby jednostki administracji krajowej i regionalnej rozważyły, czy mogą udostępnić lokalnym samorządom dodatkowe zasoby w celu ułatwienia rozwoju praktyk monitorowania i ewaluacji, między innymi poprzez zwiększenie zdolności analitycznych.

Promowanie wymiany dobrych praktyk i lepszego zarządzania wiedzą w celu podejmowania decyzji w oparciu o dostępne dane

Decydenci polityczni i interesariusze nie mogą wykorzystywać konkretnych danych lub wyników monitorowania i oceny, jeżeli o nich nie wiedzą. Pierwszym krokiem w promowaniu korzystania z danych jest zatem ich upublicznienie i zakomunikowanie docelowym użytkownikom. Władze krajowe i regionalne mają do odegrania kluczową rolę w propagowaniu wykorzystywania danych, w tym wyników ewaluacji, poprzez poprawę zarządzania wiedzą i zadbanie, aby istotne informacje były łatwo dostępne.

W tym celu należy wykorzystać istniejące platformy i instytucje. Na przykład, Ministerstwo Funduszy i Polityki Regionalnej może rozważyć utworzenie specjalnej strony internetowej www.ewaluacja.gov.pldla lokalnych samorządów, na której można by udostępniać wyniki prowadzonej ewaluacji. Ponadto, wiedza i zasoby zarówno ROT, jak i Wojewódzkich Ośrodków Badań Regionalnych (WOBR) mogą być wykorzystane do poprawy zarządzania wiedzą i dostępności odpowiednich informacji i analiz.

Analogicznie, dostosowane do potrzeb strategie komunikacji i rozpowszechniania informacji zwiększające dostęp do przejrzyście przedstawionych wyników badań, są bardzo ważne dla korzystania z danych.

Nowa platforma Monitorowania Rozwoju Lokalnego mogłaby zostać wykorzystywana jako centrum kompleksowej informacji i oceny dotyczących strategii rozwoju lokalnego wraz z praktykami udoskonalonej komunikacji i upowszechniania informacji.

Syntezy danych stanowią przydatne narzędzie rozpowszechniania informacji, ponieważ umożliwiają decydentom dostęp do dużych zbiorów danych i pozwalają na ocenę stopnia ich wiarygodności. W ramach tego procesu dokonywana jest agregacja, standaryzacja, przegląd i ocena bazy dowodowej interwencji.

Władze szczebla regionalnego powinny zachęcać ośrodki gromadzące dane do korzystania i udostępniania narzędzi syntezy, takich jak systemy oceny informacji, aby ułatwić korzystanie z nich przez lokalnych decydentów.
Władze regionalne powinny również wspierać upowszechnianie dobrych praktyk i wymianę doświadczeń związanych z wykorzystywaniem danych w procesach decyzyjnych pomiędzy lepiej wyposażonymi i bardziej doświadczonymi gminami (zazwyczaj większymi jednostkami położonymi w obrębie MOF) a ich mniej zaawansowanymi odpowiednikami.

Poprawa w zakresie publikowania i komunikowania danych

Czytelna publikacja wyników ewaluacji ma kluczowe znaczenie dla promowania wykorzystywania danych, a docelowo dla skuteczniejszej realizacji rekomendacji wydanych na ich podstawie, przy jednoczesnym zapewnieniu rozliczenia się wobec obywateli z wykorzystania środków publicznych. W tym celu należy zadbać o:

Poprawę sposobu wykorzystania danych poprzez lepsze zarządzanie wiedzą. Na przykład stworzenie na szczeblu krajowym dedykowanej strony internetowej www.ewaluacja.gov.pldla jednostek samorządu terytorialnego w celu zamieszczania rezultatów przeprowadzonych ocen wymusza czytelną organizację tekstu, komunikatywność przekazu. Strona ta mogłaby również zawierać oceny przeprowadzone przez instytucje zarządzające na poziomie regionalnym.

Dane OECD wskazują jednak, że absorpcja wiedzy przez decydentów i autorów polityk jest bardziej prawdopodobna, gdy informacje są dla nich łatwo dostępne. Badania pokazują, że w praktyce samo publikowanie danych nie zawsze znacząco poprawia wykorzystywanie wyników ewaluacji w procesie kształtowania polityk. Zebrane dane należy raczej przekładać na zrozumiały język i komunikować w sposób odpowiadający na potrzeby użytkowników. Oznacza to, że informacje pochodzące z monitorowania i ewaluacji powinny być komunikowane w sposób bardziej strategiczny. W szczególności wykorzystanie mediów społecznościowych jest dobrą alternatywą służącą bardziej efektywnej wymianie danych. Samorządy terytorialne mogą być zainteresowane dzieleniem się interesującymi informacjami w mediach społecznościowych, które są efektywnym kosztowo sposobem rozpowszechniania danych pochodzących z monitorowania strategii rozwoju. W związku z tym, Polska mogłaby rozważyć:

przekształcenie systemu strateg w centralne źródło danych na temat strategii rozwoju lokalnego, w tym obejmujące informacje i ewaluacje z poziomu gmin w połączeniu z lepszymi praktykami komunikacji i upowszechniania informacji;
korzystanie z mediów społecznościowych, aby dzielić się informacjami i materiałami dotyczącymi strategii rozwoju lokalnego.

Rekomendacje dot. monitorowania lokalnych strategii rozwoju

Wyjaśnienie celów i metodologii monitorowania strategii rozwoju lokalnego

Monitorowanie różni się od ewaluacji w sposób zasadniczy. Można wykorzystać je do realizacji trzech głównych celów: poprawy procesu podejmowania decyzji operacyjnych, zwiększenia rozliczalności oraz promowania przejrzystości i komunikacji z obywatelami. Każdy z tych celów wymaga innej struktury monitorowania. W Polsce samorządy lokalne, które monitorują priorytety swojej polityki, nie zawsze jednoznacznie rozróżniają te cele, co może osłabić efektywność monitoringu. W związku z tym mogą one rozważyć:

Skorzystanie z krajowych wytycznych w celu wyraźnego zróżnicowania struktury monitorowania w odniesieniu do każdego z wymienionych celów: podejmowania decyzji operacyjnych, rozliczalności i komunikacji z obywatelami.

W szczególności samorządy lokalne mogłyby rozważyć stworzenie ram dla wewnętrznego dialogu dotyczącego własnej efektywności pomiędzy najwyższym szczeblem decyzyjnym tj. prezydentem/burmistrzem a szefami wydziałów/ jednostek świadczących usługi w celu poprawy podejmowania decyzji operacyjnych. Nawiązanie dialogu dotyczącego wyników stanowiłoby zachętę dla wydziałów gmin do rozwiązywania problemów o charakterze technicznym poprzez stopniowy proces eskalacji. Jeśli dany problem byłby wciąż nierozwiązany po upływie np. dwóch kwartałów mógłby zostać zaadresowany do gabinetu burmistrza/prezydenta dwa razy w roku celem podjęcia dalszych decyzji. Rysunek 4.2 w jednej z powyższych sekcji niniejszego rozdziału prezentuje w jaki sposób dialog nt. efektywności mógłby być prowadzony pomiędzy niższymi szczeblami decyzyjnymi a centrum decyzyjnym władz samorządów terytorialnych w ciągu jednego roku. Na potrzeby dialogu dotyczącego efektywności działań, lokalne władze powinny:

jednoznacznie określić obowiązki każdego z podmiotów w całym łańcuchu czynności związanych z monitorowaniem (koordynacja i promowanie monitorowania, gromadzenie danych, analiza danych, raportowanie, wykorzystywanie danych);
określić narzędzia używane w dialogu wewnętrznym dotyczącym efektywności, np. zestaw wskaźników;
wybrać ograniczoną liczbę priorytetowych celów i wskaźników, aby skoncentrować zasoby na monitorowaniu polityk o dużej widoczności i znacznym oddziaływaniu ekonomicznym i społecznym.

Samorządy lokalne mogą również korzystać z danych pochodzących z monitorowania, aby szerzej komunikować mieszkańcom efekty swoich działań . W tym celu gminy mogłyby:

usprawnić komunikację z obywatelami poprzez aktualizowanie kilku kluczowych wskaźników na publicznej stronie internetowej lub poprzez opracowywanie materiałów komunikacyjnych dotyczących postępów w realizacji strategii w regularnych odstępach czasu (np. co roku).

Zwiększenie możliwości dostępu do aktualnych danych wysokiej jakości w celu promowania jakości monitorowania.

Określenie jasnych wskaźników oczekiwanych wyników, ich wartości wyjściowych i docelowych jest ważne dla monitorowania strategicznych priorytetów, takich jak te zdefiniowane w strategiach rozwoju lokalnego. Jedna trzecia (14) z ankietowanych gmin, że nie określiła swoich wskaźników z góry. A jeśli wskaźniki takie zostały określone, to brakuje systematycznego powiązania pomiędzy każdym z celów zawartych w strategii rozwoju a wskaźnikami wybranymi do ich monitorowania. Co więcej, wskaźniki zawarte w SRL opierają się na wykorzystaniu danych statystycznych. Tymczasem dane administracyjne i dane zebrane w toku realizacji interwencji są zazwyczaj lepiej dostosowane do wskaźników dotyczących procesów, efektów docelowych i rezultatów pośrednich, takich jak te, które występują w SRL. W związku z tym polskie gminy powinny:

jednoznacznie określić wskaźniki stosowane do monitorowania każdej strategii rozwoju gminy;
uwzględniać wskaźniki oparte na danych administracyjnych i wykorzystać aktualnie tworzony system monitorowania usług publicznych do konstruowania tych wskaźników. Poniższa ramka zawiera więcej informacji na temat różnych potencjalnych źródeł danych do monitorowania.

Ramka 4.7. Potencjalne źródła danych wykorzystywanych do monitoringu

Prowadzenie wysokiej jakości monitoringu wymaga danych o wysokiej jakości, które mogą pochodzić z różnych źródeł (wskazanych poniżej), z których każde ma swoje mocne i słabe strony. Łączenie różnych źródeł danych może zmaksymalizować ich jakość, a także udostępnić istotne informacje na potrzeby monitoringu.

Dane administracyjne: Ten rodzaj danych jest zazwyczaj gromadzony za pośrednictwem systemów administracyjnych zarządzanych przez departamenty rządowe lub ministerstwa i dotyczy zazwyczaj całych populacji osób, społeczności i podmiotów gospodarczych objętych określoną polityką. Przykładami danych administracyjnych są dane mieszkaniowe i ewidencje podatkowe. Ponieważ dane administracyjne są już gromadzone i dotyczą dużych populacji, stanowią one efektywne pod względem czasu i kosztów źródło dla działań monitoringowych. Ponadto, jako że dane administracyjne opierają się głównie na rejestrowaniu określonych czynności, transakcji i danych finansowych, nie są one narażone na niektóre problemy jakościowe jakie występują w przypadku danych dostarczanych przez samych zainteresowanych. Dane administracyjne mogą mieć jednak ograniczony zakres (np. wykluczenie osób niebędących uczestnikami, brak informacji społeczno-ekonomicznych na temat uczestników itp.) Ponadto, ze względu na to, że systemy gromadzenia danych administracyjnych są zdecentralizowane, jakość danych może być różna w poszczególnych departamentach rządowych lub ministerstwach.
Dane statystyczne: Ten rodzaj danych jest powszechnie wykorzystywany w badaniach naukowych i obejmuje dane pochodzące ze spisów powszechnych lub, bardziej ogólnie, informacje na temat danej populacji gromadzone za pośrednictwem ogólnokrajowych lub międzynarodowych badań ankietowych. Dane z ankiet stanowią elastyczne i kompleksowe źródło informacji dla celów monitorowania, ponieważ ankiety można opracować w taki sposób, aby uchwycić szeroki zakres wskaźników społeczno-gospodarczych i wzorców zachowań istotnych dla danej polityki. Gromadzenie danych do badań wymaga jednak dużych nakładów, a jakość danych zależy od projektu badania i od respondentów. Przykładowo, jakość danych z ankiet może ulec obniżeniu ze względu na brak obiektywizmu wynikający z efektu społecznych oczekiwań, czy ze względu na słabą pamięć respondentów.
Big data: Ten rodzaj danych jest ogólnie definiowany jako "zbiory dużych ilości danych" (UN Global Pulse, 2016[32]). Są one często generowane w sposób ciągły i cyfrowy przez inteligentne technologie na platformach sektora prywatnego, które rejestrują zachowania i działania osób fizycznych. Ich zaletą jest to, że występują w dużej ilości i są bardziej różnorodne, a zatem stanowią opłacalną metodę zapewnienia próby o wysokiej liczebności i gromadzenia informacji na temat populacji, do których trudno dotrzeć. Ponadto techniki analizy big data (np. przetwarzanie języka naturalnego, wykrywanie itp.) mogą pomóc w identyfikacji wcześniej niezauważonych schematów i poprawić wyniki monitorowania. Niemniej jednak, big data wprowadzają również kilka wyzwań, takich jak porównywalność czasowa (często pochodzą od stron trzecich, które nie zawsze stosują spójne metody gromadzenia danych w czasie), ruch internetowy niezwiązany z człowiekiem (dane generowane przez boty internetowe), stronniczość selekcji (nawet jeśli wielkość próby jest duża, niekoniecznie reprezentuje ona całą populację) itp.

Źródło: UN "Global Pulse (2016[32]), Integrating Big Data into the Monitoring and Evaluation of Development Programmes; Innovations for Poverty Action (2016[33]), Using Administrative Data for Monitoring and Evaluation (Wykorzystanie danych administracyjnych do monitorowania i ewaluacji); Results for America (Wyniki dla Ameryki) (2017[30]), 100+ Government Mechanisms to Advance the Use of Data and Evidence in Policymaking: A Landscape Review.

Rekomendacje dotyczące rozwijania praktyk ewaluacji na szczeblu lokalnym

Promowanie systematycznej oceny interwencji samorządu lokalnego

Zakres wykorzystywania praktyk ewaluacji w samorządzie lokalnym jest nierównomierny, przy czym większe, miejskie jednostki poświęcają na ten cel więcej czasu i zasobów niż ich mniejsze odpowiedniki spoza MOF. W ostatnich latach, w związku z finansowaniem w ramach Polityki Spójności UE, podjęto szeroko zakrojone działania zorientowane na ewaluację.

Korzystanie z dostępnej wiedzy i doświadczenia w celu promowania systematycznej ewaluacji i włączenia jej do stosowanych metod pracy.

Zapewnienie dostępności wystarczających zasobów i kompetencji w zakresie ewaluacji, w tym poprzez koordynację instytucjonalną i łączenie zasobów

Samorządy lokalne powinny zająć się kwestią dostępności danych i ograniczonych zasobów, w tym zdolności analitycznych, które są głównymi przeszkodami w rozwoju praktyk ewaluacji na poziomie lokalnym, w szczególności poprzez:

ocenę tego, czy można udostępnić dodatkowe zasoby na potrzeby rozwoju praktyk ewaluacji poprzez zwiększenie potencjału wewnętrznego;
zbadanie możliwości poprawy komunikacji i współpracy instytucjonalnej na wszystkich szczeblach administracji w celu zapewnienia odpowiedniej wiedzy i zaznajomienia się przez władze lokalne z zasobami już dostępnymi; np. wytycznymi, źródłami danych, możliwościami szkoleniowymi, źródłami wiedzy specjalistycznej itp.;
dążenie do współpracy instytucjonalnej pomiędzy samorządami lokalnymi, w miarę możliwości z władzami szczebla regionalnego w roli koordynatora lub moderatora, w celu optymalizacji wykorzystania dostępnych zasobów. Może to w szczególności obejmować tworzenie sieci wiedzy i kompetencji eksperckich (np. stworzenie sieci ekspertów w dziedzinie ewaluacji dostępnych dla lokalnych samorządów).

Rekomendacja dotyczące promowania wykorzystywania danych do podejmowania strategicznych decyzji na szczeblu gminnym

Poprawa w zakresie upowszechniania i komunikowania informacji i danych

Publikacja wyników ewaluacji ma kluczowe znaczenie dla promowania wykorzystywania danych, a docelowo dla skuteczniejszej realizacji rekomendacji wydanych na ich podstawie, przy jednoczesnym zapewnieniu rozliczenia się wobec obywateli z wykorzystania środków publicznych. W tym celu należy zadbać o:

poprawę wykorzystania danych poprzez lepsze zarządzanie wiedzą. Na przykład stworzenie na szczeblu krajowym dedykowanej strony internetowej www.ewaluacja.gov.pldla jednostek szczebla lokalnego.

Dane OECD wskazują jednak, że absorpcja wiedzy przez decydentów i autorów polityk jest bardziej prawdopodobna, gdy informacje są dla nich łatwo dostępne. Badania pokazują, że w praktyce samo publikowanie danych nie zawsze znacząco poprawia wykorzystywanie wyników ewaluacji w procesie kształtowania polityk. Zebrane dane należy raczej przekładać na zrozumiały język i komunikować w sposób odpowiadający na potrzeby użytkowników. Oznacza to, że informacje pochodzące z monitorowania i ewaluacji powinny być komunikowane w sposób bardziej strategiczny. W szczególności wykorzystanie mediów społecznościowych jest dobrą alternatywą służącą bardziej efektywnej wymianie danych. Samorządy terytorialne mogą być zainteresowane dzieleniem się interesującymi informacjami w mediach społecznościowych, które są efektywnym kosztowo sposobem rozpowszechniania danych z monitorowania strategii rozwoju. W związku z tym władze lokalne mogłyby rozważyć:

korzystanie z mediów społecznościowych, aby dzielić się informacjami i materiałami dotyczącymi swoich strategii rozwoju.

Instytucjonalizacja korzystania z wyników ewaluacji.

Zgodnie z ankietą OECD, stosunkowo niewiele gmin w Polsce (zwłaszcza leżących poza MOF) posiada ustrukturyzowany lub zinstytucjonalizowany mechanizm systematycznego wykorzystywania wyników ewaluacji do poprawy swoich usług i polityk. Dalsza instytucjonalizacja korzystania z wyników ewaluacji w celu podejmowania decyzji powinna zatem zostać uznana za priorytet. W związku z tym, warto rozważyć:

wprowadzenie proporcjonalnie dostosowanych wymogów dotyczących przejrzystego i opartego na danych, podejmowania decyzji; np. podawania do wiadomości publicznej uzasadnienia w sytuacjach, gdy odpowiednie wyniki ewaluacji nie są brane pod uwagę;
ustanowienie jasnych i jednoznacznych powiązań pomiędzy dostępnymi danymi, takimi jak wyniki ewaluacji, a alokacją zasobów. Dotyczy to zarówno decyzji budżetowych o nakładach i wydatkach inwestycyjnych, jak i zachęt i wynagrodzeń dla pracowników. Chociaż zalecenie to ma zastosowanie ogólne, należy traktować je priorytetowo w przypadku samorządów lokalnych, w których takie powiązania są najsłabsze, tzn. w mniejszych jednostkach, często położonych poza MOF.
promowanie korzystania z wyników ewaluacji przy podejmowaniu decyzji poprzez włączenie ich do kryteriów branych pod uwagę w ocenie pracowniczej.

Bibliografia

[10] Colombian Government Department for National Planning (n.d.), Territorial Portal, https://portalterritorial.dnp.gov.co (accessed on 15 June 2020).

[14] DG NEAR (2016), Guidelines on linking planning/programming, monitoring and evaluation, https://ec.europa.eu/neighbourhood-enlargement/sites/near/files/pdf/financial_assistance/phare/evaluation/2016/20160831-dg-near-guidelines-on-linking-planning-progrming-vol-1-v-0.4.pdf.

[16] EC (2020), Total Allocations of Cohesion Policy 2014-2020: Breakdown by Member States, European Structural and Investment Funds Data, European Commission, https://cohesiondata.ec.europa.eu/d/n6pb-g38m (accessed on 15 July 2020).

[7] EC (2015), The Programming Period 2014-2020: Guidance Document on Monitoring and Evaluation, European Regional Development Fund and Cohesion Fund, European Commission, https://ec.europa.eu/regional_policy/en/information/publications/evaluations-guidance-documents/2013/the-programming-period-2014-2020-guidance-document-on-monitoring-and-evaluation-european-regional-development-fund-and-cohesion-fund (accessed on 30 June 2020).

[17] EC (2009), Building the Evaluation System in Poland, European Commission, https://ec.europa.eu/regional_policy/en/projects/best-practices/Polska/1926 (accessed on 18 July 2020).

[6] European Parliament and Council (2013), The Common Provisions Regulation (CPR) for the 2014-2020 European Structural and Investment Fund, https://eur-lex.europa.eu/eli/reg/2013/1303/oj (accessed on 30 June 2020).

[21] Haynes, A. et al. (2018), “What can we learn from interventions that aim to increase policy-makers’ capacity to use research? A realist scoping review”, Health Research Policy and Systems, Vol. 16/1, p. 31, http://dx.doi.org/10.1186/s12961-018-0277-1.

[33] Innovations for Poverty Action (2016), Using Administrative Data for Monitoring and Evaluation.

[11] Italian Government (n.d.), Open Cohesion Project, https://opencoesione.gov.it/en/ (accessed on 15 September 2020).

[12] Jarczewski, W. (2010), “Regional observatories of development policy as a tool for monitoring the efficiency of the cohesion policy”, Europa, Vol. 21, pp. 155-172, http://dx.doi.org/10.7163/eu21.2010.21.12.

[19] Kulesza, M. and D. Sześciło (2012), Local government in Poland, INAP.

[13] Maśloch, P. and L. Piotrowska (2017), “An overview of regional territorial observatories – common elements and substantial differences. Territorial observatories and their role in shaping the defence capability and security of a region”, World Scientific News, http://psjd.icm.edu.pl/psjd/element/bwmeta1.element.psjd-4aeb1116-bbef-4036-ac3a-22b815245839/c/WSN_72__2017__194-203.pdf (accessed on 2 July 2020).

[3] Mexican Government (2013), Federal Planning Law.

[8] Meyer, W., R. Stockmann and L. Taube (2020), “The institutionalisation of evaluation theoretical background, analytical concept and methods”, in The Institutionalisation of Evaluation in Europe, Springer International Publishing, http://dx.doi.org/10.1007/978-3-030-32284-7_1.

[29] Neuhoff, A. et al. (2015), The What Works Marketplace Helping Leaders Use Evidence to Make Smarter Choices, The Bridgespan group, http://www.results4america.org.

[20] OECD (2020), “Best practice principles for regulatory impact analysis”, in Regulatory Impact Assessment, OECD Publishing, Paris, https://dx.doi.org/10.1787/663f08d9-en.

[22] OECD (2020), Improving Governance with Policy Evaluation: Lessons From Country Experiences, OECD Public Governance Reviews, OECD Publishing, Paris, https://doi.org/10.1787/89b1577d-en.

[1] OECD (2019), Open Government in Biscay, OECD Public Governance Reviews, OECD Publishing, Paris, https://dx.doi.org/10.1787/e4e1a40c-en.

[26] OECD (2018), OECD Regulatory Policy Outlook 2018, OECD Publishing, Paris, https://doi.org/10.1787/9789264303072-en.

[34] OECD (2016), Open Government: The Global Context and the Way Forward, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264268104-en.

[5] OECD (2009), OECD Territorial Reviews: Poland 2008: (Polish version), Ministry of Regional Development, Poland, Warsaw, https://dx.doi.org/10.1787/9788376100814-pl.

[15] OECD (2008), Ireland 2008: Towards an Integrated Public Service, OECD Public Management Reviews, OECD Publishing, Paris, https://doi.org/10.1787/9789264043268-en.

[27] OECD (n.d.), Building Capacity for Evidence Informed Policy Making: Towards a Baseline Skill Set, OECD, Paris, http://www.oecd.org/gov/building-capacity-for-evidence-informed-policymaking.pdf (accessed on 10 July 2020).

[18] OECD (n.d.), Indicators of Regulatory Policy and Governance Surveys 2014 and 2017, OECD, Paris, https://doi.org/10.1787/888933816003.

[23] OECD (forthcoming), “Towards a sound monitoring and evaluation system for long-term planning in Nuevo León”, OECD, Paris.

[4] Polish Government (2017), The Strategy for Responsible Development for the Period up to 2020.

[30] Results for America (2017), 100+ Government Mechanisms to Advance the Use of Data and Evidence in Policymaking: A Landscape Review.

[2] Scottish Government (2020), National Performance Framework, https://nationalperformance.gov.scot/ (accessed on 6 March 2020).

[28] Sobiech, R. and K. Kasianiuk (2017), “Improving interventions, influencing policy process. What do evaluation reports recommend?”, Paper submitted at the 2017 EGPA International Conference.

[24] Stockmann, R., W. Meyer and L. Taube (eds.) (n.d.), The Institutionalisation of Evaluation in Europe, CEval.

[31] UK Civil Service (n.d.), What is a Rapid Evidence Assessment?, http://www.civilservice.gov.uk/networks/gsr/resources-and-guidance/rapidevidence-assessment/what-is (accessed on 12 August 2019).

[32] UN Global Pulse (2016), Integrating Big Data into the Monitoring and Evaluation of Development Programmes.

[9] Vági, P. and E. Rimkute (2018), “Toolkit for the preparation, implementation, monitoring, reporting and evaluation of public administration reform and sector strategies: Guidance for SIGMA partners”, SIGMA Papers, No. 57, OECD Publishing, Paris, https://doi.org/10.1787/37e212e6-en (accessed on 18 June 2019).

[25] Wojtowicz, D. and T. Kupiec (n.d.), “How do the regional authorities use evaluation? Comparative study of Poland and Spain”, https://www.ippapublicpolicy.org/file/paper/1434656324.pdf (accessed on 29 July 2020).

Uwagi

← 1. W niniejszym opracowaniu termin „Jednostki Samorządu Terytorialnego (JST)” jest równoznaczny terminowi „samorząd lokalny”, który jest głównym przedmiotem raportu i oba oznaczają wyłącznie gminy, miasta na prawach powiatu i powiaty.

← 2. Na podstawie informacji przekazanych przez Związek Miast Polskich.

← 3. Chociaż to pytanie kwestionariusza OECD odnosiło się wyłącznie do decyzji regulacyjnych ("Czy przeprowadzacie Państwo ocenę ex post skutków (w tym kosztów i korzyści) decyzji regulacyjnych?" ), przedstawione przykłady uzupełniające sugerują, że odpowiedzi powinny być interpretowane jako odnoszące się zarówno do decyzji regulacyjnych, jak i związanych z politykami. Ma to zastosowanie również do kolejnych odniesień do "niektórych", "głównych" i "wszystkich" regulacji w tej sekcji.

← 4. Sekcja ta koncentruje się na praktykach angażowania interesariuszy w kontekście podejmowania decyzji w oparciu o dowody. Szersze spojrzenie na ten temat można znaleźć w Rozdziale 8 dotyczącym otwartego rządzenia, które OECD definiuje jako "kulturę rządzenia promującą zasady przejrzystości, uczciwości, odpowiedzialności i zaangażowania interesariuszy w celu wspierania demokracji i wzrostu sprzyjającego włączeniu społecznemu" (OECD, 2016[34]).

← 5. Należy zauważyć, że w wielu przypadkach działania związane z zaangażowaniem interesariuszy zgłoszone przez lokalne samorządy prawdopodobnie odnoszą się, przynajmniej częściowo, do obowiązujących przepisów dotyczących konsultacji w procesie planowania strategicznego i przestrzennego.

← 6. W tym miejscu i w kolejnych punktach "ewaluacja polityk" powinna być rozumiana jako potencjalnie obejmująca również przepisy prawa i regulacje.

← 7. Powiaty wskazywały również na niedoszacowanie kosztów realizacji strategii rozwoju lokalnego, co w niektórych przypadkach może być związane z niedostateczną jakością ocen ex ante.

Featured topics

Agriculture and fisheries

Climate change

Development

Digital

Economy

Education and skills

Employment

Environment

Finance and investment

Governance

Health

Industry, business and entrepreneurship

Regional, rural and urban development

Science, technology and innovation

Society

Taxation

Trade

Energy

Nuclear energy

Transport

Featured topics

Agriculture and fisheries

Climate change

Development

Digital

Economy

Education and skills

Employment

Environment

Finance and investment

Governance

Health

Industry, business and entrepreneurship

Regional, rural and urban development

Science, technology and innovation

Society

Taxation

Trade

Energy

Nuclear energy

Transport

Countries A - C

Countries D - I

Countries J - M

Countries N - R

Countries S - T

Countries U - Z

Regional and global engagement

Countries

Countries A - C

Countries D - I

Countries J - M

Countries N - R

Countries S - T

Countries U - Z

Regional and global engagement

Publications

Publications

Featured publications

Data

Data

Featured data

News & Events

News & Events

Featured Events

About OECD

About

Engage with us

Work with us

Featured topics

Agriculture and fisheries

Climate change

Development

Digital

Economy

Education and skills

Employment

Environment

Finance and investment