PROJEKT PROEVAL
Evidence-Based řízení programů podpory VaVaI, zefektivnění analytické a datové podpory Technologické agentury České republiky.
Identifikace projektu
Registrační číslo: CZ.03.4.74/0.0/0.0/15_025/0003531
Harmonogram: 40 měsíců (1. 9. 2016 – 31. 12. 2019) Prodlouženo o 4 měsíce
Celkový rozpočet: 13 662 240 Kč
Vyčerpáno: 13 652 322 Kč
Zdroje financování: EU podíl 80,86 %, státní rozpočet 19,14 %
Název programu: Operační program Zaměstnanost (číslo výzvy: 03_15_025)
Název výzvy: Projekty organizačních složek státu zaměřené na podporu efektivní veřejné správy
Hlavní cíl projektu
Cílem projektu bylo zkvalitnění interního řízení programů podpory výzkumu, vývoje a inovací rozpracováním postupů hodnocení (evaluací) programů směrem k Evidence-Based Policy, tedy postupech založených na faktech. V širším socioekonomickém kontextu představuje důležitou součást hodnocení také hodnocení dopadů programů v dlouhodobém horizontu. Kvalita hodnocení přitom vychází z dostupných dat a možnosti jejich vytěžování. Důležitou roli v projektu tedy hrálo zajištění systému sběru dat v dostatečném rozsahu, detailu a kvalitě.
Cíle bylo v projektu dosaženo zejména zefektivněním analytické a datové podpory činností TA ČR ve smyslu zvýšení znalostí a dovedností pracovníků TA ČR. V projektu byl dále podpořen rozvoj interních nástrojů pro kvalifikované rozhodování o efektivním využívání prostředků podpory VaVaI. Projekt byl koncipován na základě výstupů a doporučení vyplývajících z realizace klíčové aktivity „Nastavení analytických služeb“ v rámci projektu „Zefektivnění TA ČR“ a umožnil na tento projekt navázat a dále jej rozvinout.
Cílová skupina
Hlavní cílovou skupinou byli vybraní zaměstnanci TA ČR, analytičtí a programoví pracovníci, kteří připravují evaluační, analytické materiály pro rozhodování. Výstupy projektu zahrnující také pilotní ověřování jsou zveřejněny a jsou tudíž k dispozici pro případné sekundární využití širší cílové skupině (ostatní poskytovatelé podpory VaVaI, členové Rad programů nebo externí experti – hodnotitelé, zpravodajové, oponenti).
Klíčové aktivity
Cíle projektu bylo dosaženo realizací souboru klíčových aktivit:
KA1: Tvorba metodik hodnocení
Náplní aktivity bylo vytvoření jasného a komplexního metodického dokumentu s ohledem na nově získané zkušenosti z pilotních hodnocení, vzdělávacích a odborných seminářů a školení. Nová metodika hodnocení programů podpory byla uzpůsobena pro vlastní podmínky a programy TA ČR a její datové zdroje, a pro jednotlivé fáze hodnocení programu na základě reflexe zkušeností a praxe získaných při realizaci projektu Zefektivnění TA ČR. Metoda a praktické využití kontrafaktuální analýzy bylo popsáno v samostatném dokumentu a následně zasláno k oponentuře zahraničnímu odborníkovi. Jeho podněty byly zapracovány a bude k nim přihlédnuto při realizaci budoucí kontrafaktuální analýzy. Za dobu trvání projektu ProEval bylo realizováno několik interních i externích hodnocení, které tvoří podklad a praktické zkušenosti pro vznik Metodiky.
KA 2: Zavedení výstupů projektu do praxe, úprava postupů a procesů TA ČR
V rámci této aktivity šlo o zavedení výstupů projektu do praxe, postupů a procesů souvisejících s odnocením ve vazbě na činnosti TA ČR a interní prostředí TA ČR. Došlo k úpravě a implementaci procesu evaluací přímo do metodického dokumentu fungování TA ČR – Směrnice Řízení programů. V rámci tohoto systému existuje grafické znázornění postupu s příslušnou odpovědností zaměstnanců TA ČR. Směrnici předcházel vznik Evaluačního úseku jako samostatné jednotky kanceláře spadající pod sekci I. Úprava procesů pokračuje snahou o zapracování způsobu a systému reflexe doporučení plynoucích z evaluací.
KA 3: DAFOS a budování kapacit pro jeho vývoj
Náplní aktivity byla konsolidace a kompletace nástroje datové podpory a základny pro analytické služby DAFOS jako jednoho z nástrojů k řízení programů, zpracování analýz a evaluací programů a dopadů programů. V rámci projektu byla vytvořena vyhledávací aplikace STARFOS, která jedinečným způsobem umožňuje vyhledávat a zobrazovat všechny projekty výzkumu podpořené z veřejných zdrojů, všechny výsledky dosažené se státní podporou na VaV a všechny organizace, které se účastnili alespoň jednoho projektu podpořeného z veřejných prostředků. Aplikace kombinuje vyhledávání pomocí klíčových slov (nebo frází) a analytických filtrů. Zobrazené informace a data je možné zobrazit a uživatelsky upravit v interaktivních grafech a tabulkách a dále exportovat do několika datových formátů.
KA4: Zajištění kvality a čištění dat pro hodnocení.
Předmětem aktivity byl vývoj, testování a zavádění nástrojů k řízení kontroly, kvality a čištění dat pro DAFOS. Součástí realizace této aktivity byl vznik metodiky obsahující mj. navržený proces zajišťování kvality a čistoty dat a reálné příklady využití v rámci činností analytického oddělení. V průběhu aktivity vznikla řada jednoúčelových, zdokumentovaných skriptů, které sloužily k vyčištění dané množiny dat (případně ke zjištění míry kvality dat), ty byly dále testovány a upravovány během rutinních činností oddělení strategií a analýz. Dále vznikly znovupoužitelné skripty, které odpovídaly data-quality firewallům – ty byly využívány zejména pro účely zajištění kvality vstupu pro skripty realizující analytické zpracování dat.
KA5: Posilování analytických kapacit TA ČR praktickým tréninkem, zvyšování zkušeností a realizací stáží
Náplní této aktivity bylo posilování analytických kapacit zaměstnanců TA ČR souborem vzdělávacích aktivit. Cílová skupina 31 zaměstnanců byla školena v průběhu celé doby realizace projektu a obdržela více než 40 hodin podpory. Z toho 8 vybraných zaměstnanců pak úspěšně absolvovalo interní kurz hodnocení dle nové metodiky hodnocení, seminář k přenosu zkušeností ze zahraničí, školení kvantitativních a kvalitativních metod hodnocení i závěrečný e-learningový kurz. Tito zaměstnanci úspěšně složili závěrečný test a obdrželi osvědčení o získané kvalifikaci. V rámci této aktivity bylo realizováno pilotní hodnocení programu, které sloužilo k ověření teoretických přístupů a předpokladů. Nové poznatky a zkušenosti byly shrnuty do Zprávy z pilotního hodnocení.
Hlavní výstupy projektu
Hlavní výstupy projektu slouží především pro interní účely TA ČR, mohou být však také využity jako podklady například pro ostatní poskytovatele podpory a další subjekty zainteresované v oblasti VaVaI.
V projektu byly vytvořeny tyto hlavní výstupy realizované v rámci jednotlivých klíčových aktivit (KA):
1) Metodika hodnocení programů podpory pro TA ČR (KA1)
Komplexního metodický dokument vytvořený s ohledem na nově získané zkušenosti z pilotních hodnocení, vzdělávacích a odborných seminářů a školení. Metodika je uzpůsobena na podmínky a programy TA ČR a její datové zdroje a vychází z reflexe zkušeností a praxe získaných při realizaci projektu Zefektivnění.
2) Zpráva o implementaci metodiky kontrafaktuální analýzy pro programy TA ČR (KA1)
Zpráva zahrnuje dokumentaci rozvoje, testování a zavádění hodnocení dopadu programů TA ČR navazující na metodiku kontrafaktuálních analýz vytvořenou v předchozím projektu a provázání s datovou základnou DAFOS.
3) Dokumentace návrhu nástroje DAFOS dle potřeby a standardů TA ČR (KA3)
Dokument komplexně popisuje další konsolidaci a kompletaci nástroje datové podpory a základny pro analytické služby DAFOS jako jednoho z nástrojů k řízení programů, zpracování analýz a evaluací programů a dopadů programů. Zároveň obsahuje frontend dokumentaci aplikace STARFOS.
4) Metodika řízení kvality dat (KA4)
Jde o dokument, který zachycuje vývoj, testování a zavádění nástrojů k řízení kontroly, kvality a čištění dat pro DAFOS. Dokument poskytuje důležité východisko pro zajištění kvality libovolných analýz nad daty VaVaI a pro hodnocení programů či výsledků projektů.
5) Závěrečná zpráva z hodnocení (KA5)
Zpráva byla vytvořena na základě realizace pilotního hodnocení – průběžné evaluace programu ALFA a shrnuje získané poznatky a zkušenosti. Součástí Závěrečné zprávy z pilotního hodnocení je i samotná Závěrečná zpráva z průběžného hodnocení programu ALFA. Tento dokument sloužil k ověření teoretických přístupů a předpokladů a současně jako vstup pro tvorbu metodického dokumentu v KA1.
6) Další výstupy KA 1 – Knihovna evaluací a Report o procesech sběru dat
Projekt byl spolufinancován ze strukturálních fondů Evropské unie, Evropského sociálního fondu, prostřednictvím Operačního programu Zaměstnanost a ze státního rozpočtu ČR.
Více informací naleznete na webových stránkách www.esfcr.cz