Kehitysyhteistyön evaluointiraportit: Laajat evaluoinnit

Evaluoinnissa analysoitiin ulkoministeriön kehitysviestinnän vaikuttavuutta ja sitä, kuinka hyvin se saavuttaa suomalaisen yleisön ja lisää globaalien kehityskysymysten näkyvyyttä. Tarkastelu kohdistui myös sisällöntuotantoon ja sisäisen ja ulkoisen yhteistyön hyödyntämiseen sen eri vaiheissa.

Suomalaisten asiantuntijoiden rekrytointi YK:n ja muiden kansainvälisten järjestöjen palvelukseen on tärkeä osa Suomen ulko-, turvallisuus-, kauppa- ja kehityspolitiikkaa. Tämän tarkastelun tavoite oli luoda kattava kuva ulkoministeriön (UM) tukemista kansainvälisistä rekrytoinneista ja tuottaa suosituksia toiminnan kehittämiseen.

Miten strategisia kehityspolitiikan evaluointeja käytetään – vai käytetäänkö niitä? Tarkastelussa arvioitiin vuosina 2015–2022 toteutettujen erilaisten evaluointien, metaevaluointien ja tarkastelujen käyttöä ja hyödyllisyyttä.

Mikä toimii ja mikä ei toimi Suomen kehityspolitiikassa ja yhteistyössä? Miksi evaluoinnit ja evaluointiosaaminen on tärkeää? Sen kertoo kehitysevaluoinnin vuosiraportti, joka vetää yhteen keskeisimmät tulokset vuonna 2022 valmistuneista evaluoinneista.

Evaluointi totesi, että YK:n reformi on tukenut YK-järjestelmää toimimaan johdonmukaisesti ja tehokkaasti lievittääkseen covid-19 pandemian aiheuttamia sosiaalis-taloudellisia vaikutuksia. Toimissa on huomioitu haavoittuvimmassa asemassa olevia kuten vammaisia henkilöitä, naisia, pakolaisia, nuoria, vanhuksia ja siirtotyöläisiä. Sen sijaan haasteita on ollut varmistaa toimien ympäristökestävyys, kuten ilmastonmuutoksen hillintä ja siihen sopeutuminen.

Riippumattoman evaluoinnin mukaan Suomen EU-vaikuttamisen prosessi on tarkoituksenmukainen, johdonmukainen ja kohtuullisen tehokas sekä sujuva. Moitteita tulee muun muassa vakiintuneen seurannan, arvioinnin ja oppimisen järjestelmän puuttumisesta.

Riippumattoman evaluoinnin mukaan Suomen humanitaarinen apu vastaa hädässä olevien tarpeisiin ja Suomi on myös onnistunut edistämään sukupuolten tasa-arvoa ja vammaisten henkilöiden oikeuksia. Moitteita tulee muun muassa alimitoitetusta henkilöstömäärästä ja hallinnon jäykkyydestä.

Itsenäinen evaluointi arvioi kansainvälisen yhteisön toimien tuloksellisuutta sekä kansainvälisten ja kansallisten toimijoiden toiminnan tehokkuutta pakolaisten oikeuksien turvaamiseksi COVID-19-pandemian aikana. Evaluointi myös identifioi suojelutoimien hyviä käytäntöjä, innovaatioita ja toiminnan sopeuttamista.

Multilateral Organisation Performance Assessment Network (MOPAN) on verkosto, joka koostuu 21 maasta ja joka arvioi monenkeskisten organisaatioiden kuten YK-järjestöjen toimintaa. Vuonna 2020 MOPANista tehty itsenäinen evaluointi kattoi vuodet 2015-2021 ja tarkasteli MOPANin tehokkuutta, tuloksellisuutta ja tarkoituksenmukaisuutta.

Mitä evaluoinnit kertovat Suomen kehityspolitiikasta ja yhteistyöstä? Kehitysevaluoinnin vuosiraportti vetää yhteen keskeisimmät tulokset vuonna 2021 valmistuneista evaluoinneista ja avaa evaluoinnin uudistumista. Evaluoinnitkin hyötyvät mukautuvuudesta ja innovatiivisuudesta sekä kokonaisvaltaisuudesta. Tärkeää onkin varmistaa evaluointien käyttö ja hyödyllisyys vaarantamatta evaluointien riippumattomuutta.

Tässä riippumattomassa tarkastelussa arvioitiin ulkoministeriön (UM) kehityspolitiikan vastetta COVID-19-pandemiaan. Tarkoituksena oli oppia pandemiavasteesta ja siten parantaa kykyä vastata ja sopeuttaa kehityspolitiikan ja -yhteistyön sekä humanitaarisen avun johtamista ja hallintoa tulevien kriisien aikana

Evaluointeja tehdään, jotta onnistumisista ja epäonnistumisista opitaan, ja kehityspolitiikkaa ja yhteistyötä voidaan siten entisestään parantaa. Metaevaluoinnit arvioivat hanke-evaluointien laatua ja vetävät yhteen niistä nousevia löydöksiä, joiden avulla muodostetaan kuva kehitysyhteistyön laadusta.

Riippumattomassa evaluoinnissa tarkasteltiin Suomen vesidiplomatian tulevaisuuden tavoitteita ja mahdollisuuksia. Samalla kartoitettiin, mitä voidaan oppia menneestä yhteistyöstä, jossa poliittiset tavoitteet ja vesialan tekninen yhteistyö ovat nivoutuneet toisiinsa.

Tässä riippumattomassa evaluoinnissa tarkasteltiin Suomen ja Vietnamin välisen yhteistyön siirtymäprosessia vuosina 2008–2020. Siinä arvioitiin siirtymävaiheen onnistumisia ja heikkouksia sekä miten kehitysyhteistyö on edesauttanut siirtymää kohti monipuolista ja molempia osapuolia hyödyttävää yhteistyötä. Evaluoinnissa tarkasteltiin myös yhteistyön ja toimijoiden johdonmukaisuutta ja synergioiden hyödyntämistä. Lisäksi haettiin Vietnamin siirtymästä oppeja, joita voidaan soveltaa samanlaisissa prosesseissa Suomen muissa kehitysyhteistyön kumppanimaissa.

Tässä riippumattomassa evaluoinnissa tarkasteltiin Suomen ulkoministeriön Itäosaston vuosina 2009-2021 harjoittamaa kehityspolitiikkaa ja kehitysyhteistyötä Itä-Euroopassa ja Keski-Aasiassa. Siinä arvioitiin toiminnan strategista kokonaisuutta ja eri tukikanavien kautta aikaan saatuja tuloksia ja vaikutuksia sekä niiden kestävyyttä yli kymmenen vuoden ajanjaksolla. Tarkastelu käsitti Itäosaston kehitysyhteistyötoimet 11 maassa, joista Kirgisiaa, Tadžhikistania ja Ukrainaa tarkasteltiin syvällisemmin. Evaluoinnissa esitetään suosituksia, joiden avulla voidaan kehittää alueen kehitysyhteistyötä entisestään. Raportti nostaa myös esille yleisempiä alueelta nousseita oppeja ministeriölle.

Kehitysevaluoinnin vuosiraportissa esitetään yhteenveto evaluointien esiintuomista kehityspolitiikan ja -yhteistyön vahvuuksista sekä kehittämiskohteista. Viime vuonna toteutetut laajat evaluoinnit kohdistuivat mielenkiintoisiin ja ajankohtaisiin mutta samalla haastaviin kehityspolitiikan ja -yhteistyön kysymyksiin. Evaluointien aiheina olivat maaohjelmat hauraissa konteksteissa, vaikuttaminen monenkeskisessä yhteistyössä sekä kumppanimaiden talouden vahvistaminen.

Evaluoinnissa arvioitiin, miten Suomen antama tuki on vaikuttanut talouden vahvistamiseen, työpaikkojen luomiseen ja toimeentulon parantamiseen kumppanimaissa. Siinä tarkasteltiin, miten kehityspoliittiset tavoitteet ovat toteutuneet, mitkä ovat annetun tuen vahvuudet ja heikkoudet, sekä esitettiin toimenpiteitä toiminnan vahvistamiseksi.

OECD-DACin evaluointiverkoston (EvalNETin) suosituksesta Irlanti, Suomi ja Sveitsi arvioivat toistensa evaluointitoimintoja. Vertaisarvioinnissa tarkasteltiin evaluointitoimintoja yhdessä ja erikseen perustuen UNEGin (UN Evaluation Groupin) evaluointinormeihin: riippumattomuus, luotettavuus ja käytettävyys. Tarkastelun kohteina olivat evaluointilinjaukset ja -toiminnot, evaluointien suunnittelu ja toteutus, suositusten toimeenpano sekä yksikön johtaminen ja käytettävissä olevat resurssit. Tavoitteena oli toisilta oppiminen ja kunkin evaluointitoimintojen edelleen kehittäminen.

Tässä riippumattomassa evaluoinnissa tarkasteltiin, miten Suomi vaikuttaa kehitysyhteistyön monenkeskisten kumppaniorganisaatioiden toimintaan edistääkseen kansainvälistä kehitysagendaa. Siinä arvioitiin ulkoministeriön käyttämien erityyppisten vaikuttamistoimien tarkoituksenmukaisuutta ja tuloksellisuutta, sekä esitetään suosituksia, joiden avulla vaikuttamista voidaan entisestään vahvistaa. Tarkastelu käsitti 23 ulkoministeriön monenkeskistä organisaatiota, joista kahdeksaa käsiteltiin syvällisemmin: Maailmanpankkiryhmä, UNFPA, UNICEF, WFP, UN Women, IFAD, FAO ja ITC. Kesäkuussa 2019 käynnistynyt evaluointi perustui sille laadittuun teoreettiseen viitekehykseen, jolla jäsennetään ministeriön monenkeskisiä vaikuttamistoimia ja niiden tuloksia. Löydökset perustuvat kattavaan dokumenttianalyysiin ja 174: ään haastatteluun. Arviointitiimi vieraili myös järjestöjen pääkonttoreissa New Yorkissa, Roomassa ja Washington D.C.:ssä sekä toteutti kenttämatkat Nepaliin ja Keniaan.

Evaluoinnissa tarkasteltiin, kuinka Suomen kehitysyhteistyön maaohjelmien laadinta ja seuranta palvelevat kehitysyhteistyön suunnittelua ja toteutusta hauraissa tai konfliktiympäristöissä. Maaliskuussa 2019 käynnistynyt arviointi perustuu maaohjelmien tulosohjausjärjestelmän analyysiin, sidosryhmähaastatteluihin, avun määrälliseen analyysiin sekä 64:n hankkeen dokumenttianalyyseihin. Evaluointitietoa kerättiin myös kenttämatkoilla, jotka tehtiin Afganistaniin, Libanoniin (liittyen Syyria-Irak -ohjelmaan), Myanmariin, miehitetylle Palestiinalaisalueelle ja Somaliaan.

Kehitysevaluoinnin vuosiraportissa tehdään yhteenvetoa evaluointien esiintuomista kehitysyhteistyön ja -politiikan vahvuuksista sekä kehittämiskohteista. Vuonna 2019 evaluointien teemat kietoutuivat tietojohtamisen ja kehittävän evaluoinnin ympärille. Ulkoministeriön tietoperustaista johtamista koskevan evaluoinnin lisäksi saatiin päätökseen kaksi yhteisevaluointia, ulkoministeriön ja Business Finlandin yhteisen Business with Impact (BEAM) -ohjelman kehittävä evaluointi sekä pohjoismaisessa yhteistyössä toteutettu Nordic Development Fund’in (NDF) evaluointi. Lisäksi yksikön evaluointien puitesopimuksen kautta tuettiin evaluoinnin toteuttamista maatalous-, maaseutukehitys- ja metsäsektorin kehityshankkeista (ARDF) Afrikan ja Lähi-idän osastolla sekä evaluointia Nepalin maaseudun vesivarojen hallinnointihankkeesta Aasian ja Amerikan osastolla. Koko ministeriön evaluointitoiminnan kehittämiseksi sekä evaluointien käytettävyyden ja hyödyllisyyden parantamiseksi Suomi käynnisti yhdessä Irlannin ja Sveitsin vertaisarvion toistensa evaluointitoiminnoista. Siitä ja yksikön muusta ajankohtaisesta kehittämistyöstä kerrotaan tarkemmin raportissa.

Business with Impact – BEAM – ohjelman kehittävä evaluointi liitettiin ohjelmaan syyskuussa 2015 ja se on jatkunut koko ajan vuoden 2019 loppuun asti. BEAM on Business Finlandin ja ulkoministeriön yhteinen, viisivuotinen ohjelma, jonka tavoitteena on ollut parantaa yritysten kasvun edellytyksiä kasvavilla ja kehittyvillä markkinoilla. Ohjelma tuo kestävän kehityksen innovaatioita yritysten tietoisuuteen sekä edistää monimuotoista innovaatioyhteistyötä suomalaisten ja ulkomaisten kumppanien välille. Kehittävän evaluoinnin tarkoituksena on tukea ohjelman johtoa koko ohjelmakauden ajan, antaa välitöntä palautetta eri lähestymistavoista, toimivuudesta ja vaikuttavuudesta sekä tukea strategista oppimista ohjelmassa.

Evaluoinnin tarkoituksena on tukea ulkoministeriön tietojohtamista vahvistamalla tulostietoon perustuvaa oppimista ja päätöksentekoa kehityspolitiikan ja kehitysyhteistyön kaikilla hallinnan tasoilla sekä eri yhteistyömuodoissa. Se tutkii johtamis- ja päätöksentekoprosesseja oppimisen näkökulmasta: miten ministeriössä pystytään keräämään, hyödyntämään, oppimaan ja tiedottamaan päätöksistä dokumentoidun ja niin sanotun hiljaisen tiedon avulla.

Kehitysevaluoinnin vuosiraportissa tehdään yhteenvetoa evaluointien esiintuomista kehitysyhteistyön ja -politiikan vahvuuksista sekä kehittämiskohteista. Viime vuonna toteutetut laajat evaluoinnit kohdistuivat mielenkiintoisiin ja ajankohtaisiin mutta samalla haastaviin kehityspolitiikan ja -yhteistyön kysymyksiin. Evaluointien aiheina olivat tyttöjen ja naisten oikeuksien edistäminen Suomen kehityspolitiikassa, pakolais- ja muuttoliikekysymykset sekä hanke- ja ohjelma-arviointien metaevaluointi. Lisäksi tehtiin evaluoitavuusselvitys ihmisoikeusperustaisuudesta ja jatkettiin ulkoministeriön ja Business Finlandin yhteistä Business with Impact (BEAM) -ohjelman kehittävää evaluointia.

Ulkoministeriön kehitysevaluoinnin yksikkö teetti pakolaisuutta ja kehityspolitiikkaa käsittelevän evaluoinnin, jonka tavoitteena oli lisätä tietoa ja ymmärrystä pakkomuuton käsitteestä, humanitaarisen avun ja kehitystavoitteiden yhteyksistä sekä auttaa näiden käsitteiden sisällyttämisestä ulkoministeriön käytäntöihin. Evaluoinnissa tarkasteltiin, kuinka johdonmukaisesti Suomen kehityspolitiikan tavoitteet on toteutettu pakkomuuton eli tahdonvastaisen muuttoliikkeen osalta sekä etsittiin keinoja vahvistaa politiikkajohdonmukaisuutta Suomen kehitysyhteistyössä.

Selvityksen tarkoituksena oli tarkastella Suomen ihmisoikeusperustaisen lähestymistavan (Human Rights Based Approach, HRBA) toteutuksen evaluoitavuutta ja antaa tietoa tulevalle arvioinnille HRBA:n toteuttamisesta Suomen kehitysyhteistyössä ja -politiikassa vuosina 2012 - 2018. Suomen ulkoministeriö tilasi selvityksen.

Ulkoministeriö on teettänyt arvioinnin naisten ja tyttöjen oikeuksiin ja sukupuolten tasa-arvoon kohdistuvan kehitysyhteistyön hyväksi havaituista käytännöistä ja esimerkkitapauksista oppimista varten. Naisten ja tyttöjen oikeuksien edistäminen on ollut jo pitkään Suomen kehityspolitiikan keskeisiä tavoitteita. Evaluoinnissa etsittiin tuloksia käyttäytymismallien muutoksista, jotka ovat olennaisia sukupuolten tasa-arvon ja naisten ja tyttöjen oikeuksien edistämisessä. Evaluointi keräsi myös tietoa ulkoministeriön seurannasta, arvioinnista ja organisaation sisäisestä oppimisesta.

Meta-evaluointi hanke- ja ohjelmaevaluoinneista 2015–2017

Kehitysevaluoinnin vuosiraportti

Evaluointi kansalaisjärjestöjen ohjelmatuesta – osa 3

Business with Impact (BEAM) -ohjelman kehittävä evaluointi

Evaluointi ohjelmatukea saavista kansalaisjärjestöistä – osa 2

Selvitys vaikuttavuuden arvioitavuudesta sekä meta-analyysi Suomen tuesta naisten, tyttöjen ja sukupuolten tasa-arvon edistämiseksi

Kehitysevaluoinnin vuosiraportti 2016

Meta-evaluointi hanke- ja ohjelmaevaluoinneista 2014–2015

Ulkoministeriö evaluoi kaikki ohjelmatukea saavat 22 järjestöä kolmessa osassa. Tässä ensimmäisessä eva­luoinnissa arvioitiin kuuden järjestön, Crisis Mana­gement Initiativen, Felmin, Reilu kaupan, Suomen pakolaisavun, Taksvärkin ja WWF Suomen kehitys-yhteistyöohjelmien onnistumista.

Kauppaa tukevan kehitysyhteistyön hankkeet ovat tuottaneet tuloksia ja vaikuttaneet erityisesti sektoreilla, joilla Suomi on kilpailukykyinen, todetaan juuri julkaistussa Aid for Trade -evaluointiraportissa.

Suomen kahdenvälisen kehitysyhteistyön kautta on onnistuttu tukemaan asioita, jotka ovat tärkeitä Suomen kehityspolitiikan, kumppanimaiden ja yhteistyöstä hyötyvien ihmisten kannalta.

Tulosjohtamista pitää kehittää edelleen. Tasa-arvon edistäminen koulutuksen avulla on Suomen vahvuus. Kahdenvälinen yhteistyö on tarkoituksenmukaista ja tuottaa usein myös tuloksia – mutta tiedämmekö tarpeeksi pitkän aikavälin vaikutuksista? Nämä ovat juuri julkaistun kehitysevaluoinnin vuosiraportin 2015 keskeisiä viestejä.

Evaluoinnin tavoitteena oli tuottaa luotettavaa tietoa Suomen humanitaarisesta miinatoiminnasta sekä suosituksia siihen, miten sitä voisi jatkossa kehittää.

Evaluoinnin tarkoituksena oli saada itsenäistä ja riippumatonta tietoa siitä, miten Suomen kehitysyhteistyö on tukenut vammaisten oikeuksia erityisesti koulutuksessa sekä miten vammaisten oikeudet ja ihmisoikeusperustainen lähestymistapa on toteutunut kehitysyhteistyössä yleisemmin.

Meta-evaluoinnissa tarkasteltiin vuosina 2012–2014 tehtyjä hanke- ja ohjelmaevaluointeja sekä arvioitiin UM:n evaluointikapasiteettia ja sen kehittämiseksi tähtäävien toimien vaikutuksia.

Kuluva vuosi 2015 on julistettu evaluoinnin kansainväliseksi teemavuodeksi. Evaluoinnin teemavuoden kunniaksi ulkoasiainministeriön kehitysevaluoinnin yksikkö (EVA-11) järjestää useita evaluointia ja erityisesti evaluointikulttuuria edistäviä tilaisuuksia. Samalla paneudumme evaluointitoimen kehittämiseen entistä systemaattisemmin osana kehityspolitiikan ja -yhteistyön kokonaisuutta.

Evaluointi tehtiin ennen kaikkea oppimista ja tulevan yhteistyön suunnittelua varten, mutta myös avoimuuden ja tilivelvollisuuden toteutumiseksi. Evaluoinnin tavoitteena oli tarkastella yhteistyön saavutuksia sekä mahdollisia heikkouksia siinä, miten tehokkaasti Suomi on onnistunut tukemaan Kenian kehityspyrkimyksiä.

Evaluointi: Suomen kehityspoliittiset toimenpideohjelmat tulosjohtamisen näkökulmasta 2003–2013. Kehityspoliittiset ohjelmat välittävät onnistuneesti ja vakuuttavasti Suomen kehityspolitiikan arvot ja yleiset johtavat periaatteet. Kehityspolitiikasta ja -yhteistyöstä puuttuu kuitenkin edelleen kattava lähestymistapa tulosperustaiselle johtamiselle.