Evaluoinnit auttavat parantamaan tuloksia
Ulkoministeriön itsenäinen evaluointityö tuottaa riippumatonta tietoa kehityspoliittisista saavutuksista ja haasteista. Yksikön tuottamien evaluointien tarjoamaa tietoa hyödynnetään suunnittelu-, tulosohjaus- ja laadunvarmistusprosesseissa. Löydöksiä kirjataan myös sähköiseen järjestelmään, jossa niitä voidaan tarkastella muiden tulostietojen rinnalla. Valmistuneet raportit julkaistaan ministeriön verkkosivuilla, ja niistä järjestetään julkisia esittely- ja keskustelutilaisuuksia.
Evaluoinneissa annetaan suosituksia kehityspolitiikan ja -yhteistyön vaikuttavuuden lisäämiseksi. Niiden avulla kerätään myös tietopohjaista aineistoa päätöksenteon ja vaikuttamistyön tueksi. Suositusten pohjalta toteutetaan konkreettisia jatkotoimenpiteitä.
Vuosina 2019-2021 tehtiin yhdeksän strategista evaluointia, noin sata hanke-evaluointia ja muita erilaisia arviointeja. Strategista tietoa tuotetaan laajoilla evaluoinneilla, jotka käsittelevät kehityspoliittisia tavoitteita ja painopisteitä, tukimuotoja, maaohjelmakokonaisuuksia sekä eri toimialojen linjauksia. Hanke-evaluointien tuloksia käytetään puolestaan hanketoiminnan suunnitteluun ja ohjaamiseen.
Evaluointien mukaan Suomen kehitysyhteistyössä yhdistyvät kumppaneiden ja Suomen tavoitteet.
Kolmen viime vuoden evaluointiraporttien mukaan Suomen kehitysyhteistyö on ollut tuloksellista ja se on tuottanut myönteistä kehitystä sekä kumppanimaissa että kansainvälisesti. Toiminnassa yhdistyvät kumppaneiden ja Suomen tavoitteet. Haasteita ovat aiheuttaneet muun muassa henkilöstön ja resurssien rajallisuus, toimintaympäristöjen epävakaus ja koronapandemia. Toisaalta kehitysyhteistyön strategisia kokonaisuuksia ja linjauksia ei ole sovitettu riittävän tiukasti yhteen.
Evaluoinnit ovat osa tietojohtamista
Vuonna 2019 toteutettu tiedolla johtamisen evaluointi vahvisti, että keskitetyt evaluoinnit ovat tuottaneet hyödyllistä tietoa ja vaikuttaneet onnistuneesti päätöksentekoon. Tulostietoa on hyödynnetty strategioiden, linjausten ja hankkeiden kehittämiseen ulkoministeriössä. Evaluoinnin mukaan tulostiedon hyödyntämistä voidaan edelleen vahvistaa, erityisesti resurssien ohjaamisessa. Parannettavaa löydettiin myös tiedon jatkojalostamisessa ja yhdistelemisessä laajempiin kokonaisuuksiin sekä oppimista edistävien rakenteiden kehittämisessä. Raportissa todetaan, että ulkoministeriössä on kaiken kaikkiaan vahva evaluointia tukeva työympäristö.
Vuonna 2021 valmistuneen Suomen, Irlannin ja Sveitsin evaluointitoimintojen vertaisarvioinnin mukaan ulkoministeriön evaluointitoiminta on todennetusti itsenäistä ja riippumatonta. Kehitettävää löytyy erityisesti evaluointien käytettävyydessä ja luettavuudessa, toimeksiantojen rajaamisessa sekä arvioivien tuotteiden monipuolistamisessa.
Keväällä 2022 valmistuneessa metaevaluoinnissa todettiin, että hanketason evaluoinnit ovat tarjonneet käytännönläheistä ja merkityksellistä tietoa toiminnan ohjaamiseksi ja kehittämiseksi. Hanke-evaluoinnit koetaan kaiken kaikkiaan hyödyllisiksi, mutta niistä saatava tieto ei leviä laajalle organisaatiossa.
Suomi oli ensimmäinen maa maailmassa, joka toteutti itsenäisen ja riippumattoman evaluoinnin Agenda 2030:n kansallisesta toteutuksesta(Linkki toiselle web-sivustolle.). Evaluoinnin suunnittelu aloitettiin keväällä 2018, ja itse arviointi valmistui helmikuussa 2019. Suomi ja ulkoministeriön evaluointitoiminta saivat laajaa kansainvälistä huomiota, ja Suomi edisti kestävän kehityksen arviointia kansainvälisillä foorumeilla.
- 1
Merkintä tehdään uusien rahoituspäätösten yhteydessä tavoitteenasettelun pohjalta asteikolla ihmisoikeussokea, ihmisoikeussensitiivinen (ihmisoikeudet huomioiva), ihmisoikeusprogressiivinen (ihmisoikeuksia edistävä) ja ihmisoikeustransformatiivinen (ihmisoikeushaasteisiin tarttuva) tai ei määritelty.
- 2
Merkintä tehdään uusien rahoituspäätösten yhteydessä tavoitteenasettelun pohjalta. Otoksessa ovat mukana tehdyt rahoituspäätökset, joille on merkitty pääasialliseksi tai merkittäväksi osatavoitteeksi sukupuolten tasa-arvon edistäminen.
- 3
Kyseessä on kolmen vuoden keskiarvo päätöksistä, joissa on mukana tasa-arvoa tukevaa rahoitusta. Esimerkiksi vuoden 2017 luku kertoo vuosien 2015-2017 keskiarvon.
- 4
Multilateral Organisation Performance Assessment Network.
- 5
OECD DAC Corruption Risk Management Recommendations 2016. https://www.oecd.org/corruption/oecd-recommendation-for-development-cooperation-actors-on-managing-risks-of-corruption.htm(Linkki toiselle web-sivustolle.)
- 6
London Safeguarding Summit 2018 commitments. https://www.gov.uk/government/collections/safeguarding-summit-commitments(Linkki toiselle web-sivustolle.)
- 7
Ulkoministeriö (16.5.2022): Taulukko 4. Kehitysyhteistyömaksatukset suurimpiin yhteistyömaihin 2016-2021. https://um.fi/documents/35732/0/Tilastoliite+2021%2C+osa2.pdf/47739300-0dac-50c8-d9ce-706195ee8070?t=1649772600686
- 8
MOPAN (16.5.2022) MOPAN Assessment library.
https://www.mopanonline.org/assessments/(Linkki toiselle web-sivustolle.) - 9
MOPAN: 2017-18 ASSESSMENTS, Global Environment Facility (GEF) 2019. https://www.mopanonline.org/assessments/gef2017-18/GEF%20Report.pdf(Linkki toiselle web-sivustolle.)
- 10
MOPAN: 2017-18 ASSESSMENTS, United Nations Population Fund (UNFPA) 2019.
https://www.mopanonline.org/assessments/unfpa2017-18/UNFPA%20Report.pdf(Linkki toiselle web-sivustolle.) - 11
MOPAN: 2017-18 ASSESSMENTS, UN Women 2019. https://www.mopanonline.org/assessments/unwomen2017-18/Final_assessment_UN_Women_2019_02_14.pdf(Linkki toiselle web-sivustolle.)
- 12
MOPAN: Assessment Report United Nations Children’s Fund (UNICEF) 2021. https://www.mopanonline.org/assessments/unicef2020/MOPAN%20Assessment%20UNICEF%20web%20[for%20download].pdf(Linkki toiselle web-sivustolle.)
- 13
Ministry for Foreign Affairs of Finland (2020). Finnish Development Policy Influencing Activities in Multilateral Organisations, Volume 1, Main report. https://um.fi/documents/384998/0/Vol1+_MainReport_Evaluation+of+Finnish+Development+Policy+Influencing+Activities+in+Multilateral+Organisations+%281%29.pdf/2666cd6a-0bb2-1c76-0659-db1ac6fa30bf?t=1591860985653
- 14
Syvällisemmän tarkastelun kohteena olivat Maailmanpankkiryhmä, UNFPA, UNICEF, Maailman ruokaohjelma WFP, UN Women, Kansainvälinen maatalouden kehittämisrahasto IFAD, YK:n elintarvike- ja maatalousjärjestö FAO ja Kansainvälinen kauppakeskus ITC.
- 15
MOPAN: 2017-18 ASSESSMENTS, International Fund for Agricultural Development (IFAD) 2019. https://www.mopanonline.org/assessments/ifad2017-18/IFAD%20Report.pdf(Linkki toiselle web-sivustolle.)
- 16
African Development Bank Group (2022). Annual Development Effectiveness Review 2022. https://www.afdb.org/en/documents/annual-development-effectiveness-review-2022(Linkki toiselle web-sivustolle.)
- 17
Euroopan komissio (2021). Globaali Eurooppa: naapuruus-, kehitys- ja kansainvälisen yhteistyön väline. https://ec.europa.eu/info/funding-tenders/find-funding/eu-funding-programmes/global-europe-neighbourhood-development-and-international-cooperation-instrument_fi(Linkki toiselle web-sivustolle.)
- 18
Yksi ohjelmatukea saavista järjestöistä on Fingo ry, jonka jäsenenä on yhteensä 270 suomalaista kansalaisjärjestöä.
Tuloksellisuutta edistäneet seikat
- toiminnan suunnitelmallisuus ja pitkäjänteisyys
- tiivis yhteistyö eri kumppaneiden ja verkostojen kanssa
- nojautuminen kehityspoliittisiin painopisteisiin, maastrategioihin ja -ohjelmiin sekä kattavaan edustustoverkostoon
- kyky tarttua uusiin mahdollisuuksiin ja sopeutua muuttuviin tilanteisiin
- toiminnan kysyntävetoisuus ja kumppaneiden omistajuus
- hyvät henkilökohtaiset suhteet kansainvälisiin toimijoihin ja institutionaalinen kumppanuus, etenkin vaikuttamistyössä
- oikein valitut rahoituskanavat ja yhteistyömuodot
- tuloksellinen monenkeskisten kanavien käyttö sekä vakaissa että hauraissa toimintaympäristöissä
- onnistunut paikallinen yhteistyö poliittisten tavoitteiden saavuttamiseksi
- kahdenvälisen kehitysyhteistyön hyödyntäminen maissa, joissa ollaan siirtymässä kehitysyhteistyöstä muuhun maiden väliseen yhteistyöhön
- motivoitunut henkilöstö ja myönteinen suhtautuminen tulostiedon hyödyntämiseen
Tuloksellisuutta vähentäneet seikat
- henkilöstömäärän rajallisuus ja suuri henkilöstön vaihtuvuus
- koordinaatiokatkokset niin organisaation sisällä kuin ulkopuolisten toimijoiden kanssa
- paikallisen osaamisen rajallinen hyödyntäminen
- toimintaympäristön epävarmuustekijät, kuten koronapandemia
- keskenään ristiriitaiset tai epärealistiset tavoitteet
- eri vastuualueiden haasteellinen yhteensovittaminen, linjausten väliltä puuttuva kokonaisnäkemys ja laajojen kokonaisuuksien hajanaisuus
- joidenkin strategisten tai ohjaavien tavoitteiden puuttuminen, kuten esimerkiksi yksityisen sektorin rahoitusvälineiden käytöstä tai siirtymävaiheen työstä
- pienten hankkeiden rajallinen vaikuttavuus tarpeisiin nähden
- jäykät rahoitusrakenteet ja -menettelyt
- riskejä karttava organisaatiokulttuuri
- käytännön vaikeudet läpileikkaavien tavoitteiden huomioimisessa ja ihmisoikeusperustaisuuden toteuttamisessa