Kehitysyhteistyön evaluointiraportit: Laajat evaluoinnit

Tässä riippumattomassa evaluoinnissa tarkasteltiin, miten Suomi vaikuttaa kehitysyhteistyön monenkeskisten kumppaniorganisaatioiden toimintaan edistääkseen kansainvälistä kehitysagendaa. Siinä arvioitiin ulkoministeriön käyttämien erityyppisten vaikuttamistoimien tarkoituksenmukaisuutta ja tuloksellisuutta, sekä esitetään suosituksia, joiden avulla vaikuttamista voidaan entisestään vahvistaa. Tarkastelu käsitti 23 ulkoministeriön monenkeskistä organisaatiota, joista kahdeksaa käsiteltiin syvällisemmin: Maailmanpankkiryhmä, UNFPA, UNICEF, WFP, UN Women, IFAD, FAO ja ITC. Kesäkuussa 2019 käynnistynyt evaluointi perustui sille laadittuun teoreettiseen viitekehykseen, jolla jäsennetään ministeriön monenkeskisiä vaikuttamistoimia ja niiden tuloksia. Löydökset perustuvat kattavaan dokumenttianalyysiin ja 174: ään haastatteluun. Arviointitiimi vieraili myös järjestöjen pääkonttoreissa New Yorkissa, Roomassa ja Washington D.C.:ssä sekä toteutti kenttämatkat Nepaliin ja Keniaan.

Evaluoinnissa tarkasteltiin, kuinka Suomen kehitysyhteistyön maaohjelmien laadinta ja seuranta palvelevat kehitysyhteistyön suunnittelua ja toteutusta hauraissa tai konfliktiympäristöissä. Maaliskuussa 2019 käynnistynyt arviointi perustuu maaohjelmien tulosohjausjärjestelmän analyysiin, sidosryhmähaastatteluihin, avun määrälliseen analyysiin sekä 64:n hankkeen dokumenttianalyyseihin. Evaluointitietoa kerättiin myös kenttämatkoilla, jotka tehtiin Afganistaniin, Libanoniin (liittyen Syyria-Irak -ohjelmaan), Myanmariin, miehitetylle Palestiinalaisalueelle ja Somaliaan.

Kehitysevaluoinnin vuosiraportissa tehdään yhteenvetoa evaluointien esiintuomista kehitysyhteistyön ja -politiikan vahvuuksista sekä kehittämiskohteista. Vuonna 2019 evaluointien teemat kietoutuivat tietojohtamisen ja kehittävän evaluoinnin ympärille. Ulkoministeriön tietoperustaista johtamista koskevan evaluoinnin lisäksi saatiin päätökseen kaksi yhteisevaluointia, ulkoministeriön ja Business Finlandin yhteisen Business with Impact (BEAM) -ohjelman kehittävä evaluointi sekä pohjoismaisessa yhteistyössä toteutettu Nordic Development Fund’in (NDF) evaluointi. Lisäksi yksikön evaluointien puitesopimuksen kautta tuettiin evaluoinnin toteuttamista maatalous-, maaseutukehitys- ja metsäsektorin kehityshankkeista (ARDF) Afrikan ja Lähi-idän osastolla sekä evaluointia Nepalin maaseudun vesivarojen hallinnointihankkeesta Aasian ja Amerikan osastolla. Koko ministeriön evaluointitoiminnan kehittämiseksi sekä evaluointien käytettävyyden ja hyödyllisyyden parantamiseksi Suomi käynnisti yhdessä Irlannin ja Sveitsin vertaisarvion toistensa evaluointitoiminnoista. Siitä ja yksikön muusta ajankohtaisesta kehittämistyöstä kerrotaan tarkemmin raportissa.

Business with Impact – BEAM – ohjelman kehittävä evaluointi liitettiin ohjelmaan syyskuussa 2015 ja se on jatkunut koko ajan vuoden 2019 loppuun asti. BEAM on Business Finlandin ja ulkoministeriön yhteinen, viisivuotinen ohjelma, jonka tavoitteena on ollut parantaa yritysten kasvun edellytyksiä kasvavilla ja kehittyvillä markkinoilla. Ohjelma tuo kestävän kehityksen innovaatioita yritysten tietoisuuteen sekä edistää monimuotoista innovaatioyhteistyötä suomalaisten ja ulkomaisten kumppanien välille. Kehittävän evaluoinnin tarkoituksena on tukea ohjelman johtoa koko ohjelmakauden ajan, antaa välitöntä palautetta eri lähestymistavoista, toimivuudesta ja vaikuttavuudesta sekä tukea strategista oppimista ohjelmassa.

Evaluoinnin tarkoituksena on tukea ulkoministeriön tietojohtamista vahvistamalla tulostietoon perustuvaa oppimista ja päätöksentekoa kehityspolitiikan ja kehitysyhteistyön kaikilla hallinnan tasoilla sekä eri yhteistyömuodoissa. Se tutkii johtamis- ja päätöksentekoprosesseja oppimisen näkökulmasta: miten ministeriössä pystytään keräämään, hyödyntämään, oppimaan ja tiedottamaan päätöksistä dokumentoidun ja niin sanotun hiljaisen tiedon avulla.

Kehitysevaluoinnin vuosiraportissa tehdään yhteenvetoa evaluointien esiintuomista kehitysyhteistyön ja -politiikan vahvuuksista sekä kehittämiskohteista. Viime vuonna toteutetut laajat evaluoinnit kohdistuivat mielenkiintoisiin ja ajankohtaisiin mutta samalla haastaviin kehityspolitiikan ja -yhteistyön kysymyksiin. Evaluointien aiheina olivat tyttöjen ja naisten oikeuksien edistäminen Suomen kehityspolitiikassa, pakolais- ja muuttoliikekysymykset sekä hanke- ja ohjelma-arviointien metaevaluointi. Lisäksi tehtiin evaluoitavuusselvitys ihmisoikeusperustaisuudesta ja jatkettiin ulkoministeriön ja Business Finlandin yhteistä Business with Impact (BEAM) -ohjelman kehittävää evaluointia.

Ulkoministeriön kehitysevaluoinnin yksikkö teetti pakolaisuutta ja kehityspolitiikkaa käsittelevän evaluoinnin, jonka tavoitteena oli lisätä tietoa ja ymmärrystä pakkomuuton käsitteestä, humanitaarisen avun ja kehitystavoitteiden yhteyksistä sekä auttaa näiden käsitteiden sisällyttämisestä ulkoministeriön käytäntöihin. Evaluoinnissa tarkasteltiin, kuinka johdonmukaisesti Suomen kehityspolitiikan tavoitteet on toteutettu pakkomuuton eli tahdonvastaisen muuttoliikkeen osalta sekä etsittiin keinoja vahvistaa politiikkajohdonmukaisuutta Suomen kehitysyhteistyössä.

Selvityksen tarkoituksena oli tarkastella Suomen ihmisoikeusperustaisen lähestymistavan (Human Rights Based Approach, HRBA) toteutuksen evaluoitavuutta ja antaa tietoa tulevalle arvioinnille HRBA:n toteuttamisesta Suomen kehitysyhteistyössä ja -politiikassa vuosina 2012 - 2018. Suomen ulkoministeriö tilasi selvityksen.

Ulkoministeriö on teettänyt arvioinnin naisten ja tyttöjen oikeuksiin ja sukupuolten tasa-arvoon kohdistuvan kehitysyhteistyön hyväksi havaituista käytännöistä ja esimerkkitapauksista oppimista varten. Naisten ja tyttöjen oikeuksien edistäminen on ollut jo pitkään Suomen kehityspolitiikan keskeisiä tavoitteita. Evaluoinnissa etsittiin tuloksia käyttäytymismallien muutoksista, jotka ovat olennaisia sukupuolten tasa-arvon ja naisten ja tyttöjen oikeuksien edistämisessä. Evaluointi keräsi myös tietoa ulkoministeriön seurannasta, arvioinnista ja organisaation sisäisestä oppimisesta.

Meta-evaluointi hanke- ja ohjelmaevaluoinneista 2015–2017

Kehitysevaluoinnin vuosiraportti

Evaluointi kansalaisjärjestöjen ohjelmatuesta – osa 3

Business with Impact (BEAM) -ohjelman kehittävä evaluointi

Evaluointi ohjelmatukea saavista kansalaisjärjestöistä – osa 2

Selvitys vaikuttavuuden arvioitavuudesta sekä meta-analyysi Suomen tuesta naisten, tyttöjen ja sukupuolten tasa-arvon edistämiseksi

Kehitysevaluoinnin vuosiraportti 2016

Meta-evaluointi hanke- ja ohjelmaevaluoinneista 2014–2015

Ulkoministeriö evaluoi kaikki ohjelmatukea saavat 22 järjestöä kolmessa osassa. Tässä ensimmäisessä eva­luoinnissa arvioitiin kuuden järjestön, Crisis Mana­gement Initiativen, Felmin, Reilu kaupan, Suomen pakolaisavun, Taksvärkin ja WWF Suomen kehitys-yhteistyöohjelmien onnistumista.

Kauppaa tukevan kehitysyhteistyön hankkeet ovat tuottaneet tuloksia ja vaikuttaneet erityisesti sektoreilla, joilla Suomi on kilpailukykyinen, todetaan juuri julkaistussa Aid for Trade -evaluointiraportissa.

Suomen kahdenvälisen kehitysyhteistyön kautta on onnistuttu tukemaan asioita, jotka ovat tärkeitä Suomen kehityspolitiikan, kumppanimaiden ja yhteistyöstä hyötyvien ihmisten kannalta.

Tulosjohtamista pitää kehittää edelleen. Tasa-arvon edistäminen koulutuksen avulla on Suomen vahvuus. Kahdenvälinen yhteistyö on tarkoituksenmukaista ja tuottaa usein myös tuloksia – mutta tiedämmekö tarpeeksi pitkän aikavälin vaikutuksista? Nämä ovat juuri julkaistun kehitysevaluoinnin vuosiraportin 2015 keskeisiä viestejä.

Evaluoinnin tavoitteena oli tuottaa luotettavaa tietoa Suomen humanitaarisesta miinatoiminnasta sekä suosituksia siihen, miten sitä voisi jatkossa kehittää.

Evaluoinnin tarkoituksena oli saada itsenäistä ja riippumatonta tietoa siitä, miten Suomen kehitysyhteistyö on tukenut vammaisten oikeuksia erityisesti koulutuksessa sekä miten vammaisten oikeudet ja ihmisoikeusperustainen lähestymistapa on toteutunut kehitysyhteistyössä yleisemmin.

Metautvärderingen uppskattade standarden på utvärderingsrapporter och direktiv, Finlands utvecklingssamarbete och utrikesministeriets (UM) utvärderingsledning och tjänster för kapacitetsutveckling. Den baserades på tre översiktsverktyg, en översikt av dokument och konsulteringar med UM:s-personal.

Kuluva vuosi 2015 on julistettu evaluoinnin kansainväliseksi teemavuodeksi. Evaluoinnin teemavuoden kunniaksi ulkoasiainministeriön kehitysevaluoinnin yksikkö (EVA-11) järjestää useita evaluointia ja erityisesti evaluointikulttuuria edistäviä tilaisuuksia. Samalla paneudumme evaluointitoimen kehittämiseen entistä systemaattisemmin osana kehityspolitiikan ja -yhteistyön kokonaisuutta.

Evaluointi tehtiin ennen kaikkea oppimista ja tulevan yhteistyön suunnittelua varten, mutta myös avoimuuden ja tilivelvollisuuden toteutumiseksi. Evaluoinnin tavoitteena oli tarkastella yhteistyön saavutuksia sekä mahdollisia heikkouksia siinä, miten tehokkaasti Suomi on onnistunut tukemaan Kenian kehityspyrkimyksiä.

Evaluointi: Suomen kehityspoliittiset toimenpideohjelmat tulosjohtamisen näkökulmasta 2003–2013. Kehityspoliittiset ohjelmat välittävät onnistuneesti ja vakuuttavasti Suomen kehityspolitiikan arvot ja yleiset johtavat periaatteet. Kehityspolitiikasta ja -yhteistyöstä puuttuu kuitenkin edelleen kattava lähestymistapa tulosperustaiselle johtamiselle.

Metautvärdering av decentraliserade utvärderingar under 2010 och 2011

Evaluointiraportti: Bi-Annual report 2009-2010 of Development Evaluation

Evaluointi Suomen tuesta rauhanrakentamiselle Nepalissa.

Suomen näkökulma Pohjoismaiden vaikuttamisesta monenkeskisissä järjestöissä.

Evaluointi tarkasteli Suomen paikallishallinnon ja hallinnon hajauttamisen kehitysyhteistyötä. Tarkastelun kohteena oli Suomen Kuntaliiton ohjelma Pohjoisen ja Etelän kuntien yhteistyöstä (NSLGCP) ja kymmenen muuta kehitysohjelmaa. Työ sisälsi asiakirjojen analysointia ja haastatteluja Suomessa, Keniassa, Namibiassa, Etelä-Afrikassa, Swasimaassa ja Tansaniassa.

Syftet med denna utvärdering är att bedöma i vilken mån systemet för Finlands förmånliga stödkrediter under 2002–2009 bidragit till minskad fattigdom och hållbara konkreta resultat samt att bedöma systemets brister. Utvärderingen bygger på projektdokumentation, offentliga handlingar, interna granskningar och utvärderingar, intervjuer med utvalda intressenter och studiebesök till Vietnam.

Arvioinnin mukaan Tansanian maaohjelma kaipaa uudenlaista strategista suunnittelua, jotta ohjelmasta muodostuu johdonmukainen.

Arvioinnin mukaan Nepalin maaohjelma on onnistunut. Uudelleentarkastelu on tarpeen tehokkaiden ja osallistavien ilmastonmuutoksen hillintään tähtäävien toimien löytämiseksi.

Finland är en av de viktiga leverantörerna av JPOs till multilaterala organisationer och den största bland de nordiska bidragsgivarna. Programmet administreras produktivt och relativt effektivt, men den långsiktiga påverkan är mindre. Som redskap för att skapa erfarna utvecklingsutövare är programmet väldigt effektivt.

This policy brief is based on an evaluation of Finland’s development cooperation with Nepal, Nicaragua and Tanzania over the last decade.

Utvärderingens syfte är att ge en extern och oberoende bild av de olika dimensionerna av utbildningsprogrammet och dess betydelse för uppfyllelsen av de mål som på olika nivåer uppställts för Finlands Verifikationsinstitut för konventionen mot kemiska vapen (VERIFIN).

Vuonna 2005 hyväksytty Pariisin julistus avun tuloksellisuudesta on merkittävä kansainvälinen sopimus ja uudistusohjelma – siihen huipentuvat usean vuosikymmenen yritykset parantaa avun laatua ja sen vaikutuksia kehitykseen. Tämä raportti on riippumaton kokonaisvaltainen evaluaatio näistä pyrkimyksistä parantaa kansainvälisen avun tuloksellisuutta, ennen kaikkea vuodesta 2005 alkaen.

Denna utvärdering granskar hur resultatstyrning har implementerats i Finlands utvecklingssamarbete. Vid resultatstyrning utnyttjas resultatbaserad information i syfte att förbättra beslutsfattandet. Trots många hänvisningar till resultatstyrning i utrikesministeriets (MFA) dokument finns det ingen formell politik eller strategi för ett sådant arbetssätt. Det som kommer närmast är riktlinjerna för projektplaneringen, som följer de logiska ramarna.