Meta-evaluointi hanke- ja ohjelmaevaluoinneista 2014–2015

Metaevaluointi arvioi evaluointi- ja ennakkoarviointiraporttien sekä niiden tehtävänkuvauksien laatua. Arviointi perustui ulkoministeriön eri käsikirjoissa laajasti esiteltyihin laatuvaatimuksiin. Toisessa vaiheessa analysoitiin sitä, mitä raportit paljastivat Suomen kehitysyhteistyöstä käyttäen innovatiivista, yhdistettyä deduktiivis-induktiivista lähestymistapaa.

Evaluointiraporttien ja tehtävänkuvausten laatua ei arvioitu kovinkaan korkeaksi lukuun ottamatta tiettyjä vähemmän ratkaisevia ominaisuuksia. Kummissakin havaittiin riittämättömällä todistusaineistolla perusteltuja johtopäätöksiä, puutteellisia vastauksia evaluointikysymyksiin sekä analyysin puutetta sellaisissa aiheissa kuten avun tuloksellisuus, läpileikkaavat tavoitteet ja Suomen ihmisoikeusperustainen kehityspolitiikka. Tehtävänkuvaukset eivät ohjanneet tehtäviä riittävän tarkasti eivätkä vaatineet evaluointien tekijöiltä raportointia useista oleellisista politiikkakysymyksistä. Ennakkoarviointiraporttien laatu arvioitiin erittäin heikoksi erityisesti siksi, että ne oli toteutettu etukäteisevaluointeina hankesuunnittelun vaiheessa, jossa ehdotettu interventio ei ollut vielä riittävän tarkasti muotoiltu.

Suomen kehitysyhteistyön arviointi perustui pienemmälle otokselle sellaisia evaluointiraportteja, jotka olivat saavuttaneet laadullisen vähimmäistason. Loppupäätelmiä varten induktiivisen analyysin tuottamiin näkemyksiin yhdistettiin tiukasti luokiteltu deduktiivinen analyysi.

 Suomen kehitysyhteistyön havaittiin olevan erittäin relevanttia sikäli, että se on yhdenmukaista sekä Suomen että edunsaajaorganisaatioiden politiikan ja strategioiden kanssa. Se myös vastaa yleisesti hyvin edunsaajien tarpeisiin. Raportit eivät kuitenkaan tarjoa paljon tietoa siitä, missä määrin aloitteet ovat relevantteja tietyille erityisille Suomen kehitysyhteistyön toimintalinjoille. Suomen kehitysyhteistyö näyttäytyi raporttien perusteella vain kohtalaisen tuloksellisena korkeamman tason tavoitteidensa saavuttamisessa. Tehokkuus sai raporteissa alhaisia pisteitä, ja monet raportit eivät edes maininneet sitä. Kestävyyden arvosana oli melko alhainen, sillä raporteista ei ilmennyt, miksi niissä todettiin kehitysinterventioiden olevan kestäviä tuloksiltaan. Erittäin alhainen vaikutuksellisuuden arvosana heijastaa sitä, että vain erittäin harvat raportit pystyivät osoittamaan, mikä vaikutus hankkeilla tulisi olemaan.  Alhaiseen arvosanaan vaikuttaa suuresti vaikutuksen arviointiin vaadittavan tiedon keräämiseen käytettävien seuranta- ja tietojärjestelmien kertakaikkinen puuttuminen arvioiduissa hankkeissa.

Suositukset koskevat sekä strategista toimintatasoa että operationaalisentason johtopäätelmiä. Raportissa esitetään ehdotuksia ulkoministeriön organisaation ja henkilökunnan valmiuksien ja kykyjen kehittämiseksi.

Evaluointiraportti:

Metaevaluointiraportti 2014-2015 (PDF, 224 sivua, 1 Mt)

Ministeriön näkökulma evaluointiin:

Mitä opimme evaluoinnista? (PDF, 2 sivua, 93 Kt)

Johdon päätös jatkotoimenpiteistä (PDF, 4 sivua, 3 Mt)

Taltioinnit:

Katso tallenne evaluoinnin esittelystä(Linkki toiselle web-sivustolle.) (avautuu uuteen ikkunaan) (linkki taltiointiin)