Meta-evaluointi hanke- ja ohjelmaevaluoinneista 2015–2017
Suomen ulkoministeriö (UM) tilaa säännöllisesti metaevaluointeja hanke-evaluoinneista. Tässä toimeksiannossa toteutettiin metodologinen laadunarviointi ja summatiivinen sisällön arviointi etukäteen määritellystä aineistosta. Aineistona oli 51 hanke-evaluointiraporttia, jotka oli laadittu syyskuun 2015 ja elokuun 2017 välisenä aikana ulkoministeriön kahden- ja monenvälisistä hankkeista sekä monen-kahdenvälisistä hankkeista (ns. multi-bi). Lisäksi arvioitiin 45 evaluointiraportin tehtävänkuvauksen (Terms of Reference) laatu.
Kaksivaiheinen monimetodinen analyysi noudatti osallistavaa lähestymistapaa. Se perustui kattavien standardoitujen arviointivälineiden käyttöön, temaattiseen koodaukseen, tilastojen yhteenvetämiseen ja sisällön laadun analyysiin. Löydöstemme mukaan 60 % arvioiduista tehtävänkuvauksista niiden laatu on tyydyttävä. Kuitenkin havaitsimme myös useita heikkouksia, jotka tuovat ilmi useita kapasiteettiin liittyviä puutteita UM:ssä. Koska tyypillisesti korkeampi tehtävänkuvausten laatu liittyy korkeampaan raportin laatuun, suosittelemme erityisesti, että evaluointimanuaalia parannetaan, jotta voidaan parantaa arviointimetodologioiden ja -käytäntöjen tuntemusta ja harkita olemassa olevien rakenteiden parantamista.
Rapottien laatuun liittyen havaitsimme, että löydökset perustuvat usein heikkoon metodologiaan, mutta vaikuttavat silti suhteellisen luotettavilta. Noin kaksi kolmasosaa raporteista sisältää joitakin laadullisia puutteita, ja noin kolmasosaa sisältää merkittäviä laadullisia puutteita. Siksi on suositeltavaa parantaa laadunvarmistusta ja varmistaa metodologinen asiantuntijuus arvioijia rekrytoitaessa.
Arviointiraporttien mukaan kokonaislaatu arvioidaan laadultaan kohtalaiseksi tai paremmaksi 70 %:ssa interventioista. Relevanssia pidetään vahvuutena ja kestävyyttä suurimpana haasteena.
Koska interventioiden kokonaispopulaatiosta ei ole tarpeeksi tietoja, emme voi arvioida, missä määrin tämä raporttien otos edustaa koko Suomen kehitysyhteistyön tätä osaa. Siksi suosittelemme, että kaikki interventiot kartoitetaan, jotta stratifioitu otanta voidaan toteuttaa tulevaisuudessa.
Evaluointiraportti
Meta-evaluation report (englanniksi, PDF-tiedosto, 196 sivua, 2 Mt)
Ministeriön näkökulma evaluointiin
Mitä opimme evaluoinnista? (suomeksi, PDF-tiedosto, 2 sivua, 93,5 kt)
Johdon päätös jatkotoimenpiteistä (suomeksi, PDF-tiedosto, 6 sivua, 251 kt)
Tallenteet
We(Linkki toiselle web-sivustolle.)binar presentation of the Meta-evaluation results 16.3.2018(Linkki toiselle web-sivustolle.) (avautuu uuteen ikkunaan) (linkki videoon)