Evaluointiraportti 2009:9: Meta-analyysi Kehitysevaluaatioista vuosilta 2007 ja 2008

Evaluointiraportti 2009:9: Meta-analyysi Kehitysevaluaatioista vuosilta 2007 ja 2008 (avautuu uuteen ikkunaan) (PDF, 2 Mt, 99 sivua)

Liite 2: People Consulted (avautuu uuteen ikkunaan) (PDF, 138 kt)

Liite 3: The Evaluated Reports by Author (avautuu uuteen ikkunaan) (PDF, 213 kt)

Liite 4: Interview Guide (avautuu uuteen ikkunaan) (PDF, 172 kt)

Liite 5: Narrative Qualitative Evaluation of Report (avautuu uuteen ikkunaan) (PDF, 136 kt)

Liite 6: Evaluation Report Assessment Form (avautuu uuteen ikkunaan) (PDF, 257 kt)

Liite 7: Evaluation Criteria for Aid Quality (avautuu uuteen ikkunaan) (PDF, 202 kt)

Liite 8: Evaluation Team (avautuu uuteen ikkunaan) (PDF, 139 kt)

 

Tekijät: Paula J. Williams ja Maaria Seppänen

ISBN 978-951-724-809-9 (painettu)

ISBN 978-951-724-810-5 (pdf)

ISSN 1235-7618

 

Meta-analyysissä tutkittiin 33 etukäteisarvion ja evaluaatioraportin otos vuosina 2007 ja 2008 toteutetuista evaluaatioista. Ne koskivat 36 Suomen ulkoasiainministeriön (UM) tukemaa hanketta ja kehitysohjelmaa. Tavoitteena oli vetää yhteen evaluaatioiden opetuksia, löytää suositeltavia hyviä käytäntöjä sekä saattaa nämä laajemmin suuren yleisön saataville.

Arvioinnissa analysoitiin 1) evaluaatioraporttien laatu ja niiden toimeksiannot (TOR), 2) kehityshankkeiden laatu ja 3) vuoden 2007 kehityspoliittisen ohjelman toimeenpano erityisesti tuloksellisuuden ja kestävyyden suhteen. Meta-analyysissä evaluaatioraportit pisteytettiin kymmenen taloudellisen yhteistyön ja kehityksen järjestön (Organisation for Economic Co-operation and Development, OECD) kehitysapukomitean Development Assistance Committee, DAC) evaluaation laatukriteerin mukaan. Kehityshankkeet pisteytettiin OECD/DAC:n viiden evaluaatiokäsitteen mukaan (tarkoituksenmukaisuus, tuloksellisuus, tehokkuus, vaikutuksellisuus ja tulosten kestävyys) sekä kolmen lisäkriteerin mukaan (politiikkajohdonmukaisuus ja täydentävyys; suomalainen lisäarvo; ja seuranta tiedonhallintojärjestelmineen).

Yleisesti ottaen raporttien ja hankkeiden laatu todettiin hyväksi, tosin epätasaiseksi niin, että mukaan mahtui merkittäviä saavutuksia mutta myös selviä parannusta vaativia kohtia. Useimmat otokseen kuuluvat hankkeet oli aloitettu ennen vuonna 2007 hyväksyttyä uutta kehityspoliittista ohjelmaa, mutta otokseen kuuluneiden etukäteisarvioiden kohteista voidaan päätellä, että kehitysyhteistyö on siirtymässä kohti ympäristöalan hankkeita. Verrattuna kahteen aikaisempaan meta-analyysiin nyt raporteista löydettiin suurempi huomio evaluaation avainkäsitteille ja yleinen raporttien laadun paraneminen.

Meta-analyysi totesi, että kehityshankkeissa täytyy ottaa paremmin huomioon kestävyys ja vaikutuksellisuus sekä seurantajärjestelmän kehittäminen. Myös evaluaatioiden käyttöä tule tehostaa ja tiedon levittämistä edistää, jotta UM ja laajempi kehitysyhteistyöstä kiinnostunut yleisö voi paremmin oppia niistä.

Avainsanat: kehitysyhteistyön evaluaatio, etukäteisarvio, meta-analyysi, kehityspolitiikka