Evaluointi: Kehitysyhteistyön vuoden 2006 evaluaatioiden meta-analyysi

Meta-Analysis of Development Evaluations in 2006 (avautuu uuteen ikkunaan) (PDF, 102 sivua, 542 kt)

Tiivistelmä (avautuu uuteen ikkunaan) (PDF, 42 sivua, 303 kt)

Ulkoasiainministeriön evaluointiraportti 2007:2
Meta-Analysis of Development Evaluations in 2006

ISBN 978-951-724-632-3 (painettu)
ISBN 978-951-724-633-1 (pdf)
ISSN 1235-7618

Pamela White ja Tuija Stenbäck

Tiivistelmä

Meta-analyysi toteutettiin arvioimalla Suomen kehitysyhteistyöhankkeiden/ ohjelmien evaluoinnit vuodelta 2006. Pääkysymykset olivat:

  1. Missä määrin arvioidut ohjelmat ja hankkeet ovat olleet yhdenmukaisia Suomen kehityspolitiikan kanssa (kehityshankkeiden/-ohjelmien laatu ja vaikuttavuus)?
  2. Missä määrin arvioinnit tuottavat tarvittavaa tietoa kaikkiin Suomen kehityspolitiikkaan liittyviin tekijöihin liittyen (arviointien laatu)?

Yhteensä 29 raporttia, sisältäen eri kehitysyhteistyön muotoja, tutkittiin, eniten kahdenvälisiä ohjelmia ja hankkeita. Työssä analysoitiin hyvin laajalti erisektoreita, maaseutukehityksen ollessa raporteissa eniten edustettuna. Vaikka yksittäisten raporttien laatu vaihteli, raporttien laadussa ei havaittu merkittäviä eroja ryhmiteltynä sektorin, apumuodon tai maantieteellisen alueen mukaan.

Evaluoinnit vahvistavat Suomen rahoittamien ohjelmien/hankkeiden olevan relevantteja. Hankkeiden pysyvää vaikutusta (impact) ja kestävyyttä (sustainability) oli evaluointien tekijöiden vaikea arvioida, koska useimmat evaluoinnit olivat väliarviointeja tai seurantaan liittyviä toimeksiantoja, ja arviointeihin varattu aika oli lyhyt. Tehokkuus oli yleensä parempi hankkeissa/ohjelmissa, joissa ulkopuolinen arviointeihin varattu aika oli lyhyt. Tehokkuus oli yleensä parempi hankkeissa/ ohjelmissa, joissa ulkopuolinen tekninen apu vastasi toimintojen toteuttamisesta, kuitenkin joissain tapauksissa kestävyydestä ei ollut varmuutta. Kansalaisjärjestöt olivat yleensä tehokkaita hankkeiden toteuttamisessa, mutta puutteita oli usein hallintokäytännöissä.

Yleisimmät ongelmat, riippumatta apumuodosta, olivat budjetin alikäyttö, viivästykset toteutuksessa ja kestävyyden puute, ja ne edellyttävät jatkossa hanke-/ ohjelmasuunnittelun parantamista. Suositukset evaluointisysteemin parantamiseen liittyen koskevat tehtävänantojen parantamista, laadun valvontaa ja evaluoinneista saadun tiedon jakamista sekä keskustelun laajentamista.

Avainsanat: kehitysyhteistyö, meta-analyysi, evaluaatio