Irlannin, Sveitsin ja Suomen evaluointitoimintojen vertaisarviointi
OECD-DACin evaluointiverkoston (EvalNETin) suosituksesta Irlanti, Suomi ja Sveitsi arvioivat toistensa evaluointitoimintoja. Vertaisarvioinnissa tarkasteltiin evaluointitoimintoja yhdessä ja erikseen perustuen UNEGin (UN Evaluation Groupin) evaluointinormeihin: riippumattomuus, luotettavuus ja käytettävyys. Tarkastelun kohteina olivat evaluointilinjaukset ja -toiminnot, evaluointien suunnittelu ja toteutus, suositusten toimeenpano sekä yksikön johtaminen ja käytettävissä olevat resurssit. Tavoitteena oli toisilta oppiminen ja kunkin evaluointitoimintojen edelleen kehittäminen.
Evaluointiyksiköiden edustajat muodostivat arviointipaneelin, jota johti ulkopuolinen evaluoinnin erityisasiantuntija, joka toimi myös ryhmän ’valmentajana’. Arviointi tehtiin hyvin osallistavasti ja se koostui laajoista konsultaatioista ja pienimuotoista työpajoista. Arvioinnista laadittiin 4 raporttia; yksi yhteinen kaikkien maiden evaluointitoimet kattava raportti sekä erilliset yksikkökohtaiset raportit.
Vertaisarviointi oli hyödyllinen niin oppimisen kuin toimintojen kehittämisenkin kannalta. Ulkoministeriön kehitysevaluoinnin osalta arviointi totesi, että ministeriössä on hyvä evaluointikulttuuri, evaluoinnit ovat korkealaatuisia ja täyttävät kansainväliset evaluoinnin normit ja standardit ja tuottavat arvokasta evaluointitietoa. Arvioinnin päälöydösten mukaan keskitettyjen evaluointien laatu todettiin yleisesti hyväksi, mutta hajautettujen evaluointien laadussa ja toteutuksessa on parantamisen varaa. Hajautettujen evaluointien parantamiseksi suositellaan ministeriön osastojen ja yksiköiden entistä parempaa sitoutumista evaluointitoimintaan mm. allokoimalla riittävästi henkilöresursseja evaluointien suunnitteluun, toteutukseen ja tulosten seurantaan. Evaluointiyksikön koulutus- ja tukipalvelutarjontaa alueosastoille pidettiin hyvänä samoin kuin evaluointisuunnitelman osallistavaa ja konsultatiivista valmistelua.
Lisäksi arviointi suositteli evaluointiyksikköä kiinnittämään erityistä huomiota evaluointien käytettävyyteen ja hyödyllisyyteen. Tätä tukemaan tulisi evaluointien tarkoitus, tavoitteet ja evaluointikysymykset määritellä ja rajata tarkemmin. Jotta evaluointitieto olisi nopeammin hyödynnettävissä, voisi evaluointiyksikkö myös harkita suppeampia arviointeja kuten review-tyyppisiä selvityksiä, kerättyyn tietoon perustuvia analyysejä, itsearviointeja ja mm. etukäteisarviointeja (ex-ante).
Vertaisarvioinnin raportit
Peer Review of Four Evaluation Functions (avautuu uuteen ikkunaan) (englanniksi, PDF, 70 sivua, 2,0 MB)
Peer Review of Four Evaluation Functions – Extract for Finland (avautuu uuteen ikkunaan) (englanniksi, PDF, 32 sivua, 1,1 MB)