Evalueringsmodeller, design og metode

Ulike evalueringsmodeller tjener ulike formål. Hva som regnes som hensikten og formålet for evalueringen vil trolig være styrende for valg av modell, metode og design. Informantene fortalte om en mer eller mindre kronologisk gjennomgang hvor de som var mest involvert startet med å fortelle, operasjonsleder eller innsatsleder fungerte som leder for

gjennomføringene og i beste fall fikk de involverte trukket seg ut på et bakrom for å få ro.

Jonassen (2010) i sin studie av operative mannskaper, fant lignende resultater hvor

evalueringene ofte bar preg av at de var muntlige, ble gjennomført rett etter hendelsen og ikke hadde noen form for plan eller mål. Det er ikke et klart skille mellom ulike modeller for

Side 61 av 79 evaluering og man kan om ønsket benytte seg av en kombinasjon som passer for den enkelte evaluering (Sverdrup, 2002, s. 28).

Hvilke typer evalueringsmodeller kan gjenkjennes eller være nyttige for operasjonssentralen?

En brukerorientert evaluering har som mål å bli benyttet av de involverte og hensikten er å skape ny kunnskap som er nyttig (Sverdrup, 2002, s. 32). I likhet med hvordan informantene beskrev evalueringene som muntlige, kan brukerorienterte evalueringer benytte kvalitative metoder som dialog, og ansees noen ganger mer som en strategi enn en evalueringsmodell (Sverdrup, 2014, s. 40). Likevel antar jeg at kravet om en viss metode og kvalitet i

brukerorienterte evalueringer er til stede i større grad enn kun en muntlig dialog om

hendelsen, ved for eksempel å analysere resultater fra dialog opp mot skriftlig materiale og lydlogger.

Imidlertid fortalte informantene om en metode de savnet, og som trolig hadde noe mer system og grundighet. Dette var evalueringer utført av personell fra Fagavdelingen. Evalueringene fra Fagavdelingen ble beskrevet som gjennomganger av lydlogger, skriftlige logger og noen ganger samtaler med de involverte. Resultatene ble så presentert på fagdager og informantene fortalte om nyttig læringsutbytte. Denne praksisen hadde de imidlertid i stor grad gått bort fra nå. Fagavdelingens evalueringer kan ha likheter med prosessorienterte evalueringer ved at de har fokus rettet mot blant annet læring, og det er et tett samarbeid mellom de involverte og evaluator (Sverdrup, 2002, s. 32-33). Den prosessorienterte evalueringsmodellen har fordelen ved at den kan være både formativ og summativ, noe som kan egne seg for

operasjonssentralen (Halvorsen & Madsen, 2013, s. 17). Man kan da både se på hvordan noe fungerte, men også hvordan noe fortsatt er. Innen prosessorienterte evalueringer finnes det igjen ulike modeller. Formativ følgeforskning ville kunne egnet seg for operasjonssentralen, fordi fokus er på at man skal jobbe frem beste praksis på et område. Likevel er følgeforskning noe som pågår over tid, og som navnet er det forskning hvor kravet til metode og kompetent personell i større grad vil være gjeldende (Sverdrup, 2013, s. 134-140; 2014, s. 46-50).

Deltagende evaluering er en annen prosessorientert evaluering som også har fokus på brukeren (Sverdrup, 2014). Slik det skisseres av informantene er deres involvering viktig og ønsket. Deltagende evaluering vil ivareta behovet ved at de involverte er med på å formulere mål og kriterier som legges til grunn for evalueringen. Den høye graden ev involvering og deltagelse, søker også her å muliggjøre det at resultatene fra evalueringene er nyttige og faktisk blir brukt (Sverdrup, 2014, s. 52-55). Imidlertid skriver Halvorsen og Madsen (2013, s.

16) at fagfellevurderinger eller ad-hoc tematiske evalueringer benyttes etter uventede

Side 62 av 79 hendelser, og bærer preg av egenevaluering med fokus på læring. Slik det fremstilles av informantene vil egenevaluering trolig være tett opp til slik de beskrev egen evaluering med kronologisk dialog etter en hendelse, med fokus på å dra ut læring. Derimot er det usikkert om uventede hendelser er det man kan kalle hendelsene som operasjonssentralen evaluerer. At noe uventet skjer vil trolig ikke være et stikkord for arbeidet på en operasjonssentral, da de fleste oppdrag er oppdukkende og ikke planlagte. Likevel påpekte informantene at man i stor grad ønsket å evaluere der man hadde forbedringspotensial, og der hvor konsekvensen av noe faktisk skjedde.

Man kan da kombinere ulike metoder ved metodetriangulering og finne en blanding som fungerer mest optimalt (Sverdrup, 2002, s. 101-106). Operasjonssentralen bør trolig kombinere ulike modeller, men ha et felles mål om å bruke en evalueringsmodell som fungerer best for formålet om å inkludere de ansatte og trekke ut lærdom. Prosessorienterte evalueringer som for eksempel deltagende evaluering kan ligne noe det Fagavdelingen benyttet seg av, mens mer egenevalueringer og ad-hoc tematiske evalueringer kan

sammenlignes noe med de kronologiske evalueringene gjennomført av de involverte selv.

Det som da kanskje er vel så viktig som å ha et bevisst forhold til evalueringsmodeller er design og metode. Design og metode beskrives av Sverdrup (2014, s. 61) som: «Den overordnede planen som viser hvordan en evaluering blir tilrettelagt og strukturert». Det er altså viktig å ha en klar plan før man starter å evaluere, dette går mot funn fra empirien hvor flere av informantene fortalte at det virket som det ikke var noen fastsatt plan eller mål for hva og hvordan man skulle gjennomføre evalueringene. Dette gjaldt da særlig de kronologiske evalueringene som ble utført av de involverte selv. Som Halvorsen og Madsen (2013, s. 21) påpeker er det imidlertid varierende hvor mye kunnskap man har om bruk av evalueringer, noe som vil påvirke hvordan man gjennomfører dem. For øvrig er det viktig å ha tenkt

igjennom design og metode og har en plan som er realistisk å gjennomføre (Sverdrup, 2014, s.

61-63).

Slik jeg ser det overlates det lite tvil i evalueringsteorien om at det er viktig å ha mål, kriterier og en plan før man starter. Mangelen på system for evalueringer som analysen avdekket tilsier at operasjonssentralen trolig har et stykke igjen før de er systematiske i sin gjennomføring av evalueringer. Imidlertid virker evalueringene utført av Fagavdelingen som mer preget av system og mål. Politidirektoratet nevner spesifikt at man kan intervjue, bruke innhold fra debriefer, rapporter, lyd og skriftlogger for å gjennomføre evalueringer, slik det ble beskrevet at Fagavdelingen gjorde (Politidirektoratet, 2011, s. 201).

Side 63 av 79 Når man så har en plan, kriterier og mål for evalueringen, er det viktig å ha en evaluator som leder evalueringene og sørger for gjennomføringen. Ifølge Sverdrup (2014, s. 169) bør en evaluator ha kunnskap om metode for å sikre at prosessen gir de resultater man har fastsatt, samt sikre kvalitet i arbeidet. Dette tar oss videre til neste punkt om hvorvidt man kan eller skal benytte ekstern eller intern evaluator.