Med utgangspunkt i problemstillingen har det vært nødvendig å ha med spørsmål om den taktiske debriefen selv om det er evaluering som er hovedfokus. Dette er fordi den taktiske debriefen kan blandes sammen med en evaluering. Som nevnt i 3.2 har det nettopp av den grunn blitt valgt å spissformulere og i spørreskjemaet benytte betegnelsene taktisk debrief og faglig evaluering.
45 Årsaken til at det i oppgaven er viktig å skille taktisk debrief fra evaluering, er først og fremst at taktisk debrief og evaluering har ulik hensikt, og av den grunn ofte ulik form og resultat. En taktisk debrief kan på grunn av ressursmangler som tid, personell og penger lett bli en
oppsummering av hendelsen. Det kan altså lett bli kun tilbakeskuende. Det framtidstrettede perspektivet kan bli glemt. Debriefen blir ofte en ”her og nå”-hendelse. Fokus på formidling av ”resultater” er ikke der og ville kanskje heller ikke være riktig.
Politidirektoratet ønsker evaluering av ekstraordinære hendelser, med fokus på læring.
Samtidig oppleves PODs beskrivelse av hva evaluering er, og hvordan en slik evaluering bør foregå, som noe uklar. Den ovennevnte problematikken er årsaken til differensieringen mellom faglig evaluering og taktisk debrief i spørsmålene til informantene. Intensjonen var et ønske om å få klarest mulig svar. I ettertid kan en kanskje si at definisjonene i spørreskjemaet av henholdsvis taktisk debrief og faglig evaluering kunne vært noe mer presis. På den annen side blir problemet til en viss grad redusert ved at det ble sendt ut oppfølgende spørsmål vedrørende faglig evaluering.
Oppgaven inneholder ikke kvantitative data som kan gi sikre svar. Oppgaven baserer seg på informasjon fra sentrale personer. Denne informasjonen er drøftet i forhold til teori og så fortolket og årsaker forsøkt forklart. I dette arbeidet har jeg forsøkt å systematisere
informasjonen fra praksisfeltet i forhold til teoretiske kategorier. Dette er opplevd som en god struktur i arbeidet med materialet. Samtidig er det klart at en slik kategorisering også
begrenser. Likevel har det vært opplevd som nyttig å ha systematikken som utgangspunkt for å bearbeide materialet.
Det kan rettes innsigelser mot de metodene som er brukt både i intervjuene, spørreskjemaet og i dokumentanalysen. Et ønske har vært å ha en åpen tilnærming til datainnsamlingen, og ikke legge for store begrensninger på de dataene som samles inn. Å være en del av og å kjenne organisasjonen, menneskene og kulturen har både fordeler og ulemper.
En fordel ved å intervjue fagfolk fra egen organisasjon er at språket er det samme. Generelt i intervjuer er det positivt at svarene ofte er gjennomtenkte, og at misforståelser lar seg
oppklare. Fagpersonene kan også bidra til nye perspektiver på problemstillingen, og har ofte referanser til andre ressurspersoner og hendelser på området. Det som her er beskrevet som fordelene ved å intervjue fagfolk, er samtidig også ulempene. Intervjuet kan bli svært saklig,
46 og si lite om intervjupersonens livsverden (Dalland 2001:135). Ubevisst kan det også ha blitt foretatt avgrensninger i forhold til ”før-dommer” som er resultatet av en livslang sosialisering i samme organisasjon (Jacobsen 2005:69). I tillegg kan annen viktig informasjon lett bli oversett da det forventes at det meste finnes i ens egen organisasjon. Større ”avstand” til for eksempel informantene kan derfor i noen tilfeller vært en fordel.
Et relevant spørsmål er om riktig målgruppe er valgt. Er det UEH-lederne som sitter på den informasjon som etterspørres? Dette var en sentral vurdering før arbeidet startet. Ved å velge akkurat denne gruppen har fokuset blitt på den faktiske, praktiske gjennomføringen av
evaluering etter ekstraordinære hendelser. Informantene er midt i den praktiske hverdagen. De sitter ikke nødvendigvis på all informasjon, men de ble bedt om å svare på hvordan
situasjonen ser ut fra deres ståsted. Når det er valgt å spørre samtlige lokale UEH-ledere, er det valgt nøkkelpersoner i de enkelte politidistrikter. Disse lederne er nær og en del av
”grasrota” samtidig som de er en viktig del av den operative og taktiske ledelsen. De er med på å utøve praksis. Det er mulig undersøkelsesopplegget ville gitt andre resultater på andre personer. Det er dermed ikke sagt at svarene ville vært riktigere. Med sitt utgangspunkt har informantene bidratt til å svare på problemstillingen.
Svakheten ved spørreskjemaet er muligheten for at ikke alle har oppfattet spørsmålene likt.
Dette gjelder spesielt hva som ligger i begrepet evaluering, og forskjellen på taktisk debrief og faglig evaluering. Dette drøftes nærmere i kapittel 5. At spørsmålene ble utformet og sendt ut ”for tidlig”, kan også ha medført noe mangelfulle svar.
Personer med en annen bakgrunn ville sannsynligvis konsentrert seg om noe annet dersom de hadde studert det samme temaet. Det positive var at det var mulig å sende ut et nytt
spørreskjema samt kontakte informantene pr. telefon og e-post.
Primærdata er opplysninger som samles inn for første gang, og sekundærdata er data samlet inn av andre (Jacobsen 2005:137). Primærdata er i denne sammenhengen intervjuer, svarene på spørreskjemaet og egne observasjoner. Sekundærdata som benyttes, er offentlige
utredninger, forskningsrapporter og andre dokumenter om temaet. Eksempler på sekundærdata er evalueringsrapportene i Olasaken og Nokassaken.
47 Ved innsamling av sekundærdata er det viktig å være skeptiske til hvor dataene kommer fra, hvem som har samlet dem inn, hvor troverdige kildene er, og hvilke feil som hefter ved dem (Jacobsen 2005:137). Dokumentene som har blitt benyttet, er i stor grad offentlige
dokumenter og må antas å være troverdige. Informantene er erfarne polititjenestemenn i betrodde stillinger.
Uansett har det vært viktig å være kritisk til kvaliteten på de dataene som er samlet inn. Er de innsamlede data de som gir svar på problemstillingen (gyldighet/validitet)? Er dataene til å stole på, er de pålitelige og korrekte (pålitelighet/reliabilitet)? En populær måte å betrakte de to begrepene på er å sammenlikne med skyting på blink. En måling er reliabel om den viser det samme hver gang. Hvis en serie skudd er samlet, er det en reliabel serie, selv om skuddene ligger utenfor blinken. Validitet på sin side dreier seg om det som måles er det søm ønskes målt. Det vil si hvorvidt skuddene er sentrerte. Det beste er selvsagt om skuddene er samlet og midt i blinken (Ringdal 2007a). Begge spørsmålene er nøye vurdert, samtidig som fokus i oppgaven har vært på om det som undersøkes, er det som ønskes oppnådd, gjennom bruk av et bredt teoretisk grunnlag fra relevante og valide kilder.
Til tross for en del svakheter ved datainnsamlingen har den bidratt til økt kunnskap om evaluering av ekstraordinære hendelser i politiet.
3.4 Oppsummering
Valg av metoder og begrunnelse for disse er gitt. Framgangsmåten og progresjonen er presentert. De ulike metodene som benyttes, er beskrevet. Dette er intervju, spørreskjema og dokumentanalyse. Metoderefleksjon og kritikk av oppgaven ble også presentert i dette kapitlet.
48 4 PRESENTASJON AV DATA
Datamaterialet er intervjuene i politidistrikt A, B og SHT, dokumentanalyser, og resultater fra spørreskjemaet. Først vil evalueringen av Olasaken i politidistrikt A, Nokasranet i Stavanger og Obiorasaken i Trondheim bli beskrevet. Deretter presenteres informasjonen fra og om SHT og Spesialenheten for politisaker, før resultatene fra spørreskjemaet presenteres.