For å vurdere forskningsmetoden er det nødvendig å evaluere kvaliteten på forskningsresultatet (Jacobsen, 2015). I det følgende vil vi dermed evaluere studiens reliabilitet og validitet. I tillegg vil det bli forklart hvordan vi har forsøkt å redusere potensielle svakheter i utredningen.
3.4.1 Reliabilitet
Reliabilitet er knyttet til nøyaktigheten av undersøkelsens data, hvilke data som brukes, måten det er samlet inn på og hvordan den bearbeides (Johannessen et al., 2016). Det handler om
hvorvidt man kan stole på datamaterialet som er samlet inn og om man vil få samme resultat dersom målingen gjentas (Saunders et al., 2016). Reliabilitet i vår utredning kan ha blitt påvirket av undersøkelsesopplegg, datainnsamling og dataanalyse (Jacobsen, 2015). For å styrke reliabiliteten har vi dermed forsøkt å gi en god beskrivelse av våre metodiske valg og det teoretiske grunnlaget for utredningen. I tillegg har vi valgt å legge ved intervjuguide (vedlegg 2 og 3). Dette for at leseren kan forstå prosessen og dermed gjøre en vurdering av valgene som er blitt tatt. Noe som imidlertid kan ha svekket forskningsprosjektets relabilitet kan ha vært at undersøkelsen er gjennomført innenfor et gitt tidsrom. Det kan ha gjort det utfordrende å tilfredsstille krav til reliabilitet, ettersom vi ikke kan garantere samme funn ved gjentatt undersøkelse på et annet tidspunkt (Johannessen et al., 2016).
Ved å benytte intervjuer som innsamlingsmetode kunne det oppstå bekymringer knyttet til reliabilitet. Ifølge Saunders et al. (2016) kan utfordringer være forsker- og respondentskjevhet, og respondent- og forskningsfeil. Forskerskjevhet kunne oppstå ved at vår atferd var med på å påvirke intervjuet. For eksempel kunne en fare være at vi indirekte presenterte egne meninger når spørsmålene ble stilt, noe som kunne påvirke svaret til respondenten. For å hindre dette utarbeidet vi intervjuguider i samarbeid med veileder, og gjennomførte et testintervju i forkant.
I tillegg bestemte vi oss for at den ene stilte satte spørsmål fra intervjuguiden, mens den andre stilte oppfølgingsspørsmål og noterte underveis. Dette for at intervjuene skulle ha likt utgangspunkt. Videre har vi respondentskjevhet som kunne innebære at respondentens svar og atferd ville være påvirket av forventninger fra omgivelsene. Det kunne for eksempel være forventninger om hva sjefen ville at respondenten skulle svare. Ved hjelp av semistrukturerte intervjuer utarbeidet vi derfor spørsmål som skapte tillit, i tillegg til å stille oppfølgingsspørsmål. Videre presiserte vi i samtykkeskjema at respondenten hadde mulighet til å trekke seg og trengte ikke svare på spørsmål som respondenten var ukomfortabel med.
Respondentfeil handler om at respondentens atferd påvirkes av indre og ytre faktorer (Saunders et al. 2016). Dette kunne for eksempel være tidspunktet vi gjennomførte intervjuet på. For å unngå dette fikk respondenten velge tidspunkt for intervjuet innenfor et tidsrom på 3 uker. På grunn av Covid-19 ble intervjuene gjennomført over Teams. Dermed var vi klar over at det kunne oppstå respondentfeil, ettersom respondenten ikke fikk velge sted for intervjuet selv. Forskningsfeil kunne oppstå på grunn av ulik oppfatning av spørsmål og svar.
For å unngå dette gjennomførte vi semistrukturerte intervjuer med satte spørsmål. Ved uklarheter stilte vi oppfølgingsspørsmål for å avdekke usikkerhet (Saunders et al. 2016).
3.4.2 Validitet
Validitet refererer til hensikten av måling og nøyaktighet på analyse, og om funn er generaliserbare (Saunders et al., 2016). Jacobsen (2015) skiller mellom begrepsvaliditet, intern validitet og ekstern validitet.
Begrepsvaliditet handler om hvorvidt det er samsvar mellom generelle fenomener som vi undersøker og måler (Jacobsen, 2015). Som forskere måtte vi finne spørsmål som kunne fungere som indikatorer på de mer teoretiske begrepene. Dette gjorde vi i konkretiseringsprosessen hvor vi undersøkte teoretiske begreper som kunne ha flere betydninger, for eksempel risiko og risikostyring, for å kunne si noe om komplekse begreper som vi ønsket svar på. Vi var imidlertid klar over at det ikke var mulig å oppnå en perfekt operasjonalisering av slike komplekse begreper. Gjennom nøyaktig og kritisk operasjonalisering kunne vi likevel få en tilnærming til begrepene. Dermed var en kritisk holdning underveis i denne prosessen nødvendig for å oppnå god validitet. I tillegg brukte vi tidligere forskningslitteratur for å sikre validitet i resultater vi kom frem til (Jacobsen, 2015).
Intern validitet handler om å finne årsakssammenhenger mellom to variabler (Saunders et al., 2016). Intern validitet omhandler hvorvidt en metode er egnet til å undersøke det den skal undersøke, eller i hvilken grad observasjonene reflekterer de fenomenene man ønsker å vite noe om (Jacobsen, 2015). For å styrke intern validitet forsøkte vi kontinuerlig å gjennomføre prosessvalidering hvor vi under hele forskningsprosjektet har vært kritiske til metoder, funn og tolkninger. Vi har også kontinuerlig stilte spørsmål om hvorvidt det er samsvar mellom virkeligheten og vår beskrivelse av denne virkeligheten (Jacobsen, 2015). Ettersom forskningsprosjektets hensikt var å undersøke operasjonell risikostyring, var det hensiktsmessig å intervjue ansatte som hadde sentrale stillinger innenfor risiko- og virksomhetsstyring. Dette kan dermed anses som en relevant forhåndskilde med nærhet til fenomenet vi undersøkte (Jacobsen, 2015). Intern validitet kan svekkes ved at andre velger ut respondenter. For å unngå dette valgte vi dermed ut respondentene selv. Det kunne imidlertid vært hensiktsmessig å undersøke flere enn en respondent innenfor hver virksomhet, da dette potensielt ville gitt mer valide funn på området vi undersøkte. Dette fordi den enkeltes subjektive mening kan svekke studiens interne validitet.
En fare for den interne validiteten kunne være misforståelser i intervjuer, og derfor var vi bevisst på dette under intervjuene og i behandlingen av datamaterialet. For å hindre
misforståelser stilte vi oppfølgingsspørsmål for å sikre riktig informasjon, i tillegg sendte vi mail for å følge opp ved usikkerhet. En annen fare ved den interne validiteten kunne være at positive effekter som oppstod i perioden egentlig oppstod på grunn av andre hendelser som inntraff på samme tidspunkt. For å sikre intern validitet undersøkte vi derfor om det kunne være andre organisatoriske endringer som var av betydning i virksomhetene den aktuelle tiden.
Dette fant vi for eksempel hos Sbanken som var preget av at DnB ville kjøpe opp foretaket.
Dermed måtte vi være bevisst på om dette kunne ha effekt på svarene fra respondenten.
Ekstern validitet handler om forskningen kan generaliseres og overføres til andre (Saunders et al., 2016). Vårt mål med forskningsprosjektet har vært å kunne si noe om styringsmekanismer for operasjonell risikostyring. Ved gjennomføring av kvalitativ undersøkelse er det imidlertid sjeldent at man kan generalisere funn, men at man heller utforsker og går i dybden på et fenomen (Jacobsen, 2015). Med utgangspunkt i dette er det dermed mer relevant å snakke om kontekstualisering fremfor generalisering. Derfor vil det være mottaker av informasjonen som avgjør hvorvidt resultatene kan overføres til en annen situasjon eller ikke. For å sikre ekstern validitet har vi gjort en omfattende undersøkelse med et stort utvalg fra ulike virksomheter og bransjer, som danner grunnlag for at forskningsprosjektet kan være verdifullt for andre virksomheter enn kun de vi har undersøkt. Underveis i utvelgelses- og intervjuprosessen har vi også vært klar over at vi kunne miste virksomheter som det kunne være interessant å undersøke. En annen utfordring vi var klar over var at utvalget kunne ha innslag av tilfeldige feil. Imidlertid brukte vi dette til vår fordel, og regnet med en viss usikkerhet og feilmargin (Jacobsen, 2015).