Det ble utviklet en spørreundersøkelse som bestod av 3 hoveddeler. I det følgende presenteres disse hver for seg.
3.2.1 Bakgrunnsvariabler
Første del av undersøkelsen innholder ulike demografiske bakgrunnsvariabler som kan benyttes til å skille kursdeltakerne fra hverandre. Valg av variabler ble gjort i en kombinasjon av tidligere evalueringer av andre lederutviklingsprogram i Forsvaret18, og faktorer beskrevet i relevant empiri (f.eks. Busch, 1993b, Stendal, 2003). Den primære hensikten med bakgrunnsvariablene var å gi grunnlag for deskriptiv statistikk. En sekundær hensikt var å kontrollere bakgrunnsvariablene opp mot øvrige variabler i forskningsmodellen. Det ble åpnet for at eventuell påvisning av sammenhenger kunne gi grunnlag for revidering av forskningsmodellen.
3.2.2 The Learning System Transfer Inventory - LTSI
Undersøkelsens andre del ble i sin helhet basert på LTSI19. Instrumentet måler ulike forhold som er antatt å fremme/hemme overføring av læring både på individ og organisasjonsnivå. Som tidligere vist er instrumentet validert i ulike land og kontekster (supra:35ff), samt funnet å ha tilfredsstillende reliabilitetsmål20. Jeg vurderte bredden i instrumentet som gunstig i forhold til evaluering av Luftforsvarets mentorprogram. Programmet er ikke evaluert tidligere, og bredden gjør det mulig å gi belyse et vidt spekter av sammenhenger i programmet. På den andre side kan
16 Oppgaven baseres hovedsakelig på egne primærdata innsamlet gjennom spørreundersøkelsen.
17 Se vedlegg B.
18 Bergheim, Eid & Westli (2007).
19 Se vedlegg C.
20 Se f.eks. Holton, Bates & Chen (2005), Holton, Chen & Naquin (2003) og Holton, Bates, Bookter &
Yamkovenko (2007).
konsekvensen være manglende evne til å gå i dybde på detaljer, samt ”oppløsningsnivå” på analysene.
LTSI21 består av 89 påstander. De 63 første påstander er knyttet til overføring av læring etter et spesifikt trenings- og utviklingstiltak, og fordeler seg på 11 faktorer. De resterende 26 påstander er av mer generell karakter, og antatt å være gjeldende for overføring av læring i organisasjoner generelt. Disse påstandene er ment å representere ulike 5 faktorer. I sum er 16 faktorer antatt å måle hva som fremmer/hemmer overføring av læring som følge av et trenings- og utviklingstiltak til jobben. Påstandene for samtlige 16 faktorer er lukket med bruk av en 5-punkts Likert-skala22 – hvor ”svært uenig” og ”svært enig” representert ytterpunktene. Det ble vurdert å korte ned antall påstander23, men av årsaker jeg vil gjøre rede for under analysemetoder ble dette forkastet. Samtlige påstander ble av oversatt til fra engelsk til norsk24.
3.2.3 Effektmål
Oppgavens avhengige variabel – effekt, ble utviklet med bakgrunn i programbeskrivelsen for Luftforsvarets mentorprogram, teori og Kirkpatricks evalueringsmodell. I programbeskrivelsen er det er formulert 5 overordnede målsetninger for programmet (f.eks.: ”Luftforsvarets mentorprogram skal bidra til utvikling av deltakernes verdiforankring.”). Samtlige målsetninger ble definert å være læringsmål, dvs. representere nivå 2 i Kirkpatricks modell. Iht. Kirkpatrick (2004) består læring av både kunnskaper, ferdigheter og holdninger. Dette betyr ikke at utvikling av for eksempel deltakernes verdiforankring nødvendigvis innebærer endring, men snarere at kunnskaper om og konsekvenser av egen verdiforankring, vil kunne ha betydning for både
21 Se vedlegg B og C.
22 Utgangspunktet for en Likert-skala er en rekke påstander forskeren mener er relevante for holdningen som skal undersøkes, hvor påstandene er negative eller positive til objektet for holdningen, med monotont stigende eller avtakende sannsynlighet for at en respondent skal erklære seg enig avhengig av posisjonen på den underliggende holdningsvariabelen (Nachimas & Nachimas, 1996: 465ff).
23 Erfaringer fra tidligere masteroppgaver ved Forsvarets stabsskole (Aambakk, 2007; Pettersen, 2007) og undersøkelser gjennomført av Forsvarets mediesenter, har vist at det er viktig å holde undersøkelsens omfang på et minimum.
24 Det finne flere måter å oversette et måleinstrument på: ”forward-only translation”, ”forward-back translation” og
”simultaneous instrument development”. ”Forward-only” referer seg til direkte oversettelse fra originalspråk til ønsket språk uten evaluering av oversettelsen. Dette er den minst rigorøse, men samtidig minst valide måten.
”Forward-back translation” refererer seg til oversettelse fra originalspråk til ønsket språk, som deretter oversettes tilbake til originalspråk. Deretter sammenlignes resultatene – den originale undersøkelsen med den som er translatert tilbake for sammenligning i betydning. Dette kan være en svært ressurskrevende prosess, men sikrer samtidig høyere validitet. ”Simultaneous approach” innebærer ikke en oversettelse som sådan, men snarere en identifisering av faktorer som er antatt å være valide uavhengige av organisasjon og kultur. Avhengig av hvilke faktorer man identifiserer, oversettes disse så til ønsket språk (med bruk av enten ”forward-only translation” eller ”forward-back translation” (Chen, Holton & Bates, 2005). Av kapasitetsmessige hensyn har jeg i denne oppgaven benyttet
”forward-only” som oversettelsesmetode.
individ og organisasjon. Målsetningene ble omformulert til påstander (f.eks.: ”Luftforsvarets mentorprogram har bidratt til utvikling av mine strategiske evner.”)25.
Det ble videre utviklet generelle påstander som uttrykk for programmets effektivitet for øvrige nivå iht. Kirkpatricks modell. Eksempelvis, ”Luftforsvarets mentorprogram har ikke bidratt utover hva jeg ellers kunne ha oppnådd ved å praktisere som leder.” (nivå 1 – reaksjoner),
”Luftforsvarets mentorprogram har bidratt til endringer hos meg som andre har lagt merke til.”
(nivå 3 – adferd) og ”Luftforsvarets mentorprogram har gjennom å utvikle meg som individ bidratt til økt ytelse for min organisasjon.” (nivå 4 – organisasjonsmessig nytte). Samtlige påstander var lukket med bruk av 9 punkts Likert-skala26, hvor 1 = ”i svært liten grad” og 10 = ”i svært stor grad”.
Tabell 3-1: Påstander effektmål (avhengig variabel - Y1)
Reaksjonsmål
P1 Luftforsvarets mentorprogram har bidratt til bevisstgjøring og utvikling av mine ressurser som leder P4 Luftforsvarets mentorprogram har ikke bidratt utover hva jeg ellers kunne oppnådd ved å praktisere som
leder Læringsmål
P2 Luftforsvarets mentorprogram har bidratt til utvikling av min helhetlige bevissthet rundt toppledelse P3 Luftforsvarets mentorprogram har bidratt til å utvikle min egen verdiforankring
P7 Luftforsvarets mentorprogram har bidratt til utvikling av min indre trygghet
P11 Luftforsvarets mentorprogram har bidratt til utvikling av mine strategiske ferdigheter P12 Luftforsvarets mentorprogram har ikke bidratt til endring av min påvirkningskraft Adferdsmål
P6 Luftforsvarets mentorprogram har ikke bidratt til endringer i min adferd som leder
P9 Luftforsvarets mentorprogram har bidratt til endringer hos meg som andre har lagt merke til P10 Luftforsvarets mentorprogram har ikke bidratt til at jeg løser arbeidsoppgaver på nye måter Organisasjonsmessig nytte
P5 Luftforsvarets mentorprogram har gjennom å utvikle meg som individ bidratt til økt ytelse for min organisasjon
P8 Luftforsvarets mentorprogram har bidratt til negative effekter for min organisasjon
Note. Kursivert skrift indikerer reverserte påstander.
25 Av metodiske hensyn innenfor rammen av denne oppgaven ble det vurdert at det ikke var mulig isolere effekter til et spesifikt nivå. Det at målsetningene for mentorprogrammet ble knyttet til nivå 2 må ikke oppfattes som absolutt utrykk for at disse er læringsmål alene. Jeg anser at det kan argumenteres tilsvarende for plassering av flere av målsetningene på hhv. adferdsnivået (nivå 3) og nyttenivå (nivå 4). Valget ble primært gjort for å utvikle studiens effektmål i tråd med presentert teori og av pedagogiske hensyn.
26 En 9-punkts skala ble benyttet for bedre å få fram nyanser i svarene.
I tillegg ble de stilt 3 åpne spørsmål relatert til hvert av de 3 øverste nivåene i Kirkpatricks modell. Dette var spørsmål hvor respondentene hadde mulighet til å svare hva de opplevde å ha lært, hvordan programmet hadde medført endringer, samt i hvilken grad dette hadde gitt resultater for deres organisasjon. Hensikten med disse spørsmålene var i gi utfyllende informasjon til tolkninger og analyser, samt til diskusjon av funn underveis i oppgaven.
3.2.4 Forundersøkelse
Spørsmålene og undersøkelsen ble testet på 5 ulike personer, hvor 3 av personene hadde gjennomført programmet, mens 2 ikke hadde erfaring fra programmet27. Det ble også innhentet tilbakemelding fra en av de to programansvarlige i Luftforsvarets mentorprogram28. I tillegg ble spørsmålene gjennomgått og godkjent av veileder. Den generelle tilbakemeldingen var god i forhold til de områder som spørsmålene dekket, men det ble avdekket flere uklarheter i forhold til spørsmålsformulering29. Disse ble sjekket opp mot originaltekst på engelsk, og noen mindre justeringer ble foretatt30. Det ble innhentet tillatelse for å gjennomføre undersøkelsen fra Forsvarets stabsskole31 og Luftforsvarsstaben32.