Evaluering av tiltak for læring og utvikling

For å kunne vurdere om tiltak for å bygge kompetanse støtter opp under virksomhetens strategi, eller om det må gjøres forbedringer i kompetanseutviklingen, må det gjøres en evaluering. Dette har vist seg vanskelig da det ofte mangler mål på nettopp dette feltet.

Kompetanseutviklingen er ofte ikke forankret eller satt i sammenheng med valgt strategi. Når effekten av tiltakene ikke evalueres, kan kompetansehevende tiltak bli et gode for enkelte, fremfor resultatet av en kritisk evaluering av behov i sammenheng med organisasjonens overordnete mål. I en evaluering må det fremkomme om målene for kompetanseutvikling er nådd og om kostnadene ved tiltaket oppveies av nytten. Måling av effekt på tiltak bør gjøres på et overordnet nivå da det kan være vanskelig å måle effekten av et enkelt tiltak uten å sette dette i sammenheng med øvrige tiltak en virksomhet har iverksatt. En måte å gjøre

evalueringen, kan være ut i fra en interessentevaluering av de som berøres av endringene tiltakene medfører. Ved å benytte en slik tilnærming får man frem effektene som er indirekte og utilsiktet (Lai 2013).

41

Evalueringsprosessen kan inkludere flere forskjellige fremgangsmåter. Ansatte som deltar i kompetansehevende tiltak kan bes om å svare på spørreundersøkelser der deres reaksjoner fremkommer. Det kan også gjøres praktisk evaluering eller skriftlige tester for å undersøke om det er endring i kompetansenivå. Lai (2013) fremhever at positive reaksjoner

nødvendigvis ikke indikerer at det har skjedd læring, det er ingen kausalitet mellom individets opplevelse av tiltaket og faktisk læring. En slik undersøkelse vil kun få frem enkeltindividets tilfredshet med tiltaket. I tillegg vil ingen av de nevnte fremgangsmåtene få frem om tiltaket medfører endring i arbeidsutførelse.

Anvendelsen av kompetansen bør måles gjentatte ganger over tid slik at ny praksis har fått tid til å bli en del av arbeidsprosessene – og bør inkludere andre grupper slik at det ikke blir en presentasjon av egenopplevelsen til enkeltindivider. På organisasjonsnivå bør evaluering av tiltak kunne vise til effekt på kvalitet og økonomi og grad av måloppnåelse. Å innhente data for å gjøre en slik analyse er komplisert; tiltaket kan ikke forstås isolert da flere faktorer påvirker kvalitet, økonomi og måloppnåelse. Det vil derfor mest sannsynlig bare kunne gjøres en antydning om tiltakets effekt (Lai 2013).

I vurdering av kausalitet mellom tiltak og effekt, er det flere fallgruver. Mennesker søker etter den informasjonen som bygger opp under, eller bekrefter egne hypoteser. Dette kan gjøre at funnene ikke er representativ, men en skjev fortolkning. Videre har vi en tendens til å

overvurdere sammenhenger og gjøre feil slutning om årsak-effekt. Denne feilkilden forsterkes av vår kontrollillusjon der de positive endringene som observeres tillegges iverksatte tiltak, og gjør at andre hendelser som har påvirket, overses. Målinger av effekt av kompetansehevende tiltak må underlegges systematikk og det må benyttes anerkjente metoder for å få frem data (Lai 2013).

Det er utarbeidet noen undersøkelsesopplegg som kan brukes til måling av

kompetansehevende tiltak. En forutsetning for bruken av disse, er at det tilpasses det enkelte tiltak. Som nevnt ovenfor, må målingene ikke iverksettes for tidlig men avvente til nye arbeidsmetoder har fått tid til å bli implementert. Lai (2013) presenterer fire mulige fremgangsmåter for å gjøre en reell måling. Der det iverksettes kompetansehevende tiltak rettet mot ansatte i organisasjonen, kan det gjøres en studie med kontrollgruppe og med test før og etter tiltaket. For måling av effekt av kompetansehevende tiltak for nyansatte kan et

42

kohort-design brukes ved at det gjøres måling av ytelsen til en gruppe nyansatte som har gjennomgått opplæringsprogram mot en gruppe nyansatte som ikke har deltatt i et slikt program. I et avbrutt-tidsserie-design, gjøres det gjentatte observasjoner over tid på individer der et bestemt stimuli gis på et bestemt tidspunkt. Deretter observeres grad av endringer og utvikling over tid. Dette designet har i forskning vært benyttet for å undersøke effekt av blant annet incentivsystemer (Cook og Campbell 1979 ref. i Lai 2013) Metodene som er beskrevet har svakheter som kan påvirke validiteten av undersøkelsen og krever mye ressurser (Lai 2013).

For organisasjoner vil måling av nytte/kostnadsanalyse være av interesse – anslag av

avkastningsgrad av både finansiell og ikke-finansiell grad på de tiltakene som iverksettes. En nytte/kostanalyse baserer seg på data om ytelse, kvalitet, kostnad og tid. Videre er data om arbeidsvaner, arbeidsklima, holdninger, ferdigheter, medarbeideres utviklingsmuligheter og medarbeideres vilje og evne til å ta initiativ sentralt (Philips 1991 ref. i Lai 2013 s. 232).

Måleindikator Eksempel på operasjonalisering av måleindikator

Arbeidsvaner Nøyaktighet og arbeidstempo

Arbeidsklima Turnover, klager, konflikter, meninger Holdninger Oppfatninger om jobbansvar, lojalitet,

mestringsfølelse, motivasjon

Ferdigheter Ytelse og ytelsesendringer, atferdsendringer som følge av anvendelse av ny kompetanse

Medarbeideres utviklingsmuligheter

Antall utviklingstiltak, forfremmelser, lønnsøkninger og interne jobbsøknader

Medarbeideres vilje og evne til å ta initiativ

Forbedringsforslag, antall nye ideer som blir implementert, antall suksessrike nye prosjekt

Tabell 3: Nytte/kostanalyse. Måleindikatorer for kompetanseutvikling. Tekst hentet fra Phillips 1991 i Lai 2013.

Når målinger av kompetanse gjøres, må både kvantitative og kvalitative målinger tas i bruk.

Data kan innhentes gjennom spørreundersøkelser og intervju eller dokumenter, utredinger, statistikk (Lai 2013).

43

Kearsley (1982 i Lai 2013) viser til fire modeller for nytte/kostanalyse som er nyttige i måling av kompetanseutvikling. Ressursbehovsmodellen ser på ressursbruk i form av lønnskostnader, utstyrskostnader, fasilitetskostnader og materialkostnader forbundet med tiltaket. Modellen analyserer utgifter og ser ikke på nytte eller effekt av tiltaket. Livssykluskostmodellen er en videreføring av ressursbehovsmodellen, men er mer dynamisk da den ser på livssyklusen til et tiltak og skal kunne gi informasjon om hvilke tiltak som gir den største kostnadsbesparelsen.

Nytteanalysemodellen gir grunnlag for å kunne gjøre en simulering av effekten av tiltak.

Modellen legger til rette for at det skal kunne gjøres en sammenligning av ulike tiltak, se på konsekvensene ved å ikke iverksette tiltaket og synliggjøre positive og negative virkninger av tiltaket. Produktivitetsmodellen gir informasjon om balansen mellom kostnadene ved tiltaket og effekten (Lai 2013).