De første PISA-målingene2 utført i Norge viste i 2001 at norske elever hadde ferdigheter i blant annet lesing og regning som lå under gjennomsnittet i OECD-landene (Holst: 2008). Ifølge NOU 2002: 10 Førsteklasses fra første klasse, som la grunnlaget for det nasjonale kvalitetsvurderingssystemet, er det læringsutbyttet som skal ligge til grunn for definisjonen av kvalitet i opplæringen, og dialog med brukerne forutsetter åpenhet om resultatene.3 Nasjonale prøver som et ledd i et nasjonalt system for kvalitetsvurdering ble deretter innført i forkant av den første fasen av styringsreformen
Kunnskapsløftet i 2004 (Elstad 2009: 174). Elementer i styringsreformen er større grad av
desentralisering og autonomi for den lokale utdanningsforvaltningen med motsvar i ansvarliggjøring, rapportering og kontroll av resultater (ibid.).
Denne omleggingen av styringen av skolesystemet fulgte i kjølvannet av større endringer i
kommunesektoren, som resulterte i ny lov om kommuner i 1992.4 Gjennom dette har den kommunale forvaltningen fått preg av mål- og resultatstyring i tråd med prinsippene for New Public Management.
Denne styringsfilosofien for offentlig forvaltning henter sin inspirasjon fra privat sektor, og
kjennetegnes av fristilling av underliggende enheter, produktkontroll, delegering av ansvar samt økt konkurranse med henblikk på å fremme prestasjoner. Ledelse skal i tråd med New Public Magement være profesjonell, aktiv, synlig og kontrollerende, samtidig som underliggende organer får frihet til å utvikle virkemidler for å nå målsettinger som er fastlagt på overordnet nivå (Christensen og Lægreid 2001). Gjennom slike omlegginger i kommunal sektor omtales skolen som virksomheten eller resultatenheten, rektor som virksomhetsleder eller skoleleder og elever og foresatte som brukere.
1.2.1 Informasjon, veiledning og kontroll
Nasjonale prøver, som et element i systemet for nasjonal kvalitetsvurdering, inngår slik i den formelle organiseringen av det sentrale og det desentraliserte utdanningssystemet. Gjennom det statlige
2 PISA: Programme for International Student Assessment i regi av OECD
3 For en gjennomgang av politiske dokumenter som la grunnlag for det nasjonale kvalitetsvurderingssystemet som del av Kunnskapsløftet, se Aasen m.fl. (2012) Kunnskapsløftet som styringsreform – et løft eller et løfte?
Forvaltningsnivåenes og institusjonenes rolle i implementeringen av reformen. NIFU-rapport 20/2012. Oslo: NIFU.
4 Lov om kommuner og fylkeskommuner (kommuneloven), LOV-1992-09-25-107. Url: http://www.lovdata.no/all/nl-19920925-107.html (lesedato: 28. januar 2013).
rammeverket, retningslinjene og veiledningene beskrives formaliserte regler for gjennomføringen av prøvene og bruken av resultatene. Regelverket representerer metoder for koordinering og kontroll av aktørene. Systemer for kvalitetsvurdering må ifølge Møller og Ottesen (2010) sørge for at skolen får riktig mengde informasjon, at skolen har kompetanse til å fortolke informasjonen og evne til å fokusere hva som er mest egnet for å utvikle egen undervisning og læring (ibid.: 36). I vårt arbeid dreier dette seg om informasjon og veiledninger fra de nasjonale utdanningsmyndighetene. Disse veiledningene og analyseverktøyene er nye fra høsten 2012.
I denne rapporten undersøker vi oppdragsgivers kunnskapsinteresse som vedrører informasjon, veiledning og kontroll ved å stille og besvare følgende spørsmål:
1. Hva slags kanaler benyttes mellom alle leddene i systemet for å informere om nasjonale prøver, og hva er hovedinnholdet i denne informasjonen?
Med dette spørsmålet har vi undersøkt informasjonsarbeidet som foregår på alle nivåer i det sentrale og lokale utdanningsbyråkratiet samt i skolene, for å kartlegge hvilke ulike informasjonskanaler som er i bruk, hvilken målgruppe informasjonen er tiltenkt samt tidsaspektet (når informasjonen blir sendt ut).
Når det gjelder innholdet av informasjonen, har vi sett nærmere på hvordan tekst eventuelt suppleres, utvides, omformuleres eller forenkles fra styringsdokumenter og ned i de enkelte veiledninger.
2. Hvordan foregår veiledningen mellom alle leddene i systemet for å øke kunnskapen og kompetansenivået om nasjonale prøver, og i hvilken grad er denne veiledningen formalisert?
Det administrative systemet for de nasjonale prøvene er i stor grad digitalisert. For at nasjonale prøver skal kunne gjennomføres på lik måte over hele landet, er også systemet preget av standardiseringer og regelverk. Med dette spørsmålet har vi undersøkt hvordan det arbeides formelt med veiledning om nasjonale prøver på de ulike nivåene i sentral og lokal utdanningsforvaltning, samt internt på den enkelte skole. Hvordan sikrer skoleeier, skoleleder og lærere den digitale kompetansen som kreves for å administrere og gjennomføre prøvene? Hvilke veilednings- og opplæringsmuligheter og -tilbud finnes på de ulike nivåene for å sikre at de aktuelle aktørene oppnår den nødvendige kompetansen og i rett tid?
3. Hvilke kontrollrutiner er etablert mellom nivåene i forberedelsen, gjennomføringen og etterarbeidet med nasjonale prøver, og hvordan følges kontrollen opp på de ulike nivåene?
Som nevnt er systemet for nasjonale prøver preget av standardisering og regelverk. Med slik regelstyring følger også behov for kontroll, slik at ikke avvik fra regelverket skaper forstyrrelser i resultatet. Vi har her konsentrert oss om skoleeiernivå og skolenivå i det å melde elever på prøver, forvaltning av fritaksregler og kontroll av elevstatus etter at prøvene er gjennomført.
1.2.2 Forberedelse og gjennomføring av prøvene
Til en viss grad, skriver Jorunn Møller og Eli Ottesen (2010: 35), har kvalitetsvurderingssystemet til hensikt å påvirke interne handlinger hos skoleeier og skoler gjennom ekstern kontroll. Studier av implementering har imidlertid vist at det finnes begrensninger når det gjelder
kvalitetsvurderingssystemenes mulighet til å oppnå slike målsettinger (ibid.). Dette kan uttrykkes som at ulike forvaltningsområder iverksetter virkemidlene på ulike måter, tilpasset den administrative hverdagen. Målstyring har derfor vist seg vanskelig å innføre som styringsteknikk, fordi den ikke lar seg anvende på lik måte på tvers av offentlige organer (Christensen og Lægreid 2001).
Stortingsvedtaket om innføringen av nasjonale prøver var enstemmig. Det har likevel vært politisk debatt om presentasjonen, tilgjengeligheten og bruken av resultatene fra prøvene
(Utdanningsdirektoratet 2011). Her handler det om virkninger av konkurransen skapt av økt tilgang på informasjon om elevenes resultater i utdanningssystemet, og det ansvar kommuner, skoleledere og
18
lærere har for å forbedre disse resultatene. Etter svake resultater og negativ omtale i media har det vært hevdet at skoler driver ”teaching to the test”, eller driller elever i oppgavetyper og prøveform for å forbedre skolens resultater og dermed unngå negativ oppmerksomhet (Elstad 2009). Dette er
påstanden og hovedargumentet i debattboken Kunnskapsbløffen av Magnus Marsdal (2011). Dersom lærere får økt arbeidsmengde som følge av omlegginger av skolen, kan dette påvirke lærerens faglige og profesjonelle identitet, som underbygger jobbtilfredshet og effektivitet (Day 2002). Hvis
arbeidsmengde fører til at lærerne har mindre tid til elevene, kan det resultere i at de mister motivasjon og øker innsatsen i å drille elevene i stoff som de vet vil være utslagsgivende for resultatmåling (ibid.:
685-686). Eyvind Elstad (2009) utdyper hvordan skoler som på bakgrunn av resultatene fra nasjonale prøver blir utsatt for negativ omtale i media, kan ende med å velge vidt forskjellige strategier for endring. Han viser hvordan skoler kan gå inn i endringsprosesser initiert av eksternt press fra
skoleeier, eller hvordan interne normer på den enkelte skole kan føre til ”samling i bånn”, som tar form av enten ”teaching to the test” med kortsiktige og kortvarige resultater eller mer gjennomgripende endringer av grunnlaget for undervisningen. Dette utelukker ikke at endringene kan ha positive og varige effekter for elevenes grunnleggende ferdigheter.
For å forklare slike vridninger kan det vises til samhandlingen og påvirkningen som foregår mellom individer som aktører og systemene som aktørene inngår i. Dette forholdet står sentralt i
samfunnsvitenskapene (Engelstad, Grenness, Kalleberg og Malnes 2005). Systemene kan fremtre både som formelle strukturer eller organisasjoner, eller som mer uformelle sosiale institusjoner som styrer samhandlingen mellom aktørene. I samfunnsvitenskapelig faghistorie er beskrivelsene av størrelser som ”individ” og ”institusjon” kjennetegnet av teorimangfold. Når forholdet mellom individer og systemer de inngår i beskrives som organisasjoner, vektlegges gjerne strukturene som et resultat av rasjonelle hensikter (ibid.: 262). I den formelle organisasjonen representert ved statlige og
kommunale utdanningsmyndigheter vil det slik være foreskrevet bestemte oppgaver som skal utføres på bestemte måter med ditto hensikter og på grunnlag av avgrensede ressurser.
Årsaken til ulik praksis kan derfor ligge nettopp i integrasjonen mellom individene og organisasjonen som setter rammene for virksomheten, det vil si at personene som fyller rollene i organisasjonen preges av forskjellige forventninger, motivasjoner, ønsker og krav (Engelstad m.fl. 2005). Møller og Ottesen (2010) beskriver dette som at selv om initiering av nye tiltak bygger på byråkrati og regler, finnes det normer som har fått utvikle seg på enhver arbeidsplass, og som kan stå sterkere enn reglene. Spørsmålet, skriver Møller og Ottesen, er dermed hvordan nye tiltak er konsistente eller bryter med indre normer i den lokale organisasjonen som kommunen eller skolen representerer.
Dessuten peker de på bruken av informasjon innad i systemene, og mener at informasjonsarbeidet er helt sentralt for hva slags effekt tiltak som kvalitetsvurdering får i skolen. Disse forskerne påpeker også kompleksiteten i det systemet som skolen representerer, og at slik kompleksitet kan føre til at
kausalitet blir sirkulær dersom det mangler informasjon eller hensiktsmessige forklaringsmodeller.
I denne evalueringen belyser vi oppdragsgivers kunnskapsinteresser i forberedelse og gjennomføring av prøvene ved å stille to følgende delspørsmål:
4. Hvordan arbeider skoler med å forberede elever til prøver?
Overdreven øving til prøvene (såkalt ”drilling”) kan fortrenge eller forskyve annet kunnskapsstoff fra undervisningen. Tidligere prøver og annet materiell som kan brukes for å forberede elevene til selve prøvene er tilgjengelig for skolene, og kan inngå både i informasjonsarbeid myntet på elever og/eller foresatte samt informasjons- og veiledningsarbeid rettet mot skoleeiere, skoleledere og lærere. Vi har sett nærmere på hvordan dette materiellet brukes, og om det eventuelt suppleres fra skoleeier- eller skolenivå.
5. Hvordan arbeider skolene med gjennomføringen av prøvene?
Selve gjennomføringen av prøvene varierer noe med ferdighetene som elevene skal testes i. Det nasjonale regelverket angir prøveform (papir eller digitalt), praktiske forhold rundt selve
gjennomføringen (bruk av hjelpemidler, tilrettelegging) samt tidsrammer for selve prøven. I vårt arbeid har vi blant annet observert klasser på 5. årstrinn under nasjonale prøver for å undersøke hvordan skolenivået oppfatter og praktiserer dette regelverket. Her handler det også om skolenes erfaringer med hvordan gjennomføringen arter seg forskjellig ved papirbasert eller digital prøveform, i hvilken grad elevenes digitale kompetanse utfordrer eller styrker selve prøvegjennomføringen og hva slags betydning den pålagte tidsrammen for prøvene (60 eller 90 minutter) kan sies å ha for
gjennomføringen av prøvene. Gjennom observasjonene samt intervju med elever på 8. årstrinn og foresatte har vi også søkt å finne ut mer om hvordan elever opplever prøvesituasjonen.
1.2.3 Bruken av resultatene fra nasjonale prøver
Ingrid Helgøy (2003) spurte tidlig hva som skjer med skolen som pedagogisk institusjon når den integreres i andre kommunale og statlige styrings- og forvaltningsmodeller. Det samme spørsmålet har siden opptatt forskere som har hatt befatning med nasjonale prøver. Systemene for kvalitetsmåling innebærer en betydelig endring i måten å styre skolen på, fra innhold og planlegging til evaluering og resultater, skriver Kari Bachmann, Kirsten Sivesind og Randi Bergem (2008). Hva slags oppfølging skolene får, og hva slags krav som stilles i lys av økt ansvarliggjøring for elevresultatene, varierer fra kommune til kommune, skriver Guri Skedsmo (2011: 77). På den ene siden skal prøvene bidra til lokale og nasjonale beslutninger i utdanningspolitikken, fremholder Skedsmo, og på den andre siden skal prøvene gi informasjon til lærere, elever og foreldre om hvordan elevenes læringsarbeid kan utvikles. Disse målsettingene skiller ikke mellom informasjonsbehovene til den enkelte elev og informasjonsgrunnlaget som trengs for å utvikle systemet, hevder hun (ibid.: 2011). Hun mener at det administrative systemet retter seg mer mot å bruke vurderingsverktøy for å utvikle systemet, og at det i mindre grad handler om å hjelpe den enkelte elev til å utvikle seg videre (ibid.: 87).
Selv om skoler opplever avvik mellom elevenes resultater og det som er satt som mål for gode resultater, skriver Møller og Ottesen (2010), er det ikke sikkert at dette fører til handling på skolens vegne. Her vil igjen organisasjonsinterne normer og tilgjengelig informasjon ha relevans. Skedsmo (2011) mener at analyseverktøy for kvalitetsvurdering må utfylles av prosesser for tilbakemelding og støtte til lærerne, og at bruken av verktøyene er avhengig av at skoleledere og lærere har kompetanse til å omsette informasjonen om læringsresultater til konkrete tiltak for videre læring og utvikling (ibid.
90). Med det nye analyseverktøyet som Utdanningsdirektoratet har utviklet og tatt i bruk fra høsten 2012, skal lærerne få et dypere innblikk i måling av resultatene, vurdering og analyse. Videreutvikling av analyseverktøy skal også bidra til at lærerne i større grad kan omsette informasjon om
læringsresultater til tiltak som skal føre til bedre læringsresultater på gruppe- og individnivå. Spørsmål som denne rapporten søker å belyse empirisk, er hvorvidt disse verktøyene er blitt tatt i bruk i skolen, og om de virker i tråd med hensikten. I analysen handler dette om hvordan lærerne snakker om og begrunner sine erfaringer med nasjonale prøver.
I en analyse av læreres oppfatninger og holdninger til å få undervisningen vurdert, skiller forfatterne mellom tre perspektiver som lærerne bruker for å begrunne og utdype sitt ståsted (Garmannslund, Elstad og Langfeldt 2008). Dette handler om 1) hierarkisk ansvarliggjøring, 2) profesjonell ansvarlighet og 3) brukermedvirkning. Ved hierarkisk ansvarliggjøring har lærerne en todelt tilnærming, som dels dreier seg om økt arbeidsmengde og oppfatninger om at tester ikke vil fange opp bredden i lærernes arbeid. På den andre siden kan tester ifølge dette perspektivet hos lærerne bidra til å avdekke
svakheter ved undervisningen på skolen, forutsatt at lærerne følges opp og får tilbakemelding. Testen må ifølge lærerne ikke bare bli en byråkratisk kontroll. Heri ligger ifølge lærerne også risikoen for at noen vil ”pynte på” resultater. Profesjonell ansvarlighet legger vekten på lærerkollegiet som utøvere av en yrkesrolle, og forutsetter erfaringsutveksling mellom lærere basert på resultater fra prøvene. Det vil likevel være et spørsmål hvorvidt lærerkollegiet har tid og kapasitet til å diskutere resultatene, og i hvilken grad dette er et samarbeid mellom lærerkollegiet og skoleledelsen. Brukermedvirknings-perspektivet på nasjonale prøver innebærer en myndiggjøring av elever, foreldre og politikere. I denne
20
rapporten vil disse perspektivene legge grunnlag for en kategorisering og drøfting av læreres erfaringer med nasjonale prøver.
I denne rapporten belyser vi oppdragsgivers kunnskapsinteresse som angår bruken av resultatene ved å spørre:
6. Hvordan brukes resultatene fra prøvene?
Med dette spørsmålet har vi gått dypere inn i hva slags arbeid som gjøres ved skolene – mellom skoleleder og lærere, internt i lærerkollegiet, i møte mellom lærere og elever og mellom skolen og elevens foresatte – for å utvikle elevenes læringsarbeid på bakgrunn av resultatene fra nasjonale prøver. Til sist har vi, med fokus på skoleeiernivået, undersøkt hvordan dette nivået bruker de samlede resultatene fra skolene for å utvikle og forbedre den kommunale styringen av grunnskolen.
De temaene som her reises, gjør det naturlig for oss som forskere å oppsummere resultatene fra evalueringen i to nye delspørsmål, som blir gjenstand for diskusjon i rapportens siste kapittel.
7. Hvilken funksjon har prøvene som skolepolitisk styringsverktøy og ansvarliggjøring av skoler og skoleeiere?
8. Hvilken funksjon har prøvene som pedagogisk verktøy og utvikling av elevenes skoleresultater?
I evaluering sikter vi derfor avslutningsvis mot å drøfte forholdet mellom de nasjonale prøvene som et administrativt verktøy for nasjonale utdanningsmyndigheter, skoleeier og skoleleder og de nasjonale prøvene som redskap for lærerne, elevene og deres foresatte i det pedagogiske utviklingsarbeidet. I rapporten som helhet ser vi nærmere på hvordan de ulike nivåene i styringskjeden forholder seg til disse målsettingene, og hvilke uttrykk dette får i administrasjon og gjennomføring av prøvene.