2.7.1 Nasjonale prøver i lesing, regning og engelsk på 5. og 8. trinn – avhengige variabler Nasjonale prøver
Nasjonale prøver er en av flere vurderingsformer i det nasjonale kvalitetsvurderingssystemet. Prøvene er utviklet i forhold til kompetansemål i lærerplanen etter 4. og 7. trinn i barneskolen og gjennomføres på 5. og 8. trinn hvert år. I analysene brukes resultater fra nasjonale prøver fra 5. trinn i 2007 og 8.
trinn i 2010.
Nasjonale prøver i lesing og regning er ikke prøver i fag, men i grunnleggende ferdigheter i leseforstå-else av norsk tekst og regneopppgaver. Disse prøvene tar derfor ikke bare utgangspunkt i kompe-tansemål i norsk og matematikk, men også i andre fag der mål for lesing og regning er integrert.
Nasjonale prøver i engelsk tar på sin side utgangspunkt i kompetansemål i ett fag, nemlig engelsk.
Disse prøvene måler ikke hele den engelskfaglige kompetansen, men måler elevenes ferdigheter i utvalgte innholdsområder i faget.
Deltagelse i de nasjonale prøvene er obligatorisk og gjennomføres på høsten, kort tid etter at elevene har startet på 5. og 8. trinn. Disse prøvene måler hva elevene har med seg av grunnleggende ferdig-heter fra hhv. 4. og 7. trinn i barneskolen. I Skoleporten kan resultatene fra 8. trinn (ungdomsskolen) tilbakeføres til avgiverskolene på 7. trinn. Det kan gis fritak fra nasjonale prøver hvis eleven oppfyller følgende to kriterier:
(1) Elever med rett til spesialundervisning (enkeltvedtak) eller elever fra språklige minoriteter som har særskilt språkopplæring etter §2-8.
(2) Der elever følger et undervisningsopplegg i faget som avviker så mye fra det eleven prøves i at resultatene fra nasjonale prøver ikke vil ha nytte for utformingen av den opplæringen eleven får.
I vårt datasett ser vi blant annet at vi bare har data fra 105 av Oslos rundt 125 skolekretser. Dette kan skyldes at enkelte skolekretser i Oslo har meget høy andel elever med minoritetsbakgrunn som oppfyller de to ovennevnte kriteriene. I landet som helhet varierer fritaket på 5. trinn i 2007 fra 2 prosent av elevene i engelsk til 3 prosent av elevene i lesing. På 8. trinn er fritaket noe høyere enn dette, drøyt 7 prosent i lesing (Opheim mfl. 2010: 32).
27 Avhengige variabler
Vi har beregnet en standardisert skår for hver enkelt elev på nasjonale prøver i lesing, regning og engelsk, samt et gjennomsnitt for de tre fagene på 5. og 8. trinn. Standardavviket er 10 poeng og gjennomsnittet er 50 poeng i hvert fag. Dette er avhengige variabler i kapittel 4.
Prestasjonsutviklingen fra 5. til 8. trinn måles som differansen mellom skårene på 8. og 5. trinn.
Dersom differansen har positivt fortegn, har eleven forbedret sin posisjon på den nasjonale presta-sjonsfordelingen i faget (og samlet sett) på 8. trinn i forhold til den posisjonen eleven hadde på den nasjonale fordelingen på 5. trinn. Differansen vil derfor også si noe om eleven har endret sin posisjon i forhold til gjennomsnittet (som er null).
I kapittel 5 har vi med utgangspunkt i disse standardiserte skårene beregnet nye poengsummer i hvert enkelt fag og samlet sett for hver enkelt skole. Disse nye poengsummene har ʺrensetʺ prestasjons-skåren for statistisk innflytelse fra utvalgte aspekter ved elevens sosiale bakgrunn som blant annet gjennomsnittlig foreldreutdanning på skolen, andel gifte og samboende foreldre, andelen elever som er ikke-vestlig innvandrer eller etterkommer.
Kapittel 5 introduserer også to nye grupperte avhengige variabler på skolenivå som er basert på de forannevnte beregnede gjennomsnittsskårene på nasjonale prøver (disse beregnede prestasjons-skårene kalles residualskårer/–poengsummer):
(1) Skoler som i gjennomsnitt skårer blant de beste 25 prosent (verdi = 1) versus skoler som i gjennomsnitt skårer blant de svakeste 25 prosent på 8. trinn i 2010 (verdi = 0). Vi får en variabel for hver av de tre fagene og for gjennomsnittet i fagene.
(2) Skoler som med utgangspunkt i høy skår på 5. trinn (den beste tredelen) har en positiv prestasjonsutvikling frem mot 8. trinn (verdi = 1) versus skoler som med utgangspunkt i svak skår på 5. trinn (den svakeste tredelen) har en negativ prestasjonsutvikling frem mot 8. trinn (verdi = 0). Her grupperes også skoler i hvert av de tre fagene og etter gjennomsnittet for de tre fagene.
2.7.2 Bakgrunnsvariabler på individnivå
Mors og fars utdanningsnivå: Variabelen måler utdanningsnivået som første siffer i Norsk standard for utdanningsgruppering NUS2000 (SSB 2006). Nivåene på denne variablen er ʺukjent/uoppgitt utdan-ningʺ, ʺbarneskoleʺ, ʺungdomsskoleʺ, ʺvideregående nivå, vg1 eller vg2ʺ, ʺfullført videregåendeʺ (vg3 eller lære), ʺpåbygging til videregåendeʺ (bl.a. fagskoler), ʺhøyere utdanning lavere nivåʺ (maksimalt bachelor), ʺhøyere utdanning høyere nivåʺ (maksimalt master) og ʺutdanning på forskernivåʺ (inkludert dr. grad). I noen analyser er de tre laveste nivåene gruppert sammen i en kategori ʺungdomsskole eller lavere nivåʺ. I enkelte analyser opereres det også med foreldrenes høyeste fullførte utdanning.
Den av foreldrene som har den høyeste fullførte utdanningen er registrert på variabelen.
Foreldrenes inntekt etter skatt (desilinntekt): Variabelen summerer registrert inntekt etter skatt for begge foreldre enten de bor sammen eller ikke og grupperer denne inntekten i ti-prosent grupper (desiler) på skalaen fra laveste ti prosent inntekt til høyeste ti prosent inntekt. Variabelens skala er 0–
9.
Mors og fars alder med maksimalverdi ʺ70 år eller høyereʺ. I enkelte analyser har mors og fars gjennomsnittsalder fått verdien 0. Da måles avviket fra gjennomsnittsalderen i antall år.
Mors og fars arbeidsmarkedstilknytning: Måler om foreldrene er sysselsatt eller ikke i 2005, 2007, 2008 og 2009. Vi har også konstruert et mål som gir verdien 0 dersom mor/far er sysselsatt alle fire årene, –1 dersom mor/far ikke er sysselsatt ett av årene, –2 dersom mor/far ikke er sysselsatt 2 av årene, –3 dersom mor/far ikke er sysselsatt tre av årene og –4 dersom mor/far ikke er sysselsatt noen
28
av de fire årene i perioden 2005–2009. Denne variabelen viser seg å være høyt korrelert med en gruppering av inntektsnivået i desiler.
Foreldrenes sivilstand/ familiesituasjon: To dummy-variabler angir om foreldrene er gift (inkludert partnerskap) eller samboende. Referansekategori (verdi 0 på begge variabler) er alt annet enn gift eller samboende.
Elevens kjønn: Jente har verdi 1, gutt har verdi 0.
Elevens alder: Måler avvik fra normalalder for kullet, 5. trinn høsten 2007, i år. Maksimal verdi er to år eldre enn normalalder for kullet eller mer.
Elevens innvandrerbakgrunn/ minoritetstilknytning: Angis ved hjelp av fire dummy-variabler. Vestlig innvandrer, vestlig etterkommer, ikke-vestlig innvandrer, ikke-vestlig etterkommer. Majoritetstilknytning gir verdien 0 på alle disse fire variablene samtidig. Inndelingen vestlig/ikke-vestlig er basert på land-bakgrunn. I tråd med SSBs anbefaling er ʺvestligʺ definert som EU/EØS–land, USA, Canada, Australia og New Zealand, mens ʺikkje-vestligʺ omfatter Asia, Afrika, Latin–Amerika, Oseania utenom Australia og New Zealand og Europa utenom EU/EØS. En innvandrer er ikke født i Norge, mens en etterkom-mer er født i Norge. I begge tilfeller er begge foreldre født i utlandet. Hvis en av foreldrene er registrert med majoritetstilknytning (kan være etterkommer av innvandrere i forrige generasjon) er barnet klassi-fisert med majoritetstilhørighet.
Botid måles i to års kutt. Variabelen angir når elever som er født i utlandet av to utenlandsfødte foreldre (innvandrere) kom (immigrerte) til Norge.
I noen analyser benyttes også elevens paritet, dvs. elevens rekkefølge i søskenflokken, antall hjemmeboende barn (0–18 år) i 2007 og om eleven har halvsøsken eller ikke.
2.7.3 Variabler på skolenivå – elevsammensetning, skolemiljø og skolens menneskelige og materielle ressurser
Elevsammensetning på skolen (sosial bakgrunn i vid forstand)
Elevsammensetning på skolen er basert på beregning av gjennomsnittsskårer for hver skole på variabler som indikerer elevens familiesituasjon: Vi benytter Gjennomsnittlig foreldreutdanning, gjennomsnittlig foreldreinntekt (desilinntekt), andel gifte foreldre, andel samboende foreldre og andel elever med ulik minoritetstilknytning. I mange analyser brukes andel ikke-vestlige etterkommere som indikator på minoritetstilknytning blant annet fordi det er langt flere etterkommere enn innvandrere på 5. trinn i barneskolen, særlig i Oslo.
Elevsammensetningen er indikator på kollektive komponenter av elevenes sosiale bakgrunn i vid forstand.
Skolens menneskelige og materielle ressurser
Timetallets nedre grense er bestemt av sentrale myndigheter og angir hvilken undervisningsmengde elevene har krav på i løpet av skoleåret. Kommunene kan velge å bevilge et høyere timetall enn dette, og datasettet indikerer at det er noe variasjon mellom skolekretsene i timetall, gjerne en variasjons-bredde på inntil 200 timer i løpet av et skoleår. Standardavviket er imidlertid lite. På 5.–7. trinn var dette rundt 16 timer eller en halv uke med (potensiell) undervisning i 2009.
Modellene har to indikatorer på tilgangen på datateknologi: Antall PCer per elev og differansen mellom antall PCer per lærer og antall PCer per elev på skolen. Den siste variabelen er en indikator på priori-tering. Prioriteres PCer til lærerne fremfor PCer til elevene?
Andel lærere med godkjent lærerutdanning: Som godkjent lærerutdanning på barnetrinnet regnes allmennlærerutdanning samt førskolelærerutdanning og faglærerutdanning gitt visse bestemmelser
29 (Forskrift til opplæringsloven §14–2). Utenlandsutdanning kombinert med tilleggsutdanning/ tilleggs-krav kan også godkjennes (FTO § 14–8). Dette innebærer at universitetsutdanning, eventuelt med pedagogisk tilleggsuutdanning (praktisk–pedagogisk utdanning/ pedagogisk seminar) ikke er godkjent lærerutdanning på barnetrinnet i norsk skole (1.–7. trinn).
Enkelte analyser inneholder også mål på lærertetthet (elever per lærer på trinnet), andel kvinnelige lærere, andel ledere (forholdet mellom antall ledere og antall lærere) og flere indikatorer på omfanget av spesialundervisning.
Skolemiljøet
Arbeidsmiljø er et aggregert gjennomsnitt av svarene på syv spørsmål. Elevene ble spurt om (1) de er hyggelige mot lærerne sine, (2) lærerne kommer presis til timene/arbeidsøktene, (3) lærerne må bruke tid på å få ro i klassen, (4) de følger med og hører etter når lærerne snakker, (5) de forstyrrer andre elever når disse arbeider, (6) elevene kommer for sent til timene og (7) de blir forstyrret av at andre elever lager bråk/uro i arbeidsøktene. I kapittel 5 brukes en indeks med skala 7–35. På dette målet opererer vi også med en gjennomsnittlig skår med skala 1-5. Høy skår betyr at arbeidsmiljøet (læringsmiljøet) er godt. Deretter er disse elevskårene aggregert til skolenivå.
Støtte, eller mer presist, faglig støtte er basert på svarene på tre spørsmål: Om elevene får hjelp i fag-ene når de har behov for det av (1) lærer, (2) medelever og (3) foreldre. Skalaen er 1–5, og elevskår-ene er aggregert til skolenivå.
Fravær av mobbing er et aggregert gjennomsnitt for svarene på syv spørsmål, om elevene (1) er blitt mobbet på skolen de siste månedene, (2) blir mobbet av elever i gruppen/klassen, (3) blir mobbet av andre elever på skolen, (4) blir mobbet av en eller flere lærere, (5) blir mobbet av andre voksne på skolen, (6) selv har vært med på å mobbe andre de siste månedene og (7) om elevene pleier å si fra til lærerne hvis noen blir mobbet. Vi har beregnet et gjennomsnitt for hver enkelt elev på disse syv spørsmålene (skala 1–5) og har deretter aggregert disse skårene til skolenivået.
Trivsel er et aggregert gjennomsnitt av svarene på fire spørsmål. Elevene ble spurt om de trives (1) på skolen, (2) i gruppen/klassen, (3) i friminuttene/fritimene og (4) sammen med lærerne. Skalaen er 1–5 og vi har beregnet en gjennomsnittsskår på de fire spørsmålene for hver elev som deretter ble aggre-gert til skolenivået.
Elev-lærer relasjon (mer uformelt) måles ved hjelp av to spørsmål: (1) Om lærerne gir den enkelte eleven lyst til å jobbe med fagene og (2) om lærerne er hyggelige mot den enkelte. Vi har beregnet et gjennomsnitt for hver enkelt elev på de to spørsmålene (skala 1–5) og har deretter aggregert elevskår-ene til skolenivået.
Elevens motivasjon måles ved hjelp av seks spørsmål. Spørsmål 1–3: Om eleven er interessert i fagene, gjør lekser, får nok utfordringer. Skala 1=ikke i det hele tatt, 5=i alle eller i de fleste fag.
Spørsmål 4: Om eleven liker skolearbeid. Skala fra 1=ikke i det hele tatt til 5=svært godt. Spørsmål 5:
Om oppgaver er vanskelige eller lette. Skala fra 1=svært vanskelige til 5=svært lette. Spørsmål 6: Om eleven har kunnskap om hva eleven skal lære. Skala fra 1=ikke i noen fag til 5=i alle eller i de fleste fag. Vi har beregnet en gjennomsnittskår for hver variabel med skala fra 1 – 5.
Undervisningsformer
Omfanget av lærerstyrt undervisning angir elevenes oppfatning av omfanget av tavleundervisning, individuelt arbeid (øvelse) i klassen under oppsyn av læreren og faglige diskusjoner i klassen med lærer og medelever. Basert på en vurdering av hver aktivitet fra 1=sjeldnere enn 2–4 ganger i halvåret til 5=flere ganger i uken, blir skalaen på dette målet 3–15 poeng (multivariat modell kapittel 5, V5.6 og V5.7), men vi opererer også med en gjennomsnittlig skår som har skala 1–5.Et gjennomsnittlig omfang av lærerstyrt undervisning på hver skole beregnes ved å aggregere til skolenivå.
30
Omfanget av elevaktiv undervisning angir elevens oppfatning av omfanget av elevsamarbeid, to og to, i grupper, i prosjekter og i praktiske øvelser. Det er samme vurderingsskala som for lærerstyrt under-visning, noe som gir en skala for dette målet på 4–20 poeng (multivariat modell kapittel 5, V5.6 og V5.7), men vi opererer også med en gjennomsnittlig skår som har skala 1–5. Vi beregner også skole-gjennomsnitt for denne undervisningsformen.
Totalt undervisningsomfang angir elevenes oppfatning av omfanget av de til sammen syv elementene som inngår i lærerstyrt og elevaktiv undervisning. Skala er 7–35. Også på dette målet opererer vi med et gjennomsnitt med skala 1–5 i enkelte analyser.
2.7.4 Analysemetoder
Vi benytter tre multivariate analysemetoder i denne rapporten. Lineær regresjon med OLS–estimering (OLS: Minste kvadraters metode), logistisk regresjon og flernivåanalyse basert på lineær regresjon.
Bruk av lineær regresjon forutsetter at den avhengige variabelen (resultatvariabelen/ responsen) har kontinuerlig skala. Inntekt i kroner og øre og karakterpoengsummer er eksempler på slike variabler. I tillegg bør den avhengige variabelen være tilnærmet normalfordelt (tydelig A–formet). Ved å minimere de kvadratiske avvikene mellom observasjoner og en fremstilling av estimerte verdier på den avhen-gige variabelen som en lineær kombinasjon av uavhenavhen-gige/ bakenforliggende variabler (vha. OLS) estimeres stigningskoeffisienter (ʺeffekterʺ) og et konstantledd som representerer den beste lineære representasjon av de observerte verdiene på den avhengige variabelen. Ved å manipulere variabler ved hjelp av matematiske funksjoner eller samspillsledd, kan lineær regresjon også brukes til å frem-stille ikke-lineære relasjoner mellom variabler.
Logistisk regresjon kan brukes for å analysere statistiske sammenhenger mellom en kategorisk avhengig variabel med to utfall (såkalt binær respons) og en serie potensielle uavhengige variabler (påvirkningskilder). Denne regresjonsteknikken tilhører klassen av generaliserte lineære modeller ved at avhengig variabel (logit) fortsatt fremstilles som en lineær kombinasjon av uavhengige/ bakenfor-liggende variabler. Logit–modellen manipulerer avhengig variabel ved å fremstille den naturlige logaritmen til oddsen for et ettertraktet utfall («suksess») som en lineær funksjon av (potensielle) påvirkningskilder, med stigningskoeffisienter og konstantledd som i ordinær lineær regresjon. En odds er et forhold mellom to sannsynligheter, sannsynligheten for suksess dividert med sannsynligheten for det motsatte. Slike modeller kan benyttes til å estimere oddsrater (partielle endringer i odds) og partielle sannsynligheter for bestemte utfall. Mens tilpasning til data ved hjelp av lineær regresjon minimerer kvadratiske avvik mellom observasjoner og modell, bygger tilpasning til logit på en prosedyre som maksimerer sannsynligheten for at modellen reproduserer datasettet (varianter av ʺmaksimum likelihood–metodenʺ).
Flernivåanalyse er en metode for å analysere data som har en hierarkisk struktur. Det vil si at vi har data på minimum to nivåer samtidig. I denne rapporten opptrer data på to nivåer – elevnivå og skolenivå. Variabler som observeres på skolenivå, har langt færre enheter enn variabler som obser-veres på skolenivå. Hvis effekter estimeres ved hjelp av minste kvadraters metode (OLS) uten at skolenivået spesifiseres, estimeres signifikansnivåene på basis av tallet på elevobservasjoner. Dette fører til underestimering av standardfeilene (usikkerheten) på skolenivået, noe som medfører at signifikansnivåene på slike variabler blir alt for lave. Vanlig regresjon tar heller ikke hensyn til at elever er ʺnøstet sammenʺ på den skolen de tilhører og at det kan være korrelasjon mellom observasjoner av elever fra samme skole. Det er derfor viktig å korrigere for statistisk avhengighet ved hjelp av metoder som eksplisitt tar hensyn til flernivåstrukturen i data. Flernivåanalysen dekomponerer variasjon (varians) mellom og innen grupper på en måte som fjerner problemet med at elevobservasjoner er ʺnøstetʺ på bestemte skoler.
Vi benytter to ulike modeller som tar hensyn til flernivåstrukturen i data: Random effects modeller (modeller med tilfeldig variasjon på skolenivå) deler opp residualleddet (uforklart tilfeldig variasjon) i to deler, en del som varierer mellom elever innen skoler og en del som varierer rundt
skolegjennom-31 snittene på gruppenivå. Random effects modellering brukes når vi spesifiserer observerte kjennetegn ved skolene som uavhengige variabler/ potensielle ʺforklaringsvariablerʺ. En svakhet ved denne metoden er at det fortsatt kan være uobserverte forhold på skole- og elevnivå som kan være korrelert med observerte variabler i modellen, noe som gir usikkerhet i regresjonsestimatene. Når vi studerer seleksjon ved hjelp av denne metoden kan vi altså bare ta hensyn til observerte kjennetegn på skole-nivå. Her kommer ʺfixed effects modelleringʺ (faste skoleeffekter) oss til unnsetning. Nå introduseres skolene som en serie dummy-variabler som i prinsippet fanger opp alle kilder, observerte så vel som uobserverte, til variasjon mellom skolegjennomsnittene på den avhengige variabelen. Ved å bruke modeller med faste skoleeffekter kan vi med andre ord også ta hensyn til (kontrollere for) seleksjons-problemer som er knyttet til forhold vi ikke observerer på skolenivå. En svakhet ved denne metoden er den statistiske usikkerheten øker ved at modellen kun utnytter variasjon innad i enhetene. Hvis det er et stort antall elever på hver skole, vil denne metoden kunne brukes med stor presisjon. Problemet i norsk grunnskole er imidlertid at mange av skolene har få elever på hvert trinn. Vi har satt nedre grense på fem elever, noe som innebærer at hver enkelt bidrar med 20 prosent til sin egen presta-sjonskontekst. Da får vi med skoler fra hele landet, men dette øker usikkerheten i analysene våre.
Resultatene våre blir sårbare for virkninger av tilfeldig variasjon innen og mellom skoler.
Vedllegstabellene V2.1–V2.2 gir en statistisk beskrivelse av variabelene som brukes i analysene.
32