Faktoranalyse: For mye evaluering og for lite undervisning?

Tabell 5.13 viser resultater fra en faktoranalyse av 22 av de 24 indeksene som ble beskrevet i Tabell 5.10. Vi kommer tilbake til hvorfor ikke alle indeksene ble inkludert i modellen.

Tabell 5.13 Faktoranalyse av 22 indikatorer på skolemiljø. Elevundersøkelsen 2009.

Mapper/ praktiske oppgaver 0,69 (0,39)

Elevaktiv undervisning (0,33) 0,52

Analysemetode: Prinsipal komponent, Rotasjonsprinsipp: Varimax med Kaiser-normalisering Faktoranalyse er et data- eller informasjonsreduksjonsverktøy. Vår analyse grupper de 22 variablene i fire knipper av dimensjoner (faktorer), altså en real reduksjon i kompleksitet. Nå benyttes de konstruerte indeksene fra forrige avsnitt i en utprøvende (eksplorerende) analyse.

Hvis det ikke er mulig å tolke faktorene har vi ikke gjennomført noe annet enn en ren data-teknisk øvelse som sier noe om statistiske sammenhenger i materialet. Dersom faktorene kan tolkes – dette arter seg i hovedsak som ”å sette navn på” – kan denne teknikken være et hjelpemiddel til å avdekke substans. Vi får fire faktorer eller dimensjoner:

Den første dimensjonen har vi valgt å kalle positivt læringsmiljø. Navnet er en forkortelse basert på de ulike indikatorene som legger seg i denne faktoren; særlig at læringsmiljøet er trivelig, støttende, og motiverende. Her finner vi målene på positive relasjoner til lærerne, trivsel, motivasjon og fravær av mobbing. Satt på spissen kan dette uttrykkes som en

”solskinnsfaktor”. Samtidig registrerer vi at de lærerstyrte undervisningsmetodene –

tavleundervisning, individuelt arbeid i klassen og faglige diskusjoner mellom lærer og elever i klassen – plasseres på denne dimensjonen sammen med målet på bruk av PC og internett i hjem og skole.

Faktor 2 genereres av alle de fire læringsstrategiene: Instrumentell, assosiere, memorere og kontroll. De fire indikatorene splittes ikke opp, men opptrer sammen i et knippe. Dette indikerer at det viktigste skillet går mellom elever som uttrykker at de har slike strategier og elever som i mindre grad uttrykker at de har det. Vi finner også indeksen for

ytelsesorientering på denne dimensjonen og en svak assosiasjon med andreorientering eller samarbeidsorientering (r=0,3). Andreorientering ligger nesten for seg selv i denne empiriske strukturen, men er altså relativt sett sterkest assosiert med faktor 2. Vi benevner denne faktoren læringsstrategier. Her er det viktig å nevne at læringsstrategispørsmålene bare er besvart av ca. 30000 elever, mens de andre spørsmålene er besvart av om lag 48000 elever.

De som ikke har svart har fått gjennomsnittskår på faktoren. Dette reduserer trolig faktorens evne til å forutsi (predikere) karakterer.

Faktor 3 fanger inn alle evalueringsformene – både den tradisjonelle evalueringsformen som kombinerer skriftlige prøver og muntlig høring i klassen, kombinasjonen mappeevaluering/

praktiske oppgaver og kombinasjonen presentasjoner/ hjemmearbeid. Den elevaktive undervisningsmåten som er basert på ulike former for elevsamarbeid og prosjektarbeid

plasseres også i denne faktoren. Elevene gir på litt ulikt vis (skalaene varierer noe) uttrykk for omfanget eller intensiteten i det de blir eksponert for. Vi kaller denne tredjefaktoren for evalueringsintensitet.

Faktor 4 refererer til mer formelle/organisatoriske relasjoner til læreren og fysisk miljø. Her finner vi organisert leksehjelp, medbestemmelse, informasjon og tilbakemeldinger, at læreren blant annet informerer om faglig nivå, samt indikatoren på kvaliteten i elevenes fysiske omgivelser. Vi oppfatter alt dette som et uttrykk for elevens vurdering av mer formell

tilrettelegging og assistanse (organisasjon) og fysisk infrastruktur/ fysisk miljø. Indikatoren er gitt navnet organisasjon og fysisk miljø.

Vi har også skissert noen empiriske relasjoner som via enkeltvariabler knytter dimensjoner sammen. Et godt fysisk miljø er nesten like sterkt assosiert med faktoren positivt læringsmiljø som med den faktoren som angir mer organiserte, kanskje formelle, relasjoner mellom lærere og elever. Informasjon ligger også og vipper mellom faktoren positivt læringsmiljø og faktoren som angir organiserte relasjoner og fysisk miljø. Videre er tilbakemelding –

naturligvis – tydelig relatert til evalueringsintensitet (r=0,42), selv om variabelen statistisk sett plasseres på den dimensjonen som karakteriserer det organisatoriske (r=0,47). Vi ser også at mer moderne og elevaktive arbeidsformer som gruppe- og prosjektarbeid er moderat knyttet til faktoren positivt læringsmiljø (r=0,33) og en del sterkere til evalueringsintensiteten (r=0,52), derfor plasseres disse undervisningsformene i dimensjonen for intensiv evaluering, mens det er omvendt for den lærerstyrte undervisningen. Denne er moderat assosiert med evalueringsintensiteten (r=0,34) og en del sterkere med det positive læringsmiljøet (r=0,55).

Derfor plasseres lærerstyrt undervisning sammen med faktoren positivt læringsmiljø.

Dette betyr at, etter elevenes oppfatning, er mye bruk av mer moderne elevaktiv og samarbeidsorientert undervisning i regelen assosiert med et omfattende og intensivt

evalueringsregime, mens mer tradisjonell lærerstyrt undervisning også kan være det. Samtidig kan elevaktiv undervisning meget vel være knyttet til et positivt læringsmiljø, mens den mer tradisjonelle lærerstyrte undervisningen i større grad er det. La oss nå se hvordan disse fire faktorene er knyttet til elevenes prestasjonsnivå i tiende (tabell 5.14).

Tabell 5.14 Poengsum basert på syv selvoppgitte standpunktkarakterer, etter 22 kjennetegn ved elevens læringsmiljø gruppert i fire dimensjoner (faktoranalyse) på tiende trinn våren 2009. Lineær regresjon basert på data fra Elevundersøkelsen.

Faktorer Koeffisient B Standardfeil Beta Signifikans

Konstant 27,4 0,02 0,000

Positivt læringsmiljø 2,31 0,02 0,41 0,000

Læringsstrategier* 0,84 0,02 0,15 0,000

Evalueringsintensitet -0,81 0,02 -0,15 0,000

Organisatoriske relasjoner/fysisk miljø 0,26 0,02 0,05 0,000

Forklart varians 21,5 %

Antall elever 49716

*De 18000 elevene som ikke har besvart spørsmål om læringsstrategi har fått gjennomsnittsskår på variablene. Dette fører til at effekten av læringsstrategi og ytelsesorientering undertrykkes i

regresjonsmodellen.

Tabell 5.14 legger de fire faktorene inn i en modell som forsøker å anslå (predikere) karakter-poengsummen basert på de syv selvrapporterte standpunktkarakterene. Denne modellen for-klarer 21,5 prosent av variasjonen (variansen) på karakterpoengsummen, altså vesentlig svakere enn den modellen som er spesifisert i tabell 5.12 (27-29 prosent forklaringskraft).

Den faktorbaserte modellen viser imidlertid noe nytt, som hjelper oss til å nyansere tolkningene våre.

Faktoren positivt læringsmiljø er meget sterkt assosiert med gode prestasjoner på tiende trinn.

Her finner vi også den lærerstyrte undervisningen sammen med indikatoren for bruk av PC.

En økning i skåren på denne faktoren med en enhet (ett standardavvik) – alt annet likt – er statistisk assosiert med en gjennomsnittlig økning i karakterpoengsummen med 2,31 enheter

eller 0,41 standardavvik. Dette er en sterk statistisk sammenheng. En tilsvarende økning i uttalte læringsstrategier er – alt annet likt – assosiert med en økning på 0,84 poeng eller 0,15 standardavvik på karakterpoengsummen. Vi gjentar at disse spørsmålene bare er besvart av drøyt 30000 elever. De elevene som ikke har besvart spørsmålene (om lag 18000) har fått gjennomsnittverdi på variabelen. Dette vil undertrykke den statistiske effekten av lærings-strategi på karakterpoengsummen i tiende. Kvalitet og omfang av organisatoriske relasjoner mellom lærere og elever knyttet til tilbakemelding, medbestemmelse organisert leksehjelp og lignende, samt kvaliteten på det fysiske miljøet er også positivt assosiert med

prestasjonsnivået, dog klart svakere enn det faktoren positivt læringsmiljø og læringsstrategiene er.

Overraskelsen i tabell 5.14 består i at evalueringsintensiteten/-omfanget er negativt assosiert med prestasjonsnivået i tiende. En økning i omfang av evaluering/ evalueringsintensitet er – alt annet likt – statistisk assosiert med en reduksjon i prestasjonsnivået i de syv fagene med 0,81 poeng eller 0,15 standardavvik. Alle evalueringsformene, fra skriftlige prøver og muntlig høring, via presentasjoner og hjemmearbeid til mapper og praktiske oppgaver plasseres i denne faktoren – og dette representerer noe nytt i forhold til modellen i Tabell 5.12. Vår tolkning er som følger: Et forholdsvis beskjedent omfang av/intensitet i evaluering enten det er mapper, prøver, leksehøring eller presentasjoner er mer positivt assosiert med gode prestasjoner enn et omfattende, intensivt evalueringsregime. Det ser ut til at det kan bli for mye evaluering i grunnskolen og en slik praksis synes ikke å være prestasjonsfremmende.

Samtidig viser vår første regresjonsmodell (tabell 5.12) at både nye evalueringsformer som mapper (og praktiske oppgaver) og nyere undervisningsformer (gruppearbeid, prosjekt) - alt annet likt - er assosiert med en reduksjon i prestasjonsnivået, mens de tradisjonelle evaluer-ingsformene (skriftlige prøver og muntlig høring) og lærerstyrt undervisning - alt annet likt - er assosiert med en økning i prestasjonsnivået. Det stabile resultatet i disse to analysene er at bruken av lærerstyrt undervisning er assosiert med et over gjennomsnittlig prestasjonsnivå, mens bruken av mappeevaluering (i kombinasjon med praktiske oppgaver) er assosiert med et under gjennomsnittlig prestasjonsnivå. Man kan også hevde at det er en tendens til at

omfanget av elevaktiv undervisning er negativt assosiert med prestasjoner, dog svakt i tabell 5.12. For de to andre evalueringsformene – skriftlige prøver/muntlig høring og

presentasjoner/hjemmearbeid – spriker resultatene i de to analysene.

I uutgangspunktet er ikke de statistiske sammenhengene mellom prestasjoner og omfanget av ulike evalueringsformer konsistente mellom de to analysene, men en tolkning kan være at hvis det er omfattende bruk av flere evalueringsmetoder samtidig (noe som gir høy skår på faktoren), kan noe som i utgangspunktet virker prestasjonsfremmende får motsatt effekt – akkurat som om man langs skalaen på omfanget av evaluering risikerer å passere et

optimumspunkt, det vil si et punkt der det positive snus til det motsatte. Vi tillater oss også å spørre: Kan det være en bedre balanse mellom undervisning og evaluering blant lærere som arbeider etter såkalte tradisjonelle metoder og med utstrakt bruk av lærerstyrte

undervisnings-former, enn blant lærere som i større grad arbeider etter moderne prinsipper? Dette er naturligvis kun en av flere mulige tolkninger. Vi vil likevel utdype denne tolkningen litt til.

Selv om vi velger å bruke data Elevundersøkelsen, og dermed må ha som grunnleggende holdning at elevenes svar er til å stole på, kan vi ikke se bort i fra at det kan være en sammenheng mellom elevenes prestasjonsnivå og deres svar på enkelte av spørsmålene i Elevundersøkelsen. Det kan for eksempel være at faglig svake elever opplever ulike former for evaluering som noe mer negativt enn faglig sterke elever, og at dette har betydning for hvordan de besvarer spørsmålene om evaluering. Kanskje har denne elevgruppen en opplevelse av høyere evalueringsintensitet i skolen. Denne tolkningen er konsistent med faktoranalysen (tabell 5.14), men ikke med resultatene i foregående avsnitt (tabell 5.12, figur 5.12). Etter vår oppfatning svekker denne mangelen på konsistens tiltroen til en tolkning som differensierer elevenes oppfatning av omfang etter deres prestasjonsnivå.

Det er også slik at alle faktorene i tabell 5.14 kan være påvirket av elevenes prestasjonsnivå, det vil si at prestasjonssvake elever kan være mer tilbøyelig til å oppfatte miljøet i klassen som mindre positivt (trivelig, inkluderende og støttende), at de i mindre grad svarer at de opererer med læringsstrategier og at de i mindre grad opplever organisatorisk støtte, muligheter for medvirkning og lignende, enn elever med et høyere prestasjonsnivå.

Vi kan ha pekt på to forhold som er viktig for læring - for det første at læreren skal være nærværende (og opptre "førende") i selve undervisningssituasjonen. Her kan kanskje det moderne aktivitetskonseptet i pedagogikken gi læreren anledning til å trekke seg tilbake:

Elevene settes i sving både på skolen og hjemme, og elevkollektivet mottar for lite kyndig instruksjon fra klassens leder.³⁰ For det andre kan vi ha pekt på at svært omfattende/ intensiv evaluering (uansett metode) reduserer elevenes læring. Begrunnelsen for evaluering er at det motiverer til innsats. Samtidig kan det være en fare for at svært mye evaluering reduserer elevenes tid og krefter til ettertanke, refleksjon og fordypning, altså lite tid og krefter til læring.

Avslutningsvis bør det nevnes at funnene i faktoranalysen hviler på at indikatoren på

”læringsmiljø” utelates fra den opprinnelige faktoranalysen. Hvis denne indeksen tas med får

30 Med henvisning til Hattie (2009) uttrykker Vavik mfl. (2010) seg slik: ”Hattie (2009) viser gjennom effekt-studier hvordan resiprok, eller gjensidig vekselvirkende undervisning, gir godt læringsutbytte. Det samme gjør faglige tilbakemeldinger, orientering mot læringsmål og direkte instruksjon i hel klasse, i tillegg til god origanisering av undervisningen og ro rundt læringsarbeidet. Det er innenfor disse områdene at de største effektene ligger. Det vil si at lærerens rolle i undervisningen betyr særlig mye. Her er det læreren som ”akti-vator” som har langt større innvirkning på elevenes læring enn læreren som fungerer som ”fasilitator”

(ibid:68). Disse momentene ligner på suksesslisten til Brophy (1986:1071): ”Engagement rates depend on the teacher’s ability to organize the classroom as an efficient learning environment where activities run smoothly, transitions are brief and orderly, and little time is spent on getting organized or dealing with misconduct. High task engagement rates are among the most powerful correlates of student achievement” – en form for klasseromsundervisning som ikke bygger på en passiviserende forelesningsform, men på det

vi fem faktorer, og da splittes verken evalueringsindikatorene eller undervisningsmetodene.

Regresjonen mot karakterer av disse fem faktorene (basert på 24 variabler) er dessuten dårligere enn alle andre modeller vi har prøvd. Forklaringskraften reduseres til 18 prosent på tross av at 24 uavhengige variabler er med. Det som taler mot denne siste øvelsen der alt er med, er nettopp at evalueringsformer og undervisningsformer ikke splittes opp, og da er jo øvelsen på en måte forgjeves. En tolkning av dette kan være at de lærerstyrte

undervisningsformene fungerer som substitutt for læringsmiljøindikatoren (positivt, fokusert og stimulerende læringsmiljø) i en faktoranalyse, selv om disse to variablene i utgangspunktet ikke er spesielt høyt positivt korrelert.

I neste del av kapitlet benyttes disse variablene – indekser og faktorskårer – i en

flernivåanalyse av skolens betydning for prestasjonsforskjeller blant elever på tiendetrinn i grunnskolen 2009.

5.6 Skolens betydning for prestasjonsforskjeller i