Både prosessevaluering og resultatevaluering
Problemstillingene for evalueringen tilsier to typer evalueringsmetodikk. Den ene er såkalt prosessevaluering, også kalt formativ evaluering, hvor hensikten er å analysere prosesser knyttet til gjennomføringen av det fenomenet som skal evalueres. Denne tilnærmingen ble brukt da vi for eksempel skulle undersøke problemstillinger som hvordan beslutninger om fordelingen av tiltaksmidler ble tatt, og måten satsingene ble forankret i kommunen. Den andre er såkalt resultatevaluering, også kalt summativ evaluering, hvor hensikten er å analysere i hvor stor grad målene for en innsats er nådd.
Denne tilnærmingen ble brukt da vi for eksempel skulle undersøke problemstillinger som i hvor stor grad de iverksatte tiltakene nådde målgruppene.
Vi har evaluert to statlige satsinger som har vært implementert i et stort antall kom-muner og bydeler som ytre sett hadde det til felles at de hadde store levekårsutfordringer i et gitt år. Innenfor disse rammene har det vært stor variasjon både med hensyn til hvor mye midler den enkelte kommunen eller bydelen har mottatt, i hvor stor grad kommunen eller bydelen også har hatt midler fra andre statlige satsinger i samme tids-rom, og på hvilke måter tiltakene har blitt utformet. Utgangspunktet for å iverksette tiltakene har også variert. Følgelig har vi måttet konsentrere evalueringen om prosesser og resultater knyttet til eksisterende sentrale og lokale målsettinger. Dermed har det også vært viktig å få med prosessdelen og ikke bare resultatdelen i evalueringen.
Analyser av en egenevaluering fra alle kommunene og bydelene
Kommunene og bydelene har gjennomført årlige rapporteringer til BLD og AVdir.
Rapporteringene har vært gjennomført og analysert av Fafo og NOVA i samarbeid (Christensen mfl. 2008, Hyggen 2009, Nuland 2009). I 2009 ble det så sendt ut et elektronisk evalueringsskjema til samtlige kommuner og bydeler som hadde deltatt i satsingen, enten de hadde fått midler alle tre år eller færre av årene, og enten satsingen fortsatt pågikk i 2008 eller hadde blitt avsluttet tidligere. Skjemaet ble sendt til den som på det tidspunktet var kontaktperson og derved ansvarlig for prosjektet.
Til sammen ble det sendt spørreskjemaer til 86 kommunale enheter. Vi mottok svar fra 62. Det gir en svarprosent på 72 prosent. Vi mottok svar fra 21 kommuner som hadde fått tilskudd fra BLD (svarprosent 72), og 41 som hadde fått tilskudd fra AVdir (svarprosent 72).
I og med at det foreligger rapporteringer fra årene 2006 til 2008 i tillegg til egen-evalueringen fra 2009, har vi hatt et rikt materiale å analysere. Vi har fått god infor-masjon om hvordan tiltakene har vært organisert, hvor mange tiltak som har vært iverksatt, om hva som har betydd noe for organiseringen av satsingen, med videre.
Det at det foreligger data fra flere fortløpende år, har også gjort det mulig å analysere utviklingstrender over tid.
Data fra rapporteringene og egenevalueringen er primært analysert ved hjelp av deskriptive statistiske teknikker. Analysene viser fordelinger på variabler som tilskud-denes størrelse, ulike typer tiltak, grad av samarbeid, kommunenes informantenes holdninger til tverrfaglig og tverretatlig samarbeid med videre. Siden det totalt er 62 kommuner som har besvart spørreskjemaet, er vi forsiktige med å bryte ned tabellene.
Noen forskjeller mellom AVdir- og BLD-kommunene nevnes imidlertid i teksten.
Casestudier i ti kommuner og en bydel i Oslo
For å supplere og utdype informasjonen fra evalueringsskjemaet valgte vi å gjennomføre en caseundersøkelse i ti kommuner og én bydel i Oslo (se tabell 3.1 på neste side). Disse ble valgt ut etter følgende kriterier:
om kommunen hadde fått midler kun for 2008 eller hadde vært med lenger,
•
hvor stort innbyggertall kommunen har,
•
om kommunen hadde fått midler fra kun én bevilgende myndighet eller begge, og
•
hvor i landet kommunen ligger.
•
Tre av kommunene vi valgte ut, var nye i ordningen fra 2008. Seks av kommunene hadde over 15 000 innbyggere. Den største kommunen med hensyn til innbyggere var Bergen kommune (252 918), mens den minste kommunen var Kvæfjord (3023). Fem av kommunene hadde fått midler fra begge bevilgende myndigheter. Når det gjelder den geografiske spredningen, valgte vi ut en bydel i Oslo, to kommuner i region Nord, to i region Midt, to i region Vest, to i region Øst og to kommuner i region Sør.
Vi tok sikte på å involvere informanter på flere nivåer i hver av kommunene. Foruten prosjektansvarlige intervjuet vi ansatte i hjelpetjenestene, administrative ledere på kom-munalt nivå og lokalpolitikere. I den enkelte casekommune har vi intervjuet mellom to og seks personer. Til sammen er det gjennomført 30 intervjuer med i alt 41 informanter.
På denne måten har vi kunnet fange opp vesentlig variasjon mellom kommunene, både med hensyn til selve tiltakene og hvordan de organiseres og forankres lokalt. Videre kunne variasjonen etter de gitte kriteriene også vise forskjeller med hensyn til hvordan de involverte personene oppfatter utfordringene med barnefattigdom i sin kommune, hvilke erfaringer de har med utviklingen av tiltak og samarbeidet mellom ulike instanser lokalt, og hva de mener fremmer og hemmer gode tiltak.
Gjennom intervjuene har vi fått god og utdypende informasjon om hvordan proses-ser og utvikling har vært i kommunene i prosjektperioden.
Resultater fra tre spesielt utvalgte casekommuner presenteres i kapittel 6.
Forskningsetiske overveielser
Evalueringen var meldepliktig til Personvernombudet for forskning, som har tilrådd gjennomføringen av prosjektet.
Navnene på kommunene og bydelene som har deltatt i satsingene, er offentlig kjent.
Følgelig har vi brukt navn når vi presenterer tabeller med oversikt over for eksempel inntektsdata, hvem de ulike kommunene og bydelene har fått midler fra, og så videre.
Når vi presenterer sitater fra casestudien, ivaretar vi informantenes konfidensialitet gjennom å betegne dem med posisjon i kommunen (prosjektleder, politiker mv.). Vi oppgir imidlertid ikke hvilke kommuner informantene kommer fra.
Tabell 3.1 Case-kommunene
Befolkning Stor Ny i ordningen
Midler fra begge
myndigheter Region
Alna 46 029 1 Oslo
Ringsaker 34 425 1 1 Øst
Fredrikstad 72 935 1 Øst
Bergen 252 918 1 1 Vest
Sund 5983 1 Vest
Kristiansund 22 982 1 1 Midt
Bjugn 4533 1 Midt
Kvæfjord 3023 1 Nord
Alta 18 597 1 1 Nord
Notodden 12 320 1 Sør
Re 8593 1 Sør
Total 6 3 6