8 Effektevalueringens hovedresultater og begrensninger
8.2 Begrensninger ved effektevalueringen
For å finne ut om Regionprosjektet hadde gitt tilsiktede virkninger, baserte vi oss hovedsakelig på data fra spørreundersøkelser av skoleungdom.
Dersom vi i større grad også hadde inkludert data fra andre kilder, ville grunnlaget for å trekke konklusjoner ha vært mer solid. Det ville blant annet ha styrket effektevalueringen om vi hadde hatt tilgang på andre typer data enn selvrapporterte opplysninger, og også data som omhandlet eldre aldersgrupper og ikke bare ungdom. Som beskrevet i kapittel 2, forsøkte vi riktignok å innhente registerdata som ville ha gitt oss noen indikatorer på rusrelaterte skader i både ungdoms- og voksenbefolkningen, men det viste seg at disse dataene var lite egnet til vårt formål.
En annen viktig begrensning ved effektvalueringen har å gjøre med at
”ting tar tid” (jf. kap. 10). Data fra skoleundersøkelsene ble analysert for å
avdekke eventuelle endringer fra 2004 til 2006, men mange pilot-kommuner brukte lang tid på å sette sine forebyggingsplaner ut i livet.
Vårt datamateriale var lite egnet til å fange opp eventuelle virkninger av de tiltakene som kom seint i gang. Det var heller ikke egnet til å avdekke mulige effekter av tiltak som først og fremst var ment å påvirke mål-gruppens forhold til rusmidler på lang sikt.
Fordi skoleundersøkelsene favnet de brede lag av ungdomsbefolkningen, hadde vi heller ikke noe godt grunnlag for avdekke eventuelle effekter av intervensjoner som først og fremst var rettet mot spesielt utsatte grupper (f.eks. Kjentmann). Slike høyrisikotiltak berører per definisjon bare et få-tall av de unge, og selv om de kan ha påvirket målgruppens rusmiddelbruk i ønsket retning, så vil det i liten grad avtegne seg i studier som omfatter (nesten) hele ungdomsbefolkningen. Det betyr for øvrig også at tiltak som er forbeholdt små grupper, sjelden monner når man legger et folkehelse-perspektiv til grunn. For å begrense det totale omfanget av alkoholrelaterte skader og problemer i ungdomsbefolkningen, er det følgelig nødvendig å iverksette effektive intervensjoner som når ungdom flest.
Videre er det grunn til å minne om at det ikke var tilfeldig hvilke kommuner som inngikk i Regionprosjektet. De kommunene som nådde fram i konkurransen om å ta del, hadde ikke bare gjennomtenkte planer for sin rusforebyggende satsing, de hadde også involvert den politiske- og administrative ledelsen i disse planene. Vårt valg av kontrollkommuner var heller ikke tilfeldig: I seks av sju tilfeller ble de plukket ut blant søkerne til Regionprosjektet. Nettopp derfor kan det tenkes at de – i likhet med pilotkommunene – var mer interessert i rusforebygging enn de fleste andre kommuner i landet. I så fall representerte verken pilot- eller kontroll-kommunene typiske norske gjennomsnittskommuner. I effektevalueringen sammenliknet vi følgelig pilotkommuner som trolig hadde særs gode forutseninger, med kontrollkommuner som antakelig lignet på dem.
Dersom effektevalueringen hadde dreid seg om tilfeldig valgte pilot- og kontrollkommuner, eller om kommuner med spesielt høy forekomst av rusmiddelproblemer, så ville resultatene kanskje vært annerledes.
Et siste poeng har å gjøre med påliteligheten av selvrapporterte opp-lysninger. Svarer ungdom ærlig og samvittighetsfullt på den type spørsmål som vi stilte i skoleundersøkelsene, eller avgir de ofte svar som ikke stemmer så godt overens med de faktiske forhold? En god del forskning har belyst temaet, og stort sett synes konklusjonen å være at tenåringer i hovedsak gir pålitelige opplysninger om egen rusmiddelbruk (Del Boca og
Darke 2003). Men selvrapporterte data gir ikke et nøyaktig bilde av virkeligheten. På dette feltet operer vi følgelig med mer eller mindre grove indikatorer, og ikke med presise mål. Det er imidlertid liten grunn til å tro at slike begrensninger har hatt noe å si for vår effektevaluering. I så fall måtte svarstilen til skoleungdom i pilot- og kontrollkommunene ha endret seg på ulikt vis over tid, noe som er lite sannsynlig. På den annen side avdekket vi enkelte ”ulogiske” funn, blant annet med hensyn til endringer i alkoholbruk og alkoholrelaterte problemer, og det kan hende at det delvis skyldtes at de selvrapporterte opplysningene var upålitelige.
Selv om effektevalueringen av Regionprosjektet var basert på studier med flere klare begrensninger, ønsker vi til slutt å påpeke at disse studiene også hadde noen viktige fortrinn. Både skoleundersøkelsene og studiene av kjøpsforsøk inkluderte tiltaks- så vel som kontrollgrupper, og omfattet kartlegginger både før og etter iverksetting av tiltak. Et slikt forsknings-design gir et godt utgangspunkt for å sannsynliggjøre om innsatsen ga avkastning. Videre hadde vi tilgang på mange sentrale utfallsmål, noe som åpenbart også er fordelaktig. I tillegg var undersøkelsene særskilt relevante fordi tiltakene i Regionprosjektet hovedsakelig var rettet mot barn og unge i det brede lag av befolkningen.
8.3 Hovedpunkter
• Effektevalueringen ga ingen holdepunkter for at Regionprosjektet hadde ført til redusert rusmiddelbruk og færre alkoholrelaterte problemer blant skoleungdom (se tabell 8.1).
• Det er ingen holdepunkter for at Regionprosjektet har bidratt til å begrense mindreårige ungdommers tilgang på alkohol fra salgs- og skjenkesteder (se tabell 8.2).
• Ingen effekter ble observert med hensyn til de unges rusrelaterte kunnskaper og holdninger.
• Regionprosjektet lot ikke til å ha påvirket hvor ofte tenårings-foreldrene snakket med barna sine om farene ved å bruke rus-midler.
• Når det gjaldt foreldrenes rusrelaterte grensesetting, pekte noen funn i pilotkommunenes favør, mens andre ikke gjorde det.
• Ingen funn tydet på at Regionprosjektet hadde virket mot sin hensikt.
• Effektevalueringen fanget neppe opp eventuelle effekter av tiltak overfor høyrisikogrupper, tiltak som kom seint i gang, og lang-siktige satsinger.