Datagrunnlaget for evalueringen

Midtveisevalueringen baserer seg på et rikt og omfattende datamateriale. Vi har i hovedsak basert oss på fire ulike datakilder:

1) Foreliggende dokumentasjon fra programmet og prosjektene

Denne dokumentasjonen inkluderer programbeskrivelser, årsrapporter fra programmet, følgeevalueringen av programmet, søknader fra prosjektene, resultatrapporter og årsrapporter fra prosjektene, prosjektenes egne evalueringer m.m.

2) Informantintervjuer med ansvarlige aktører på programnivå og i virkemiddelapparatet Det er gjennomført intervjuer med 9 nøkkelinformanter. Enkelte av informantene har vi hatt møte med mer enn en gang.

3) Informantintervjuer i 10 utvalgte hovedprosjekter

Det er gjennomført informantintervjuer med sentrale representanter for de 10 utvalgte regionale prosjektene, dvs. prosjektledere og andre sentrale aktører. Til sammen ble det her gjort 20 intervjuer. I tillegg gjorde vi 7 intervjuer i prosjektporteføljen for å innhente supplerende opplysninger knyttet til spesifikke temaområder (i hovedsak relatert til koplingen mellom Arena-prosjektene og utdanningsinstitusjonene).

Samlet (inkludert intervjuer med programansvarlige) er det altså gjennomført 36 intervjuer i evalueringen ³.

4) Spørreundersøkelse blant bedrifter som har vært involvert i programmet

For å innhente data fra programmets viktigste målgruppe, bedriftene, er det også blitt gjennomført en kvantitativ spørreundersøkelse blant bedrifter som har vært involvert i de ulike regionale prosjektene. Formålet med spørreundersøkelsen er å systematisere bedriftenes erfaringer med ordningen og resultater av deres deltakelse. Til sammen er det hentet inn svar fra 132 bedrifter.

Metodiske utfordringer

Det er flere metodiske utfordringer knyttet til en evaluering av Arena-programmet, og da særlig i forhold til måling av resultater. Programmet er relativt komplekst ved at det består av et betydelig antall regionale prosjekter som hver for seg involverer mange aktører gjennom en rekke ulike aktiviteter. Heterogenitet i porteføljen bidrar til at det er vanskelig å etablere

3 For Bioklynge Nord, som er et av de utvalgte casene, fikk vi også tilgang til en del av de intervjuene som Nordlandsforskning gjennomførte som en del av sluttevalueringen av prosjektet.

måleindikatorer som er dekkende i forhold til prosjektenes aktiviteter. Andre forhold som bidrar til å komplisere en vurdering av programmet og prosjektenes resultater er at mye av aktiviteten er rettet mot prosesser som ligger tidlig i innovasjonsfasen og mot systemutvikling.

Aktiviteter som bidrar til nettverksutvikling og kompetanseheving gjør det krevende å avdekke prosjektenes betydning i forhold til sluttresultatet i form av konkrete innovasjoner som nye prosesser, produkter eller tjenester hos bedriftene. Tiltaket virker også i stor grad i samspill med andre prosesser og virkemidler, slik at det er vanskelig å ”isolere” programmets betydning for utfallet. Videre er det også et fokus mot mer ”myke” indikatorer som læring, kompetanseheving og nettverksutvikling, hvor det ofte er vanskelig å identifisere endring. Det finnes heller ikke en systematisk oversikt over de regionale miljøene utgangsposisjon (ex ante), dvs. situasjon før tiltaket ble iverksatt, slik at man kan avdekke grad av endring i løpet av prosjektperioden på en mest mulig presis måte. Til slutt må det også påpekes at det både på program- og prosjektnivå er mangel på måltall eller kvantifiserte mål, noe som gjør det svært vanskelig med en presis vurdering av måloppnåelse.

For å møte disse utfordringene har vi altså forsøkt å basere oss på et bredt datagrunnlag og ulike typer data, dvs. både dokumenter, personlige intervjuer og spørreundersøkelser. Under gir vi en kort gjennomgang av to sentrale metodiske grep og tilhørende datakilder som vi har brukt i midtveisevalueringen: henholdsvis caseanalyser og spørreskjemaundersøkelser.

Casestudier av utvalgte prosjekter

I evalueringen er det valgt ut 10 hovedprosjekter som er blitt nærmere analysert. Siden det å dokumentere resultater er et sentralt formål med midtveisevalueringen har vi valgt å vektlegge prosjekter som enten er avsluttet eller i avslutningsfasen. Videre har vi også tilstrebet bredde i forhold til sektor/bransje (vi har valgt prosjekter innenfor ulike bransjer), geografisk rekkevidde (vi har valgt både prosjekter som er konsentrert til ett geografisk avgrenset miljø og prosjekter som går over større geografiske områder), lokalisering av hovedaktivitet (vi har valgt prosjekter i ulike landsdeler) og modenhet (vi har inkludert prosjekter både i umodne/potensielle, og modne/operative klynger og nettverk). Følgende prosjekter ble på dette grunnlaget valgt ut (for en samlet oversikt over prosjektene i programmet se tabell 3.3):

Kunnskapsbyen Lillestrøm, Bluelight, Inno-tech, Marin Vest, Sjømatklyngen Nord, Bioklynge Nord, Bioinn, Innovasjon Midt-Norge, MiljøEnergi og Plastinnovasjon Østfold (de

annet vise konkrete eksempler på aktiviteter i prosjektene, resultater fra prosjektene og ulike erfaringer knyttet til gjennomføring av prosjektene. Intervjuguide for informantintervjuene er vedlagt (vedlegg 1).

Om vi skal vurdere mulige skjevheter i caseutvalget vårt i forhold til alle hovedprosjektene (som er eller blir gjennomført), har vi nok en liten overrepresentasjon i utvalget av cases under kategorien ”umodne/potensielle” klynger/nettverk vs. ”modne/operative”. Noe av bakgrunnen for dette er det første utvalgskriteriet vi satte opp, dvs. at casene burde være avsluttet eller i avslutningsfasen siden fokuset er mot resultater. Dette har gjort at vi i utvalget har fått med de fleste av programmets tidlige prosjekter, hvorav en betydelig andel av støtten den gang nettopp gikk til ”umodne” klynger og nettverk.

Spørreundersøkelse blant bedrifter tilknyttet regionale ARENA-prosjekter

Formålet med studien var først og fremst å undersøke i hvilken grad bedriftene opplevde at deltakelse i de regionale prosjektene bidro til i) å styrke bedriftenes nettverk og samarbeidsrelasjoner, og ii) styrke bedriftenes utviklings- og innovasjonsevne (dvs. resultater på aktørnivå). Vi ønsket også å få tilbakemelding fra bedriftene i forhold til hvordan de opplevde at gjennomføring av Arena-prosjektene bidro til å styrke relasjoner og samarbeid innenfor regionale og nasjonale nettverk (dvs. resultater på systemnivå). Videre har vi også målt deltakerenes tilfredshet med sine respektive prosjekter, og subjektiv sannsynlighet for at de, dersom de blir invitert, vil delta på tilsvarende prosjekter i fremtiden.

Siden formålet med spørreundersøkelsen var å avdekke tilfredshet med og resultater av deltakelse i Arena-prosjektene avgrenset vi oss til prosjekter som enten var avsluttet eller nærmet seg avslutning av den treårige hovedprosjektfasen. I utgangspunkt inkluderte vi da alle hovedprosjekter som var innvilget før november 2004 (16 hovedprosjekter). Vi valgte imidlertid å holde utenfor tre av prosjektene: Innovasjon Møre, Inno-tech og MiljøEnergi.

Innovasjon Møre var det første regionale prosjektet i Arena, og ble avsluttet allerede i 2003.

Vi antok at det derfor både ville være vanskelig å oppspore deltakende bedrifter og å innhente gode data fra disse bedriftene. Både fra Inno-tech og MiljøEnergi ble det uttrykt fra sentrale aktører i prosjektene at man så det som lite hensiktsmessig å gjennomføre en bedriftsundersøkelse i disse prosjektene. Begrunnelsen var for det første at prosjektene i liten grad profilerte seg direkte mot bedriftene, man jobbet istedenfor via etablerte nettverk og

institusjoner, derved kunne det være vanskelig for bedriftene å ha kjennskap til Arena-prosjektet. For det andre ville man unngå ytterligere rapporteringsbelastning for bedriftene.

Det at i bedriftene i noen tilfeller vil kunne ha noe begrenset kunnskap om selve Arena-prosjektet er en problemstilling som gjelder for flere av prosjektene. For å håndtere dette valgte vi å utforme spesifikke følgebrev for hvert enkelt regionalt prosjekt, hvor vi beskrev hvilken type aktiviteter det aktuelle Arena-prosjektet hadde iverksatt og på den måten få fram hvordan den aktuelle bedriften var koplet opp mot Arena-satsingen.

I de enkelte regionale prosjektene inngår både bedrifter, kunnskapsaktører (forsknings- og utdanningsinstitusjoner) og virkemiddelaktører. Det er i utgangspunktet kun bedriftene tilknyttet ARENA-prosjektene som er undersøkt i denne studien. Imidlertid er det i noen grad en glidende overgang mellom ”bedrifter” og ”kunnskapsaktører”. For det første opererer aktører som høyskoler og universiteter i økende grad i et kommersielt marked gjennom oppdragsforskning og lignende. For det andre kan kunnskapsaktører være involvert i bedriftssektoren gjennom spin-off bedrifter mv. Særlig for de tre prosjektene Kunnskapsbyen Lillestrøm, Bioinn og Bioklyngen Nord vil det være noen FoU-aktører som er definert som bedrifter i undersøkelsen.

I årsrapportene for de 13 prosjektene for 2005 (for Trepiloten årsrapporten for 2003) oppgis det at det til sammen er 427 bedrifter som deltar i disse prosjektene (se tabell 1.1). En deltakende bedrift defineres som en bedrift som ”regelmessig deltar i ulike aktiviteter og kjenner til Arena-prosjektet eller nettverk/organisasjoner som Arena-prosjektet arbeider gjennom” (jf. Årsrapport 2005). Med utgangspunkt i disse listene tok vi kontakt med de 13 prosjektene for å få oversendt navnet på de deltakende bedriftene, med respektive kontaktpersoner og kontaktinformasjon (adresse, telefon, e-post). Ifølge årsrapporten skal deltakende bedrifter kunne oppgis på forespørsel. Antall bedrifter i disse listene, som også er oppgitt i tabell 1.1, avviker for de fleste prosjektene med antallet oppgitt i årsrapportene.

Dette skyldes flere forhold, blant annet endringer i medlemsmasse fra rapporteringstidspunkt i 2005 til undersøkelsen ble gjennomført oktober-november 2006 og feil eller i noen tilfeller utilstrekkelig kontaktinformasjon for de aktuelle bedriftene. I en del tilfeller har prosjektlederne også vurdert det slik at bedrifter/kontaktpersoner ikke vil gjenkjenne prosjektet eller ikke anse seg som tilknyttet til prosjektet. Det er da lite hensiktsmessig å inkludere disse bedriftene i undersøkelsens populasjon. Det er særlig for de tre prosjektene

Innovativ Fjellturisme) at det er et vesentlig avvik mellom antall bedrifter i årsrapport og antall bedrifter i de oversendte listene.

Undersøkelsen er gjennomført ved hjelp av et strukturert spørreskjema (se vedlegg 2) som er sendt pr. e-post til nøkkelinformanter fra de enkelte bedriftene. For hvert enkelt prosjekt er det laget en egen introduksjonsmail som kort forklarer bakgrunnen for undersøkelsen. Foruten hovedutsending pr. e-post, er bedrifter som ikke svarte i første omgang purret i to runder, omkring 10 og 20 dager etter opprinnelig utsendelse. Vi mottok tilslutt svar fra 132 bedrifter.

Dette gir en svarprosent på 47 %, som vi anser som meget tilfredsstillende.

Tabell 1.1. Populasjon og svarprosent i bedriftsundersøkelsen

Prosjekt Antall bedrifter totalt (teoretisk definert

populasjon)

Antall bedrifter i tilsendte lister (justert populasjon)

Antall svar (%)

Marin Vest 74 27 8 (30 %)

Bioklynge Nord 18 23 14 (61 %)

Bluelight 25 34 17 (50 %)

Plastinnovasjon Østfold 13 9 4 (44 %)

Trepiloten 66 40 12 (30 %)

Kunnskapsbyen Lillestrøm 13 11 7 (64 %)

Sjømatklynge Nord 13 11 7 (64 %)

Arena Lettmetall 20 22 8 (36 %)

Innovativ Fjellturisme 100 28 16 (57 %)

Innovasjon Havbruk 35 28 17 (61 %)

MåltidsARENA 17 15 6 (40 %)

Innovasjon Midt-Norge 25 22 10 (45 %)

BioInn 8 8 6 (75 %)

SUM 427 278 132 (47 %)

Vi vil understreke at undersøkelsens representativitet kan diskuteres, både på grunn av at prosjektene i seg selv er veldig ulike og på grunn av at bedriftenes tilknytning til prosjektene varierer i betydelig grad. Undersøkelsen vil imidlertid gi indikasjoner på hvordan bedriftene opplevde deltakelsen i Arena-prosjektene eller aktivitet som støttes av Arena-prosjektet, og således være et supplement til de øvrige datakildene.