Masteroppgave 2021 30 stp Handelshøyskolen
Et studie av metoder for analyse av boligpriser: Fordeler og ulemper ved bruk av metodene paneldata, tidsserie og prediksjon med
regresjonsalgoritmer, for analyse av boligpriser.
An empirical study of methods for analyzing house prices in Oslo
Jacob Haanes Hessen & Øyvind Sveen
Forord
Denne masteroppgaven er det avsluttende, selvstendige arbeidet i masterstudiet økonomi og administrasjon ved Handelshøyskolen på Norges miljø- og biovitenskaplige universitet (NMBU). Oppgaven utgjør 30 studiepoeng innenfor vår mastergrad med spesialisering i Business Analytics.
I løpet av vår tid på NMBU har vi begge fattet interesse for dataanalyse, og har i denne studien utforsket forskjellige metoder for boligprisanalyse. Dette har til dels vært svært krevende, men samtidig utrolig lærerikt. Vi har begge opparbeidet oss interessant og relevant kunnskap og kompetanse vi kommer til å dra nytte av i arbeidslivet.
Vi ønsker å benytte anledningen til å takke alle som har hjulpet oss. Vi ønsker å takke vår veileder Eirik Romstad, som har vært en viktig støttespiller og bidratt med inspirerende ord og konstruktive tilbakemeldinger. Videre ønsker vi å rette en takk til Eiendomsverdi AS for tilgang på datasettet oppgaven bygger analysene på. Avslutningsvis takker vi venner og familie som har holdt ut med oss og bidratt med støtte og motivasjon, takk spesielt til Helen Haanes og Juni Lende for gode tilbakemeldinger.
Ås, august 2021.
Norges miljø- og biovitenskaplige universitet Jacob Haanes Hessen og Øyvind Sveen
Sammendrag
Denne masteroppgaven undersøker tre forskjellige metoder for boligprisanalyse, der
formålet er å utforske metodenes fordeler og ulemper. Da boligprisene i Oslo har steget mye og gjort det vanskelig for førstegangskjøpere å innta markedet, bruker studien typiske
førstegangskjøperboliger som avgrensing i analysene. Metodene vi bruker er
paneldataanalyse, tidsrekkeanalyse og prediksjon med regresjonsalgoritmer i maskinlæring.
Alle analysene bruker et datasett med boligtransaksjoner i Oslo fra 2010-2020, som også inneholder attributter som beskriver hver solgte bolig.
I paneldataanalysen bruker vi en fast effekt-modell, som analyserer månedlig
gjennomsnittlig kvadratmeterpris for Oslos 15 bydeler. Med få og nøye utvalgte uavhengige variabler kan vi trekke frem hvordan disse har en fast effekt på gjennomsnittlig
kvadratmeterpris. Resultatene viser at økning i boliglånsrenten har en effekt som reduserer kvadratmeterprisen. Videre ser vi at antall kvadratmeter har en negativ effekt, som vil si at man betaler mer per kvadratmeter for mindre boliger. Vi ser også at betydningen av å ha et adskilt soverom i førstegangskjøperboliger, hever kvadratmeterprisen.
I tidsrekkeanalysen tester vi ut en SARIMA-modell, som predikerer gjennomsnittlig kvadratmeterpris i Oslo aggregert på månedsnivå. Her tester vi ut to modeller som predikerer på data vi allerede har. Resultatene her gir lovende resultater som vi videre bruker i en prognosemodell. Prognosen vi lager er på 1,5 år frem i tid, og viser at
kvadratmeterprisene kommer til å øke mye. SARIMA-modellen vår gir gode resultater, men har svakheter når det kommer til starttidspunkt for prediksjon. Modellen ser ut til å følge trenden til datapunktene rundt starttidspunktet.
Til sist ser vi på hvordan maskinlæring kan benyttes til å predikere boligpriser ved hjelp av tre-baserte regresjonsalgoritmer. Her ser vi på hvor nærme faktisk kvadratmeterpris modellen estimerer, gitt ett utvalg variabler som beskriver hver boligenhet samt
boliglånsrente. Vi tester modellene Decision Trees, Random Forest og Extreme Gradient Boosting. Her oppnår sistnevnte best resultater med en RMSE på 3561,03. Videre benytter vi modellens funksjon som heter «Feature Importance» som et forsøk i å forklare hvordan modellen vekter variablene i prediksjonen.
Hovedkonklusjonen fra denne studien er at metodene har både fordeler og ulemper.
Metodene er vanskelige å sammenligne da de har forskjellige formål, men samlet belyser de ulike deler som er nyttige for førstegangskjøpere på jakt etter bolig.
Abstract:
This thesis investigates three different methods for analyzing house prices. The aim is to explore which pros and cons the methods have, and how they contribute to analyzing the real estate market in Oslo. House prices has grown rapidly the ten last years, and smaller dwellings for a typical first-time buyer have become far more expensive than most can afford. Therefore, this thesis uses typical first-time buyer dwellings as a limitation in the analysis. The methods used are fixed effects in a panel data analysis, the univariate time- series model SARIMA, and prediction with the machine learning algorithms Decision Trees, Random Forest and Extreme Gradient Boosting. The three analysis methods use a dataset of transacted properties in Oslo form 2010-2020. The dataset contains attributes which
describes each unit sold.
The fixed effects-model in panel data has an advantage in explaining why the average square meter prices varies. The panel data analysis investigates the 15 districts of Oslo as cross- sections and months as the time series. Results here show that an increase in mortgage rate, reduce the average square meter price and vice versa. Further on the analysis shows that smaller dwellings have a higher price per square meter, and that having a bedroom increases the square meter price.
The time-series analysis with SARIMA makes two predictions with in-sample data that produces promising results which we use in an out of-sample forecast 1,5 years ahead in time. The results shows that the SARIMA-model can produce good predictions, but that the model has weaknesses when it comes to the starting point of the prediction. If the
datapoints around the starting point has a clear trend the models seem to follow this trend.
In the machine learning analysis, we predict the actual square meter price based on each dwelling´s attributes and the mortgage rate at the selling point. The XGBoost algorithm produced the best prediction with an RMSE of 3561,03. Further on we use XGBoost feature importance in an attempt to understand how the model weights the attributes in its
predictions.
The main conclusion drawn from this thesis is that each method has its pros and cons. The panel data analysis is useful in explaining what causes price differences. The time-series analysis is useful in forecasting prices in the future and understanding historical and seasonal variations of the price. And the prediction with machine learning is useful in predicting house prices with high precision but lacks insight in how and why the variables influence the price.
The methods cannot be compared directly because of their different perspectives, but all their purposes are all useful for first-time buyers.
Innholdsfortegnelse
Forord ... 2
Sammendrag ... 3
Abstract: ... 5
1. Innledning ... 13
1.1 Bakgrunn for studien ... 14
1.1.1 Den norske boligmodellen ... 14
1.1.2 Boligprisutvikling i Oslo ... 15
1.2 Boligmarkedet – hva bestemmer boligpriser og hva driver prisene? ... 16
1.3 Formålet med studien ... 17
1.5 Avgrensninger ... 19
1.6 Struktur ... 20
2. Teori og litteratur ... 21
2.1 Hedonisk pris modell ... 21
2.2. Litteraturgjennomgang ... 21
3. Data ... 24
3.1 Primær og sekundærdata ... 24
3.1.1 Avgrensinger og endringer i primærdatasettet ... 25
3.2 Datastruktur ... 27
3.2.1 Datastruktur for paneldata-analyse ... 27
3.2.2 Struktur for tidsserie-analyse ... 28
3.2.3 Datastruktur for prediksjonsanalyse med maskinlæring ... 28
3.3 Avhengig variabel ... 29
3.3.1 Paneldata ... 30
3.3.2 Tidsserie ... 30
3.3.3 Maskinlæring ... 30
3.4. Uavhengige variabler ... 30
3.4.1 Uavhengige variabler i paneldata-analysen ... 30
3.4.2 Uavhengige variabler i prediksjonsanalysen med maskinlæring ... 32
4. Metode ... 35
4.1 Introduksjon ... 35
4.1.1 Forskjeller mellom maskinlæring og statistiske metoder ... 35
4.2 Paneldatametode og teoretisk modell ... 35
4.2.1 Paneldata-modeller ... 37
4.2.2 Fixed effects estimator ... 37
4.2.3 Random-Effects Estimator ... 38
4.2.4 Hausman test for fixed eller random-effects ... 39
4.2.5 Den økonometriske paneldata-modellen ... 39
4.3 Metode for tidsserieanalyse med SARIMA ... 40
4.3.1 Test for stasjonæritet ... 41
4.3.2 Autoregressive (AR) modeller ... 41
4.3.3 Moving Average (MA) ... 42
4.3.4 Seasonal autoregressive integrated moving average (SARIMA) ... 42
4.4 Fremgangsmåte for prediksjon med maskinlæring ... 43
4.4.1. Overvåket og ikke-overvåket læring ... 44
4.4.2. Trening og testdata ... 45
4.4.3 Avveining mellom forventningsforskyving og varians ... 46
4.4.4. Kryssvalidering ... 48
4.4.5 Forarbeid før prediksjon ... 49
4.4.6 Algoritmer ... 50
4.4.7 Ytelse og måltall for vurdering av presisjon ... 54
5. Resultater ... 56
5.1 Paneldataresultater ... 56
5.1.1 Sammendragsstatistikk ... 56
5.1.2 Visualiseringer for paneldataanalysen ... 58
5.1.2 Paneldata-resultater ... 60
5.2 Resultater fra tidsserieanalysen ... 64
5.2.1 Valg av parameter basert på ACF, PACF-plots og grid search ... 66
5.3 Resultater fra prediksjonsanalysen med regresjonsalgoritmer ... 70
5.3.1 Maskinlæringsresultater ... 70
5.3.2 Feature importance ... 71
6. Diskusjon ... 73
6.1. Diskusjon av paneldata resultater ... 73
6.1.1 Svakheter ved paneldataanalysen og forslag til videre forskning ... 75
6.2 Diskusjon av tidsserieanalyse ... 76
6.2.1 Svakheter i tidsserieanalysen og anbefalinger for videre studier ... 77
6.3 Diskusjon av maskinlæringsanalysen ... 79
6.3.1 Svakheter i maskinlæringsanalysen og anbefalinger for videre forskning ... 81
7. Konklusjon ... 83
8. Referanseliste ... 85
9. Vedlegg ... 93
9.1 Behandling av manglende verdier og data i primærdatasettet ... 93
9.2 Interpolering og partiell-analyse av styringsrente og boliglånsrente ... 94
9.3 Boliglånsforskrifter ... 95
9.4 Tidsserieanalyse resultater og tester ... 97
Augmented Dickey-Fuller tester ... 97
9.7 SARIMA-prognoseresultater ... 98
Liste med figurer
Figur 3. 1 Struktur for datakapittel ... 24
Figur 4. 1 Fremgangsmåte i maskinlæring ... 44
Figur 4. 2 Trening, optimisme og faktisk prediksjonsfeil ... 47
Figur 4. 3 Grafisk illustrasjon av hvordan bias og varians bidrar til å finne skjæringspunktet for optimal kompleksitet. (Fortmann, R. S., 2012b) ... 48
Figur 4. 4 Grafisk illustrasjon av hvordan bias og varians påvirker prediksjon. (Fortmann, R. S., 2012b) ... 48
Figur 5. 1 Heterogenitet på tvers av bydelene ... 58
Figur 5. 2 Heterogenitet over måneder og år ... 58
Figur 5. 3 Renteutvikling ... 58
Figur 5. 4 Gjennomsnittlig kvadratmeterprisutvikling ... 58
Figur 5. 5 Gjennomsnittlig kvadratmeterprisutvikling for hver bydel ... 59
Figur 5. 6 Kvadratmeterprisens trend og sesongvariasjoner ... 65
Figur 5. 7 Diagnose plott for SARIMA-modellen ... 66
Figur 5. 8 One-step ahead prediksjon ... 68
Figur 5. 9 Dynamisk prediksjon ... 69
Figur 5. 10 Dynamisk prognose fra 1.1.21-1.6.22 ... 70
Figur 5. 11 Feature Importance ... 72
Liste med tabeller:
Tabell 3. 1 Endelige datavariabler ... 27
Tabell 5. 1 Sammendragsstatistikk for paneldata ... 56
Tabell 5. 2 Paneldataresultater for hovedmodell ... 62
Tabell 5. 3 Paneldataresultater for alternativ modell ... 64
Tabell 5. 4 SARIMA-resultater ... 67
Tabell 5. 5 Maskinlæringsresultater ... 71
Tabell 9. 1 Justeringer og endringer i datasett ... 94
Tabell 9. 2 SARIMA-prognoseresultater ... 98
1. Innledning
Boligprisene i Oslo har økt kraftig de siste ti årene (Oslo kommune, u.å.). Dette gjør
vurderinger som må tas ved et boligkjøp stadig viktigere. Boligprisstatistikk og prisprognoser er vesentlige planleggingsverktøy når en skal investere i bolig (SSB.no, 2019a). Forventninger og endringer i makroøkonomiske forhold som styringsrente og boligrente, o.l, er med på å bestemme hvordan befolkningen velger å bruke penger. Her trekker SSB frem betydningen av statistikker for prisutvikling på boliger. Etter finanskrisen i 2008 anmodet EU om at boligprisindekser skulle være en av hovedindikatorene for å varsle om makroøkonomisk ubalanse (SSB.no, 2017).
Norge har i mange år hatt en boligpolitikk der det å eie sin egen bolig har vært høyt
prioritert. Tall fra SSB viser at unge nordmenn flytter tidligere hjemmefra enn i andre land i Europa, og i større grad eier egen bolig. Siden boligprisene har økt de siste ti årene, har det blitt vanskeligere for førstegangskjøpere å komme seg inn på markedet. SSB beskriver at færre unge kjøper bolig og at andelen av unge eiere synker i Oslo (SSB.no, 2019c). En analyse gjort av NBBL viser at single førstegangskjøpere mellom 25-39 år i perioden mellom 2015- 2019 kun hadde råd til 5,9% av solgte boliger i Oslo (NBBL, 2020).
Aktører som SSB og Eiendom Norge gir årlig og månedlig ut prisstatistikk og indekser for boligpriser. Disse statistikkene er viktige for befolkningen da nordmenn har den største andelen av formuen sin i bolig (SSB.no, 2019b). Der disse statistikkene ofte beskriver gjennomsnittlige priser for alle boliger, analyserer vi i denne studien typiske boliger for førstegangskjøpere.
Med utgangspunkt i et stort datasett basert på boligtransaksjoner i Oslo og omegn fra 2010- 2020, utarbeidet av Eiendomsverdi, så vi som førstegangskjøpere en gylden mulighet til å prøve ut forskjellige metoder for å analysere boligpriser. Først undersøker vi om
paneldataanalyse kan gi innsikt i hvordan kvadratmeterprisen har utviklet seg, og om det finnes faste effekter. Videre benytter vi oss av tidsrekkeanalyse med gjennomsnittlig kvadratmeterpris som eneste variabel. Før vi til sist undersøker prediksjon av
kvadratmeterpris med bruk av regresjonsalgoritmer i maskinlæring.
1.1 Bakgrunn for studien 1.1.1 Den norske boligmodellen
I Norge eier en stor andel av befolkningen sin egen bolig. Dette har i stor grad sammenheng med boligpolitikken og den norske boligmodellen som strekker seg tilbake til 1920-tallet (Benedictow, A., 2020a). Den norske boligmodellen har som formål at alle som ønsker det skal få eie egen bolig, og være en del av eierlinjen. Tall fra SSB viser at 82,1% av nordmenn eier sin egen bolig, og at mer enn 90 % blir eiere av sin egen bolig i løpet av livet (SSB, u.å.).
Den høye andelen av selveiere er et særtrekk for Norge, i forhold til våre naboland. Den høye boligeierandelen er et velferdsgode som innebærer en demokratisering av eierskap i samfunnet. Selveie er også en gunstig spareform, med skattefradrags for gjeldsrenter, lav formueskatt og fraværende gevinstbeskatning ved salg av primærbolig (Eiendom Norge, u.å.a).
Nordmenns viktigste eiendel er altså boligen, som for mange representerer den eneste form for sparing. Tall fra SSB viser at boligformuen var den største formueskomponenten hos nordmenn i 2016 og utgjorde 71% av bruttoformuen (SSB.no, 2018). Nordmenn er også verdensledende når det kommer til oppussing og hjeminnredning målt i utgifter i per innbygger (Forskning.no, 2019). Boligmarkedet og boligpriser har derfor høy interesse hos nordmenn, der avisoverskrifter månedlig bringer nyheter om boligstatistikker og høye prissvingninger. Prisene har i de siste årene gått kraftig opp, noe som er med på å skape usikkerhet. Dette gjelder særlig de som ikke har tilstrekkelig inntekt og tilgang på kapital, men har også betydning for konsumbeslutningen og den personlige økonomien til folk flest.
Den høye andelen av boligeiere gjør derfor norsk økonomi følsom for endringer i boligpriser og gjør at boligeierne er en særdeles viktig kraft og pådriver i norsk økonomi.
Som det fremgår ovenfor, er ikke alle omfattet av den norske boligmodellen. Det er viktig at det også opprettholdes et velfungerende utleiemarked. Dette er av betydning for
mobiliteten i arbeidsmarkedet, og tar hensyn til folks ulike behov og at folk lever ulike liv (Benedictow, A. et al., 2020b).
1.1.2 Boligprisutvikling i Oslo
I de siste årene har blitt vanskeligere for førstegangskjøpere å komme seg inn på
boligmarkedet. Dette skyldes prisstigning kombinert med at boliglånsforskrifter har satt et tak på hvor mye man får låne, ut ifra hvor «rik» man er. I 2015 ble egenkapitalkravet oppjuster fra 10% til 15% som et resultat av høy kredittvekst etter en periode med lave renter etter finanskrisen i 2008. Dette for å redusere kredittrisiko i norsk økonomi (Boliglånsforskriften 1. januar 2020–31. desember, 2020), se vedlegg. Særlig i Oslo har boligkjøperkraften for unge blitt svekket (SSB.no, 2019c).
I 2016 steg boligprisene i Oslo med 26%. Denne utviklingen kom av lave renter grunnet oljeprisfall, samt et begrenset antall boliger på markedet (Rydne, N. og Alsberg, O., 2020). Et resultat av dette var ytterligere boliglånsforskrifter i 2017 med etterfølgende nedgang i boligprisene. Etter denne nedgangen har man sett en økning fra 2018. 2019 bød på moderat økning og koronaåret 2020 hadde rekordmange førstegangskjøpere og økende boligpriser i Oslo. Skulle denne prisveksten fortsette, vil det innebære en stadig vanskeligere situasjon for førstegangskjøperne.
De som da faller utenfor, og ikke får kjøpt bolig vil ikke kunne dra nytte av de norske skattesubsidiene for boligeiere. Forskning viser at land med høyere andel boligeiere har mindre ulikhet og en jevnere fordeling av formuesgoder. Eie av egen bolig viser seg også å ha positiv effekt på boligeierens egen sparing, samt deltakelse i arbeidslivet og produktivitet (Sodini, et al., 2021). SSB har også fremhevet at boligformue er med på å
redusere formueforskjellene (SSB.no, 2018).
Det økte presset i Oslos boligmarked danner bakgrunnen for denne studien. Oslo er et populært sted å bo, og de mest sentrale delene er i ferd med å bli for dyre for
førstegangskjøpere. Denne kjøpergruppen omfatter unge, til dels nyutdannede mennesker som er av stor betydning for verdiskapning og produktivitet i næringslivet. Vi ser det som nyttig i denne studien å bruke førstegangskjøperen som utgangspunkt for vår analyse. Vi undersøker hvordan ulike metoder kan brukes til boligprisanalyse og sammenligner deres fordeler og ulemper.
Med dagens tilgang på store mengder data og stadig mer oppmerksomhet rundt bruk av maskinlæring, så vi dessuten en gylden mulighet til å tilegne oss relevant kunnskap og bidra til evaluering av boligprisanalyse.
1.2 Boligmarkedet – hva bestemmer boligpriser og hva driver prisene?
I en artikkel i Samfunnsspeilet 2004 (Røed Larsen & Sommervoll, 2004) gjøres en analyse av hva som bestemmer boligpriser. Det konkluderes med at boligpriser settes av en
kombinasjon av tilbud og etterspørsel, som påvirkes av realøkonomiens rammer i dag og forventninger til fremtiden. Det understrekes hvordan renter, lønnsnivå og arbeidsledighet har betydning, men også at pessimisme og optimisme har påvirkning på prisutviklingen gjennom forventningskanaler hos banker og husholdninger. Videre fremheves store
underliggende endringer i samfunnets struktur. Her nevnes sosioøkonomiske og sosiologiske faktorer som urbanisering, innvandring, familiemønstre, alderssammensetning o.l, som slår ut og påvirker boligmarkedet. Eksempelvis kan prisene på små ettromsleiligheter drives opp av studentinnflytting, småinvestorer som plasserer sparepenger i et marked med høy avkasting, men også av sosiologiske faktorer som høyere frekvens av samlivsbrudd og skilsmisser. Disse eksemplene har en effekt som øker den totale etterspørselen etter mindre leiligheter og kan påvirke prisen.
Ifølge mikroøkonomisk teori bestemmes boligmarkedet i stor grad av tilbud og etterspørsel.
Veksten av boligpriser vi nå ser i Oslo er en effekt av at mange vil bo der (økt etterspørsel), samtidig som det er begrensninger i antall nye boliger (begrenset tilbud). Dette presser prisene opp. Eiendomsverdis «sykepleierindeks» illustrerer dette godt. Indeksen viser at single nyutdannede sykepleiere har råd til 3% av boligene i Oslo (Eiendomsverdi, 2019).
For å bremse denne utviklingen sier forskningssjef Erling Røed Larsen på Housing Lab ved OsloMet at «Hvis det bygges mer, blir kampen om boligene svekket.». Her har Housing Lab gjort beregninger som viser at dersom 10 000 boliger bygges i Oslo, og renter og inntekt holdes likt, vil boligprisene falle med 10%, noe som vil medføre at flere førstegangskjøpere for kjøpt bolig (OsloMet, 2020).
1.3 Formålet med studien
Formålet med denne masteroppgaven er å undersøke hvordan forskjellige metoder kan benyttes i boligprisanalyse. Siden metodene vi tester har forskjellige formål, ønsker vi å se hvilke fordeler og ulemper de har for boligprisanalyse. Vi ønsker å presisere at studiet har som formål å vise hvilken nytte data generert gjennom disse metodene kan ha for
førstegangskjøpere. Vi har derfor tatt utgangspunkt i enkle modeller og fremgangsmåter.
For å undersøke hva som driver boligprisene, har vi benyttet oss av univariat tidsserie- analyse og paneldata-analyse. Styringsrenten er nå i 2021 særdeles lav, og vil holde seg lav i en periode etter pandemien er over. Selv om det er tegn til bedring i norsk økonomi, er denne bedringen sannsynligvis følsom for nye eksogene sjokk som f.eks. at Covid-19 viruset muterer og kan forlenge restriksjonene i norsk økonomi eller globalt. Boligmarkedet ser imidlertid ikke ut til å være særlig påvirket av denne usikre fremtiden, med rekordmange førstegangskjøpere og høye priser i 2021.
De valgte metodene i dette studiet har forskjellig tilnærming og ulike mål når det kommer til resultater og kan ikke direkte sammenlignes. Vi ønsker imidlertid å besvare i hvilke
sammenhenger de forskjellige metodene er hensiktsmessige å bruke, og hva slags og innsikt de kan gi. Problemstillingen i studien vår er derfor:
Hvilke fordeler og ulemper har metodene paneldata, tidsserie og prediksjon med regresjonsalgoritmer, for analyse av boligpriser?
I tillegg til hovedproblemstillingen har vi noen delspørsmål og hypoteser som vi også ønsker å undersøke og besvare i løpet av studie.
Delspørsmål:
• I hvilken grad gir prediksjon med regresjonsalgoritmer innsikt i hva som driver kvadratmeterprisen?
• Hvilke utslagsgivende nøkkelvariabler finnes for boligpriser, og hvordan påvirker disse prisene?
• I hvilken grad gir tidsseriemodeller innsikt i kvadratmeterprisutviklingen?
• Hvilken verdi vil de tre metodevalgene gi samlet?
Hypoteser:
• Prediksjon med regresjonsalgoritmer vil gi presise og gode prediksjoner, men lite innsikt i hva som driver kvadratmeterprisen.
• Sentralitet og boliglånsrente vil i hovedsak være de nøkkelvariablene som har størst påvirkning på kvadratmeterprisutviklingen.
• Tidsseriemodellene vil gi en prognose for kvadratmeterprisen, men ingenting utover det.
• De tre metodene vil gi egne resultater, som samlet vil kunne gi et bedre overblikk over prisutviklingen.
For å kunne besvare problemstillingene vil vi benytte paneldataanalyse for å undersøke hvordan kvadratmeterprisen har utviklet seg på tvers av bydeler over tid. Her bruker vi noen få og nøye utvalgte uavhengige variabler for å se hvordan de påvirker boligprisene.
I tidsserieanalysen bruker vi en SARIMA-modell, hvor formålet er å predikere prisutviklingen med høyest mulig treffsikkerhet, samt gi innsyn i kvadratmeterprisens sesongvariasjoner.
Videre bruker vi regresjonsalgoritmer i maskinlæring for å predikere kvadratmeterpris på førstegangskjøperboliger. Maskinlæringsmodellen har som formål å predikere
kvadratmeterpris med lavest mulig feilmargin. Dette er en fremgangsmåte som står i sterk kontrast til paneldata der vi antar bydelsmessige forskjeller. SARIMA modeller og
maskinlæring skiller seg fra paneldata ved at man her får mindre innsikt i hvilke variabler som påvirker prisen og hvordan disse variablene påvirker boligprisene.
På en måte er univariate tidsrekkemodeller en forløper til maskinlæring ved at disse modellene bruker autokorrelasjonsfunksjoner og partielle autokorrelasjonsfunksjoner til å avdekke systematiske trekk i den avhengige variabelen over tid.
Med økende datakraft og datasett med mange variabler utnytter ikke klassisk
tidsrekkeanalysene mulighetene i nye data. En fordel med maskinlæring er dens evne til å se ikke-lineære sammenhenger i data og gi mindre feilmargin, sammenlignet med
tradisjonell statistisk modellering (Mullainathan, S., & Spiess, J. ,2017). Ulempen er at man får mindre forståelse for den datagenererende prosessen (i tilfellet vårt boligmarkedet) og hvordan de ulike elementene påvirker prisen. Her bruker vi «Feature Importance» i
XGBoost-modellen for å trekke frem hvilke variabler algoritmen vekter som viktigst.
1.5 Avgrensninger
Studiet begrenser seg til førstegangskjøpere i Oslo. Denne kjøpergruppen er mye omtalt i medier og forskning. Blant annet lagde NRK (2021) en kalkulator med fokus på
førstegangskjøpere, som beregner hvor og hvilke boliger en har råd til basert på inntekt, gjeld og egenkapital. Førstegangskjøpere er en prissensitiv kjøpergruppe som i hovedsak består av yngre mennesker med relativt lav lønn og lite egenkapital. Denne gruppen frigjør ikke annen bolig ved kjøp, og må derfor låne penger. I rapporten Boliglånsundersøkelse (Finanstilsynet, 2020) kan man se at 49% førstegangskjøpere hadde belåningsgrad på 80- 85% og 19% av dem hadde over 85% belåningsgrad. Dette gjør førstegangskjøpere sensitive til endringer i boliglånsrenter.
Som tidligere nevnt har boligprisene hatt en enorm vekst i hovedstaden, der
førstegangskjøpere med gjennomsnittlig tilgang på kapital ser ut til å bli drevet ut hvis boligprisutviklingen fortsetter. Førstegangskjøpere betraktes i dette studiet som de som kjøper bolig som er opptil 65kvm. Vi setter en avgrensing på 65kvm fordi boliger som er større enn dette er dyrere enn hva en typisk førstegangskjøper har råd til. Denne avgrensningen gir oss også et solid datagrunnlag med over 100 000 observasjoner.
Videre avgrenser vi oss til å analysere tidsperioden 2010-2020. Denne perioden starter der boligprisveksten så ut til å stabilisere seg i positiv retning etter finanskrisene med negativ
vekst i 2008 og lav vekst i 2009. Siden har prisene økt jevnt, med rekordåret i 2016 og store prisendringer i 2020. Tidsperioden tar også med seg endinger i boliglånsrenter og
boliglånsforskrifter. Da denne tidsperioden inneholder flere perioder med unormale prissvingninger, mener vi at dette er et godt utgangspunkt for analyse.
I forhold til metoder vi bruker, vil vi her presiserer avgrensinger. Siden vi foretar flere
analyser, har vi holdt analysene relativt simple. I paneldataanalysen bruker vi en fixed effects modell med få forklaringsvariabler. Innenfor tidsserieanalyse finnes det flere modeller og metoder. Vi velger å bruke en SARIMA-modell til å predikere kvadratmeterpris. Valget faller på denne modellen grunnet dens popularitet og simpelhet. Her validerer vi
prediksjonsresultatene opp mot de faktiske tallene, for videre og presenterer en prognose med horisont på 1,5 år.
I maskinlæringsanalysen benytter vi tre modeller. Vi velger å holde oss til Decision Trees, Random Forest og Extreme Gradient Boosting. Disse modellene tilhører de populære tre- baserte modellene, og egner seg godt for å predikere ikke-lineære forhold basert på «hvis- så»-regler. Valget av de tre generelle modellen er gjort på grunnlag av erfaringer fra tidligere studier og modellenes popularitet i prediksjonsarbeid. Vårt fokus i analysen vil være
modellenes evne til å predikere med høy presisjon. At vi velger å sette søkelys på disse modellene utelukker ikke at det finnes andre modeller, typer og varianter som kan predikere mer presist.
1.6 Struktur
Studiet har som formål å vise fordeler og ulemper ved ulike metoder og tilnærminger for datanalyse av boligpriser, avhengig av hva man ønsker å analysere. Med dataanalyse av boligdata ønsker vi å formidle metodenes styrker og svakheter, samt se hvordan de sammen kan gi et bredere bilde av situasjonen.
I kapittel 2 gjennomgås tidligere litteratur om boligprisanalyser med fokus på maskinlæring. I kapittel 3 gjennomgås datagrunnlaget for de tre analysene. I kapittel 4 presenteres metode.
I kapittel 5 presenteres resultater fra analysene. I kapittel 6 diskuterer vi resultatene, svakheter ved studien og anbefalinger til videre forskning, før vi konkluderer i kapittel 7.
2. Teori og litteratur
2.1 Hedonisk pris modell
I prediksjonsanalysen med maskinlæring er formålet at modellene predikerer
kvadratmeterprisen til boliger. Her bruker modellene datavariabler som i hovedsak beskriver interne og eksterne faktorer ved boligene. Vi presenterer derfor teorien rundt en hedonisk pris modell.
Hedoniske prismodeller har som formål å verdsette boliger, med statistiske
regresjonsmodeller. Anvendelsen av modellen brukes til å verdsette prisen på boliger med eksterne og interne faktorer som kan beskrive prisen. Der interne faktorer er attributter som beskriver boligen og tomten til boligen. Dette kan for eksempel være størrelsen, antall soverom og boligens tilstandsgrad. De eksterne faktorene er attributter som beskriver boligens beliggenhet, som for eksempel nabolag, nærliggende fasiliteter og kollektive knutepunkter. Her estimeres koeffisienter av hver interne og eksterne faktor til en pris, som samlet utgjør boligens markedspris. Denne metoden brukes av eiendomsmeglere og av Eiendom Norge. Prediksjonsanalysen vår bygges opp på en lignende måte, men vi får ikke innsyn i verdivurdering av hver enkelt faktor.
2.2. Litteraturgjennomgang
Der tidsserie og paneldata allerede er velkjente metoder for boligprisanalyse fokuserer vi i litteraturgjennomgangen på bruk av maskinlæring til boligpris prediksjon. Vi ser at
litteraturen rundt maskinlæring for boligpriser er voksende internasjonalt. Prediksjon ved hjelp av maskinlæring har liten utbredelse innen norske studier, men det foreligger konsensus om at maskinlæringsmodeller fanger opp ikke-lineære skjulte sammenhenger mellom variablene i større grad enn tradisjonell lineær regresjon.
I en artikkel fra 2017 undersøker Mullainathan & Spiess hvordan maskinlæring kan brukes i økonometriske sammenhenger. Det poengteres at maskinlæring ikke bare gir økonometri nye verktøy, men at det løser andre problemer i den økonometriske verktøykassen.
Maskinlæring har evnen til å se generaliserbare mønstre og oppdage komplekse strukturer
som ikke var spesifisert på forhånd. Den klarer å tilpasse komplekse og veldig fleksible funksjonelle former til dataen, uten «overestimering». Den finner en funksjon som fungerer bra på dataen uten, å ha sett dataen. Videre fremheves hva maskinlæring kan brukes til. Der økonomiske fremgangsmåter ofte er ute etter parameter estimering av parameter 𝛽 som beskriver sammenhengen mellom y og x, er ikke dette hensikten med maskinlæring. Her poengteres det at maskinlæring ligger i den delen av verktøykassen som er markert med 𝑌#
og ikke 𝛽$ (Mullainathan, S., & Spiess, J., 2017).
I en studie gjort av Li et al. (2021), bruker de en hedonisk prismodell (HPM) med multippel lineær regresjon (MLR), mot en modell der de bruker Extreme Gradient Boosting (XGB) algoritmen. De bruker XGB ettersomn den hendoniske prismodellen har begrensinger m.h.p.
å finne ikke lineære sammenhenger og skille viktigheten av innflytelsesrike faktorer. Studien er gjort for å verdsette innflytelsesrike faktorer som har påvirkning boligmarkedet i byen Shenzhen. Ved å bruke «Feature Importance» i XGB trekker de frem variabler som modellen vekter som viktige. Her finner de at avstand til sentrum, utsikt mot grøntarealer,
befolkningstetthet, eiendomsforvaltningsgebyr og økonomisk nivå er de viktigste variablene for prising av boliger i Shenzen.
For å lage prediksjoner av boligprisene startet man tidlig med Artificial Neural Network (ANN). Wilson et al. (2002) så på forskjellen mellom vanlig lineær regresjon på tidsserier og ikke-lineær regresjon ved hjelp av ANN. Forsøket deres viste at ANN kan benyttes til å produsere prognoser med en feilmargin på 3,9 %. Videre viste de at man ved hjelp av en såkalt Gamma test kan tilnærme seg ANN prosessen på en enklere måte. Her benytter man seg av Mean Square Error (MSE) og finner en jevn underliggende modell. Studiet viste at man ved hjelp av ANN kan lage prognoser som er mer nøyaktige.
Lignende studier har blitt gjort med andre former for ANN. Chen et al. (2017)
benyttet et Recurrent Neural Network (RNN) kalt Long Short Time Memory (LSTM) til å predikere gjennomsnittlig boligpriser to måneder frem i tid basert på priser i Beijing mellom 2004 og oktober 2016. De benyttet seg av ulike LSTM metoder og sammenlignet mot en tradisjonell Autoregressive Integrated Mowing Average (ARIMA) modell. De fant at LSTM generelt ga bedre prediksjoner enn ARIMA modellen, MSE var 90 % lavere. Problemet i studiet var at datasettet var lite og av begrenset kvalitet. Dette er et problem med ANN da
man er avhengig av tilgang på store mengder data for å lage gode prediksjoner. I tillegg har de ikke fått utnyttet potensialet til det dype neurale nettet da de lagde en stacked LSTM.
Dette kan man se på resultatet da de fikk lignende prediksjoner for denne som en vanlig LSTM. Forskjellen mellom stacked og vanlig er antallet skjulte lag. Stacked LSTM har flere skjulte lag. Det er dokumentert i litteraturen at RNN gir bedre og mer presise prediksjoner.
Feng og Jones (2015) tar for seg hvordan beliggenhet og nabolag påvirker boligens verdi. For å se på dette sammenligner de Multilevel Modelling (MLM) og ANN. Disse modellene settes opp mot en Hedonic Price Model (HPM). Funnene fra studiet viser at man får en bedre prediksjon ved å benytte seg av MLM da denne modellen bedre tar høyde for de underliggende faktorene i datasettet.
Random forest (RF) har blitt benyttet i stor grad for å predikere prisen på boliger. Wang &
Wu (2018) viste at man kan predikere prisen på en bolig med større presisjon ved hjelp av RF enn lineær regresjon. Studiet deres undersøkte få variabler, og man får derfor en relativt lav 𝑅!. Vårt datasett inneholder lignende variabler og studiet er derfor relevant for oss da det viser at RF kan produsere gode prediksjoner.
En samlestudie av Milunovich (2019) tar for seg den australske boligprisindeksen. Studiet forsøker å predikere indeksen 1, 2, 4 og 8 kvartaler frem i tid. Formålet med studiet er å sammenligne flere ulike former for maskinlæring opp mot en
random walk benchmark. Studiet konkluderer med at det ved predikering med kort tidshorisont kan lønne seg med en lineær modell, mens det ved lengre tidshorisonter kan lønne seg med ikke-lineær prediksjon. Fordelene med prediksjon blir mindre jo lengre
tidshorisonten er, ved 8. kvartal gjør ikke prediksjonen det bedre enn benchmark. En ulempe ved studiet er at de ikke har optimalisert modellene i noen særlig grad.
Vi vet fra tidligere studier at for eksempel neurale nett trenger mye trening for å gjøre det bra (Glorot, X. & Bengio, Y., 2010). Også modeller som Random forest og
XGB trenger parameter optimalisering for å få frem potensialet. Dette er forhold som kan forklare hvorfor enklere modeller gjør det bedre i studier da premisset er at det er «first, best forecast» som teller.
3. Data
I dette kapittelet gjennomgår vi primærdatasettet og sekundærdata vi bruker i de tre analysene. Her presiseres de strukturelle forskjellene i hver analysemetode preprossesering og sammenslåinger vi har gjort for at dataen skal passe inn i våre analyser. Til slutt
presenteres den avhengige og de uavhengige variablene i de tre analysene. Kapittelet er delt inn i fem deler hvor vi første gjennomgår primær og sekundærdata, før vi gjennomgår data i de tre analysemetodene vi bruker.
Figur 3. 1 Struktur for datakapittel 3.1 Primær og sekundærdata
Primærdatasettet i dette studiet kommer fra Eiendomsverdi AS. Firmaet har Norges største boligdatabase og gir månedlig ut boligprisstatistikk på oppdrag fra Eiendom Norge.
Datasettet består av boligtransaksjoner i Oslo og omegn, med en tidshorisont fra 2010 til 2020. Totalt inneholder datasettet 245.437 boligtransaksjoner. Dette er boliger som
er formidlet av meglere og annonsert på Finn.no, og er det samme datagrunnlaget Eiendom Norge og Eiendomsverdi bruker i sine boligprisstatistikker (Eiendom Norge, u.å.,b).
Datasettet inneholder elleve variabler som beskriver boligenes karakteristikker.
Variablene er: kommune, postnummer, registrering/solgt og tinglysningsdatoer, prisantydning, salgspris, fellesgjeld, størrelse, byggeår, etasje, soverom og eierform.
Primær og sekundærdata
Data i
paneldataanalysen Data i
tidsserieanalysen Data i prediksjonsanalysen Datastruktur i de tre
metodene
Utenom eiendomsdata tar vi med makroøkonomiske sekundærdata som er koblet i samme tidsintervall som eiendomsdataen. Boligmarkedet er sterkt påvirket av hvordan økonomien i landet endres, og endinger i makroøkonomiske faktorer kan ha signifikante korttidseffekter på boligpriser. Vi henter derfor inn variabler for BNP, boliglånsrente, befolkningsvekst, boligprisindeks, konsumprisindeks, og gjeld i husholdninger. Det skal nevnes at vi ikke bruker mesteparten av disse variablene i de endelige analysene, men at de har vært en del av prosessen. Boliglånsrente er i hovedsak den variabelen vi benytter oss av, basert på SSB (2021a) sin gjennomsnittlige rente for pant i bolig. Grunnet forskjeller i tidsrekkene til SSB, har vi kun fått tak i månedlige data for boliglånsrenten fra 2014-2020. Fra 2010-2013 har vi bare kvartalsvise data å basere oss på. Den månedlige boliglånsrenten fra 2010-2013 er derfor basert på interpolering. Gjennomgang av partiell analyse av styringsrente og boliglånsrente, med valg om interpolering ligger i vedlegg.
Videre har vi sammenkoblet datasettet til Bolstad (2009-2021). Dette datasettet kobler alle postnumre med bydeler, og viser også hvilken lengde og breddegrad hvert postnummer har.
Denne sammenkoblingen er gjort for å berike datasettet vårt slik at paneldata-analysen kan deles inn i bydeler og, at prediksjon med maskinlæring har flere attributter å predikere kvadratmeterpris ut ifra.
3.1.1 Avgrensinger og endringer i primærdatasettet
Primærdatasettet inneholder alle boligtransaksjoner fra 2010-2020, og inneholder derfor flere boliger som strekker seg utenfor dette studiets avgrensing og omfang. Første steg i endringen er å avgrense datasettet og produsere nye variabler. Til denne studien fjernes derfor alle boligtransaksjoner som er utenfor Oslo. Boliger som er større enn 65
kvadratmeter fjernes også fra datasettet, da boliger over denne størrelsen ikke er typiske boliger for førstegangskjøpere. Etter disse avgrensningene har vi et datasett som inneholder:
Dato for når boligen ble listet, når den ble solgt, når den ble tinglys, postnummer, pris, fellesgjeld, prisantydning, eierform, byggeår, primær rom, bruttoareal, etasje, og antall soverom.
Med utgangspunkt i disse tolv variablene produserer vi tre nye variabler, tid før omsatt, totalpris og kvadratmeterpris.
Tid før omsatt («TOM») lages ved å se på tidspunktet boligen ble listet og tidspunktet den ble solgt, variabelen er da antall dager mellom disse datoene. Totalpris produseres ved å ta summen av fellesgjeld og pris for boliger med andre eierformer enn selveierleiligheter. For selveierleiligheter er totalpris lik salgsprisen. Vi har valgt å regne totalpris på denne måten, da man må ta høyde for fellesgjelden i en lånesøknad når man kjøper en andelsleilighet, noe man ikke trenger dersom man er selveier. Mer om eierform kan leses vedlegg.
Kvadratmeterpris lager vi ved å dele totalprisen på boenheten med primærrommets kvadratmetermål. Dette velger vi da primærrom refererer til det arealet av leiligheten som er ment for varig opphold. Denne beregningen er også standard for kvadratmeterpriser hos SSB (2021b).
Etter at de nye variablene er lagt til velger vi å fjerne variablene for listet dato, dato for tinglysning, fellesgjeld og prisantydning før vi eksponerer datasettet til Python for å gjennomføre del to av endringen. I del to kombinerer vi datasettet fra Eiendomsverdi med datasettet til Bolstad (2009-2021), som inneholder alle postnummer og bydelene i Oslo. For å kombinere datasettene benytter vi oss av «merge» funksjonen i Pandas. Dette er en funksjon som muliggjør spleising av data basert på spesifikke detaljer i hvert datasett. I vårt tilfelle er datasettet spleiset på postnummer. Datasettet har etter denne spleisen fått tre nye variabler: bydel, longitude og latitude.
Latitude og longitude fremstiller et geografisk punk i hver bydel og knyttes opp mot postnummeret. Det er flere ulike postnummer og dermed flere geografiske punkter i hver bydel. Disse er dog ikke nøyaktige nok til å gi et godt bilde av hvor boenheten befinner seg, men det er med på å gi maskinlæringsmodellene flere attributter å predikere med.
Videre består datasettet av fire forskjellige eierformer. Disse er selveier, borettslag, aksjeleilighet og obligasjonsleilighet. Av disse fire utgjør transaksjoner
av obligasjonsleiligheten kun et tosifret antall. Obligasjonsleiligheter er ikke lenger lov å etablere, og det er lite av disse boligene på markedet (Eiendomsmegler.no, 2019). Vi fjerner derfor disse transaksjonene fra datasettet. De resterende eierformene er beholdt. Videre inneholder datasettet flere transaksjoner med manglende verdier, og ekstremverdier. Disse transaksjonene blir gjort rede for i vedleggskapittel.
Etter korrigeringer og avgrensninger er primærdatasettet forkortet ned til 105.298 boligtransaksjoner, med følgende variabler i tabell 3.1:
Postnummer P-rom Boliglånsrente (månedlig)
Bydel Kvadratmeterpris Eierform
Etasje Totalpris Bredde og lengdegrad
Soverom TOM Dato solgt
3.2 Datastruktur
De tre metodene vi analyserer krever hver sin datastruktur. I dette delkapittelet presenteres forskjellene i datastruktur og tilpasninger vi gjør for de tre metodene, paneldata, tidsserie- analyse og prediksjon med maskinlæring.
3.2.1 Datastruktur for paneldata-analyse
Paneldata skiller seg fra tidsseriedata og tverrsnittsdata ved at datasettet er strukturert slik at man observerer både tverrsnitt, i, og tidsserie, t, i et og samme datasett (Wooldridge, J., 2019). Datasettet vi har fått tilgang til fra Eiendomsverdi er ikke strukturert som paneldata og dette medfører at vi gjør endringer. Her har vi fordelt alle bydelen i Oslo som hvert sitt tverrsnitt, og bruker en månedlig tidsserie fra 2010 til 2020. Med utgangspunkt i paneldata og dets struktur, er det vanskelig å finne bydelsspesifikke uavhengige variabler som kan forklare prisutvikling. Disse forklarer vi nærmere i delkapittel 3.4. Den avhengige variabelen er her den månedlige gjennomsnittlige kvadratmeterprisen i hver bydel.
I paneldata snakker man om balansert og ubalansert paneldata. Dette beskriver hvorvidt alle tverrsnitts-gruppene har samme antall observasjoner eller ikke. Balansert paneldata vil si at datasettet har like mange observasjoner for alle paneler. Et ubalansert paneldatasett har manglende verdier for én eller flere tidsobservasjoner for én eller flere av gruppene. For å oppnå et balansert datasett fjerner vi en av bydelene, bydel Sentrum som i snitt har veldig få transaksjoner hver måned, og flere måneder uten observasjoner. Ved å fjerne denne
bydelen oppnår vi et balansert paneldatasett.
Tabell 3. 1 Endelige datavariabler
Bydel Sentrum skaper også støy i datasettet ved at få observasjoner skaper et dårlig bilde av gjennomsnittlig kvadratmeterpris, da dette varierer mye fra måned til måned. I prosessen med å omgjøre datasettet til paneldata tester vi også om forskjellene for den
gjennomsnittlige kvadratmeterprisen i hver bydel, i, hver måned er signifikant. Testene her er simple lineære regresjoner mellom boligens totalpris og antall kvadratmeter. Vi finner her at alle bydeler utenom bydel Sentrum har nok observasjoner hver måned til å gjenskape et godt bilde av bydelenes typiske kvadratmeterpris-utvikling. Det endelige paneldatasettet har derfor 15 bydels-tverrsnitt med en tidsserie på 132 måneder i hvert tverrsnitt.
3.2.2 Struktur for tidsserie-analyse
Tidsserie-analyse har en datastruktur hvor man undersøker hvordan en avhengig y variabel, varierer over tid, t. Siden tidligere hendelser kan påvirke hva som skjer fremover i tid, er tidsdimensjonen en vesentlig del av tidsserier (Wooldridge, J., 2019). Strukturen for tidsserie er en serie med datapunkter listet i en tidsrekkefølge.
Forskjellen fra paneldatagrunnlaget er at vi her ser på Oslo som en helhet i stedet for per bydel. Dette gjør vi for å kunne si noe om hvordan prisene beveger seg generelt og for å kunne gi en prognose på hvordan de vil bevege seg frem i tid. Vi tar utgangspunkt i det opprinnelige datasettet og trekker ut leilighetene vi ønsker å se nærmere på. Tidsserien vår ser på den gjennomsnittlige kvadratmeterprisen for alle boliger opptil 65 kvm som ble solgt i Oslo mellom 2010 og 2020 og består av 132 månedlige observasjoner.
3.2.3 Datastruktur for prediksjonsanalyse med maskinlæring
I prediksjonsanalysen med maskinlæring skiller strukturen på datasettet seg markant fra hvordan vi har satt opp datasettet i de foregående analysene. Maskinlæringsalgoritmen har som mål å finne mønstre i datasettet, og predikere prisen ut ifra disse mønstrene. Her vekter regresjonsalgoritmene de attributtene som tilhører den enkelte boligen, og finner mønstre som gjør det mulig å vurdere kvadratmeterprisen til boligene.
For å lage en god prediksjonsmodell er det nødvendig med et datasett som inneholder nok observasjoner. Disse observasjonene bør inneholde rikelig med informasjon som
beskriver karakteristikker til det en ønsker å predikere.
Lignende studier om maskinlæring og boligprisprediksjon innebærer analyse av langt flere variabler enn det vi bruker, men for denne studien, mener vi at antall observasjoner og variabler i vårt datasett er godt nok til å lage en tilfredsstillende modell.
Sett i sammenheng med tidsserieanalysen og paneldata-analysen, vil maskinlæringsanalysen ta i bruk hele datasettet. Datasettet vi mottok fra Eiendomsverdi inneholder flere av de viktigste og mest relevante variablene for å kunne predikere boligpris. Med over 100.000 boligtransaksjoner har algoritmene rikelig med informasjon å predikere med.
Strukturen på datasettet er satt opp slik at hver bolig har sitt ID nummer, slik at algoritmen kan skille hver leilighet fra hverandre. Dette skiller seg fra de to andre analysene, der
tidsaspektet er viktigere. I tillegg skiller datasettet i denne analysen seg fra paneldata ved at bydelene ikke identifiserer som tverrsnitt, men fungerer som en attributt i modellen. Resten av attributtene/uavhengige variablene blir gjennomgått i delkapittel 3.4.2.
For å oppnå et velfungerende datasett har vi foretatt en rekke korrigeringer, slik at
maskinlæringsalgoritmene får en enklere jobb. Denne prosessen kalles data preprosessering og er en teknikk som går ut på datarensing og transformering. For at maskinlæringsmodeller skal kunne lese dataen og gi gode resultater er det viktig å gå gjennom rådataen i datasettet.
Rådata kan inneholde manglende verdier og avvikende observasjoner som må gjennomgås.
Da alle analysene bygger på samme datasettet, er denne prosessen allerede beskrevet i delkapittel 3.1.1, sammen med korreksjoner og endringer som finnes i vedlegg.
3.3 Avhengig variabel
Den avhengige variabelen vi bruker i de tre analyse er kvadratmeterprisen. Grunnet
forskjeller i struktur for dataoppsett, ble kvadratmeterpris valgt. Kvadratmeterpris beskriver hvor mye man må betale per kvadratmeter, og er den prisvariabelen som brukes i prognoser for boligprisindekser og prisstatistikk. Kvadratmeterpris gjør det lettere å se på den faktiske kostnaden på boligmarkedet, på samme måte som kilopris gjør det enklere å sammenligne prisen på lignende produkter i matbutikken.
3.3.1 Paneldata
I paneldata-analysen er den månedlige gjennomsnittlige kvadratmeterprisen for hver bydel den avhengige variabelen. Dette gir oss muligheten til å analysere bydelenes forskjeller i kvadratmeterpris over tid. Målet i denne analysen er å se hvordan de uavhengige variablene, som presenteres i neste delkapittel, påvirker kvadratmeterprisen på tvers av bydeler og over tid.
3.3.2 Tidsserie
I tidsserieanalysen er den månedlige gjennomsnittlige kvadratmeterprisen for Oslo den avhengige variabelen. I denne analysen er det den eneste variabelen som analyseres sammen med de månedlige tidsintervallene. Målet i denne analysen er å se hvordan den sesongbaserte tidsseriemodellen SARIMA, predikerer fremtidig gjennomsnittlig
kvadratmeterpris basert på sesongvariasjoner og tidligere strukturer i tidsserien.
3.3.3 Maskinlæring
I prediksjonsanalysen med maskinlæring er den faktiske kvadratmeterprisen for hver enkelt bolig den avhengige variabelen. Sett i sammenheng med lignende studier og
fremgangsmåter for boligprisprediksjon, er den avhengige variabelen ofte boligens totalpris.
For at studiet skal ha en sammenhengende variabel som kan analyseres, har vi også her valgt kvadratmeterpris. Målet med denne analysen er å se hvilken regresjonsalgoritme som predikere faktisk kvadratmeterpris med høyest mulig presisjon.
3.4. Uavhengige variabler
3.4.1 Uavhengige variabler i paneldata-analysen
Siden vi benytter oss av gjennomsnittlige kvadratmeterpris i paneldataanalysen, medfører dette at vi lager lignende uavhengige variabler. Med denne metoden er det begrenset med uavhengige variabler vi kan ta i bruk. Dette er fordi vi ser på snittet av mange boliger.
Variablene vi lager er derfor også snittverdier.
Snitt av p-rom
For hver bydel og hver månedlig tidsperiode regner vi ut en snittverdi for antall
kvadratmeter boligene har. Snitt av p-rom har liten variasjon da boligene vi analyserer har relativt lav spredning i antall kvadratmeter. Uansett vil dette gi en indikasjon på verdien av en ekstra kvadratmeter for boliger til førstegangskjøpere.
Snitt av soverom
For hver bydel og hver månedlig tidsperiode regner vi ut en snittverdi for antall soverom boligene har. Snitt av soverom har liten variasjon da boligene vi analyserer er små, der mange ikke har adskilte soverom. Uansett vil dette gi en indikasjon på verdien av et soverom for boligene vi ser på.
Månedlig boliglånsrente
Månedlig boliglånsrente er med for å fremheve sammenhengen den har med
kvadratmeterprisen. Denne variabelen varierer kun over tid, t, og er den eneste uavhengige variabelen i paneldata-analysen som ikke også varierer på tvers av bydel.
AR(12) ledd
For å kunne si noe om sesongvariasjonen i bydelsanalysen med paneldata, tar vi med et autoregressivt ledd. AR(12)-leddet er en autoregressiv funksjon av kvadratmeterprisen som vi lagger 12 måneder tilbake i tid. På den måten får vi en variabel som kan si noe om
sammenhengen mellom kvadratmeterprisen i tidsperiode og bydel Yi,t og Yi,t-12, der Y er kvadratmeterprisen.
3.4.2 Uavhengige variabler i prediksjonsanalysen med maskinlæring Postnummer
Postnummer gir en geografisk beskrivelse av hvor boligen befinner seg. Lokasjon av bolig har stor betydning for boligkjøpere. Sentrumsnære, populære bydeler og strøk, tilgang til
natur og knutepunkter i kollektivtrafikk er med på å drive prisene opp.
Denne variabelen er derfor viktig i prediksjon, da vi også vet at sentralitet er en betydelig faktor som driver prisene opp (OsloMet, 2020).
Eierform
Variabelen eierform er en kategorisk variabel som beskriver hvorvidt boligen har eierformen aksjebolig, selveier eller borettslag. Ved kjøp av en bolig i borettslag kjøper man en andel av et borettslag med borett i en bolig. Borettslaget er et selskap som eies av de som bor der.
Bygging av borettslag finansieres delvis med et felleslån med sikkerhet i borettslagets eiendom og innskudd fra boligkjøperen. Innskuddet for å kjøpe boligen, pluss andelen av boligens fellesgjeld utgjør den totale prisen for boligen (USBL.no, u.å). Det samme prinsippet gjelder for aksjeboliger. Her kjøper man ikke boligen, men en aksje i boligaksjeselskapet.
Denne aksjen gir deg leierett i den bestemte boligen du var ute etter (Krogsveen, 2021).
Også for aksjeboliger kan det være tilknyttet fellesgjeld. Vi legger derfor sammen salgsprisen og fellesgjelden for å få boligens totale verdi. Med en selveierbolig derimot, kjøper man en sameieandel som gir kjøper enerett til bruk av en bestemt bolig. For selveierboliger er prisen det vi benevner som totalpris. Fellesgjelden er ofte lavere som selveierboliger, og blir ikke tatt med i beregning av totalpris.
I forhold til boligenes verdi kan eierform være med på å heve eller senke prisen. Mindre leiligheter som kan leies ut, har blitt et populært investeringsobjekt i Oslo, blant de med nok kapital. Med selveierboliger har kjøper rett til å leie ut boligen fra første dag. Her kan
borettslag ha begrensinger for utleie, det samme gjelder for aksjeleiligheter. I boligselskap kan også den økonomiske driften spille en rolle for boligens verdi. Alt i alt er det flere aspekter ved eierform som kan være med på å påvirke boligens kvadratmeterpris.
P-rom
P-rom står for primærrom og beskriver hvor mange kvadratmeter boligen er. Her inneholdt primærdatasettet også verdier for bruksareal (BRA), men siden kvadratmeterpris blir beregnet ut ifra P-rom (SSB.no, 2021b) har vi valgt å ikke bruke BRA.
Etasje
Etasje er en numerisk verdi beskriver hvilken etasje boligen ligger i.
Antall soverom
Antall soverom er en numerisk verdi og beskriver hvor mange soverom boligen har. Her har flere av boligene ingen soverom. Årsaken til dette er studiens omfang og avgrensing på maks 65 kvadratmeter store boliger. Flere av de mindre boligene i Oslo har ikke adskilte soverom, men f.eks alkover.
Bydel
Bydel er en kategorisk variabel som gir en geografisk beskrivelse av hvor boligen befinner seg i Oslo.
Lat og Long
Lat og long står for latitude og longditude, på engelsk og beskriver boligens bredde og lengdegrad. Disse variablene beskriver boligens geografiske lokasjon ut ifra hvilket postnummer de har. Selv om disse variablene viser lokasjonen til postnummeret, kan regresjonsalgoritmene fange mønstre som priser boligene basert på hvilken himmelretning de ligger i.
TOM
TOM som står for «tid før omsatt» beskriver hvor lenge boligen har ligget ute for salg på markedet.
Månedlig boliglånsrente
Månedlig boligrente er en numerisk variabel som beskriver den gjennomsnittlige renten for pant i bolig. Denne renten er som tidligere beskrevet sterkt korrelert med styringsrenten, og derfor en viktig brikke i konsumbeslutningen til befolkningen. Ettersom konsum er med på å bestemme etterspørselen i boligmarkedet, kan boliglånsrenten være en viktig variabel i prediksjonsmodellen.
Måned solgt og år solgt
Måned solgt og år solgt er variabler som baseres på hvilken dato boligen ble solgt. Ettersom kvadratmeterprisen har hatt en tydelig trend fra 2010-2020, er disse variablene med på å gi algoritmen en indikasjon på hvordan pristrenden ser ut i det gitte tidsrommet boligen ble solgt.
Flere av variablene vi bruker i denne analysen er kategoriske variabler. For at algoritmene skal kunne tyde disse, har vi i Python brukt Scikit-learn sin preprosseseringsmetode som heter «Lable Encoder». Denne metoden gir de kategoriske variablene en numerisk verdi.
4. Metode
4.1 Introduksjon
I dette kapittelet presenterer vi den empiriske fremgangsmåten og metoden vi bruker i de tre analysene. Først presenteres fremgangsmåte og metode, samt problemer som oppstår ved bruk av paneldata. Deretter forklarer vi det teoretiske rammeverket som ligger bak modellen vi bruker. Deretter presentere vi metode og utfordringer ved bruk av tidsserie- analyse. Til slutt presenterer vi metode, fremgangsmåte og utfordringer for prediksjon med maskinlæring. Resultater kommer i kapittel 5. Maskinlæringsanalysen og tidsserieanalysen vil i dette studiet foregå ved hjelp av Python og i paneldataanalysen benytter vi Stata, som er en velkjent programvare innen økonometri.
4.1.1 Forskjeller mellom maskinlæring og statistiske metoder
Hovedforskjellen mellom statistiske modeller og maskinlæringsmodeller er at maskinlæring har som mål å lage de mest nøyaktige prediksjonene, hvor statiske modeller er laget for å si noe om forholdet mellom variablene og signifikansen av disse forholdene. Med
maskinlæring deler man opp datasettet i et treningssett og et testsett. Treningssettet brukes til å trene maskinlæringsalgoritmen, hvor den lærer seg komplekse sammenhenger mellom den avhengige og de uavhengige variablene. Testsettet brukes så til å validere
treffsikkerheten til modellen. I testsettet vet ikke modellen hva den avhengige variabelen er, og den bruker det den lærte fra treningssettet til å predikere den avhengige variabelen.
Statistisk modellering derimot, analyserer regresjonsparameterne med konfidensintervall, signifikanstester og andre tester som kan si noe om modellens legitimitet (Stewart, M., 2019).
4.2 Paneldatametode og teoretisk modell
Paneldata-modellering handler i stor grad om å vise til den sannsynlige avhengigheten på tvers av dataobservasjoner innen samme gruppe.
Paneldata skiller seg fra tidsseriemodeller ved at paneldatamodeller tillater heterogenitet på tvers av grupper, og dermed fremhever individuell-spesifikke effekter. Paneldatamodeller har altså en struktur som kan adressere heterogenitet på tvers av observasjonene.
Siden vi har strukturert dataene våre i et panel, har vi med to forskjellige dimensjoner.
Tidsdimensjonen blir omtalt som t, og bydelsindividene blir omtalt som i. Med utgangspunkt i en enkel paneldatamodell med en forklaringsvariabel, kan det presenteres slik:
𝑦"# = 𝛽$𝑥"#+ 𝛼"+ 𝑢"# (4.1)
Likningen ovenfor representerer en heterogen modell, dette er fordi konstantleddet, 𝛼", er individspesifikt. Den gjennomsnittlige kvadratmeterprisen, 𝑦, i hver bydel, 𝑖, i de forskjellige tidsperiodene, 𝑡, varierer hver for seg og over tid, og derfor er modellen vår bydelspesifikk.
Paneldata observasjonen 𝑌"#er gjennomsnittlig kvadratmeterpris observert for bydelene 𝑖 = 1, . . . ,15 over alle tidsperioder 𝑡 = 1, . . . ,132. Paneldatasettet består av 15 bydeler som fordeler seg over 132 tidsperioder, som beskriver antall måneder fra 1/1/2010-1/12/2020.
𝛽$𝑥"# beskriver betakoeffisienten til forklaringsvariabel x, for i og t. Variabelen 𝛼" er et
tidskonstant feilledd som kun varierer på tvers av bydel, i. Dette feilleddet beskriver den uobserverte effekten i hver bydel. Variabelen 𝑢"# er et feilledd som varierer over i og t. Dette feilleddet beskriver den idiosynkratiske feilen, som er uobserverte faktorer som har en innvirkning på den avhengige variabelen.
Observerte variabler er boliglånsrente, bydelssnitt for primærrom og snitt for soverom og et AR(12) ledd av den avhengige variabelen. Uobserverte variabler vil være andre variabler som ikke er observert eller med i datasettet, men som har en forklaringskraft for
kvadratmeterprisen sin utvikling i hver av bydelene. En uobservert faktor vil være hva som skiller det gjennomsnittlige prisnivået mellom hver av de 15 bydelene. Et problem i
paneldata er at utelatte og uobserverte variabler vil kunne gjøre modellen
forventningsforskjøvet og ukorrekt (Wooldridge, J., 2019). Dette er fordi utelatte variabler fanges opp i forklaringsvariabelen 𝑋"#, og vil korrelere med 𝛼". Dette bryter med en av OLS- forutsetningene, og resulterer i å benytte mer avanserte estimeringsmetoder som kalles fixed effects (FE) og random-effects (RE).
4.2.1 Paneldata-modeller
I paneldatamodeller er det stor sannsynlighet for at uobserverte faktorer konsekvent påvirker utfallet, altså y variabelen. For å ta høyde for dette tar vi i bruk
estimeringsmetodene Fixed effects og Random-effects.
4.2.2 Fixed effects estimator
Fixed effects estimatoren, heretter FE, er den mest brukte metoden for å fange opp
forskjeller mellom et tverrsnitt av observasjoner over tid. Formålet med denne metoden er å fjerne den uobserverte effekten, 𝛼", fordi uobserverte effekter kan være vilkårlig relatert til de observerte forklaringsvariablene (Wooldridge, J., 2019). FE estimering gjøres ved å
transformere dataen. Her kalkuleres snittverdien for en variabel over tid for hvert individ, og deretter trekkes dette snittet fra alle observerte verdier for et gitt individ, dette gjøres så for alle individene. Denne metoden bearbeider de uobserverte faktorene ved at den fjerner de komponentene som er konstant over tid. Som antakelse ville det vært alle de uobserverte variablene (Pedace, R., 2013). Denne metoden gjøres enkelt i programvaren Stata, og vil her forklares med likninger.
Modellen spesifiseres først slik:
(𝑌"#− 𝑌8") = 𝛽$(𝑋"# − 𝑋: ) + 𝛽% !(𝜔"# − 𝜔:") + (𝜀"#− 𝜀:) % (4.2)
𝑌="# = 𝛽$𝑋="#+ 𝜀̃"# (4.3)
Hvor
𝑌: =% ∑#"$%('!" (4.4)
𝑋: =% ∑#"$%)!"
( (4.5)
𝜔:" =∑#"$%(*!" (4.6)
Her er 𝛽$gitt som FE estimator, også kalt innenfor estimator. Den uobserverte variabelen 𝜔 har blitt transformet bort siden verdiene er antatt konstante over tid.
I likning (4.3) har variablene blitt transformert til deres tids-nedjusterte versjon, også kalt innenfor transformasjon.
FE transformerer dataen slik at en ser på avvik fra det det individspesifikke gjennomsnittet.
Ved å gjøre dette isoleres variasjonen i hver enkelt bydel, i, når man estimerer. Denne metoden fjerner den individuelle komponenten til restleddet. Dette gjør at tidskonstant og ikke observerte forskjeller mellom bydelene transformeres bort. FE undersøker om
konstantleddet i endrer seg i bydelene eller mellom tidsperiodene.
4.2.3 Random-Effects Estimator
Som vi har vært gjennom tidligere i kapittelet kan man benytte seg av FE modeller for å estimere effekter man ikke kan observere. En annen metode for å estimere slike effekter er med tilfeldig heterogenitet modellen, kalt «random effects estimator», heretter RE. Der tilfeldig heterogenitet estimeres med modellen:
𝑌"# = 𝛽+ + 𝛽$𝑋"# + 𝑣"# (4.7)
der 𝑣"# = 𝑤" + 𝜀"#. (4.8)
Fordelen med tilfeldig heterogenitet modellen over faste effekter modellen er at man kan estimere regresjonsparameterne mer effektivt. Når man studerer modellen for tilfeldig heterogenitet ser man at den skiller seg fra FE-modellen ved at den ikke estimerer de faste effektene for hvert individ, i vårt tilfelle bydelene. Dette gjør at man har færre estimerte parametere, flere frihetsgrader og mindre standardfeil (Pedace, R., 2013).
RE-modellen benyttes om man tror at den uobserverte effekten ikke er korrelert med de uavhengige variablene. Dersom den er det, vil man ha et forventningsforskjøvet estimat.
Selv om disse forutsetningene er til stede, betyr ikke dette at effektene er konstante eller like for alle observasjonene. Det betyr derimot at alle effektene er tilfeldige og uavhengige av de observerte variablene. For å se på hvilken modell man bør velge kan man benytte seg av en test utviklet av Hausman i 1968, som vil gjennomgås i neste avsnitt.
4.2.4 Hausman test for fixed eller random-effects
Hausman-testen er en spesifikasjonstest som tester hvorvidt en skal bruke FE eller RE modellen til å estimere paneldatasettet. RE gir mer effektive estimater enn FE, men hvis individuelle faste effekter er korrelert med en eller flere uavhengige variabler vil modellen være forventningsskjev. Da vil FE være foretrukket. Hausman-testen sjekker ut Random- effects antakelsene og hjelper med valget mellom de to metodene. Testen undersøker forskjeller i estimerte parametere, og resultatene i testen bestemmer om FE og RE
estimatene er signifikant forskjellige. Nullhypotesen til testen sier at hvis antakelsene til RE holder, vil RE resultere i like estimerte parametere som FE. Man vil da velge RE fordi den er bedre i form av effektivitet og har mindre standardfeil. Hvis antakelsene til RE ikke holder, er de estimerte parameterne signifikant forskjellige og RE vil være forventingsforskjøvet. Dette resulterer i den alternative hypotesen, som vil si FE estimatene er konsekvente (Pedace, R., 2013).
4.2.5 Den økonometriske paneldata-modellen
Gjennom den økonometriske modellen ønsker vi å forklare drivere for den gjennomsnittlige kvadratmeterprisen. Da Oslo-boligmarkedet er ujevnt fordelt i forhold til priser på boliger, vil panel-data analysen gi et bilde av hvordan den gjennomsnittlige kvadratmeterprisen har utviklet seg på tvers av bydeler. Modellene er bygd opp med følgende forklaringsvariabler:
Månedlig boliglånsrente, snitt av primærrom for hver bydel hver måned og bydelenes årlige befolkningsutvikling. Vi har i tillegg lagt til en AR-komponent som variabel. Denne har som mål å forklare prisutviklingen ut ifra forrige års kvadratmeterpris.
Forklaringsvariablene gir et bilde av hvordan de påvirker kvadratmeterprisen. Da disse variablene på ingen måte fanger opp alt som påvirker prisutviklingen og forskjeller mellom bydelene, vil det være mange uobserverte effekter. Det er disse effektene vi ønsker at modellene i paneldata-analysen skal fange opp og forklare. Her tester FE modeller som blir presentert i kapittel 5.
