Relevansproblemet,
maskinlæring og juridiske søkeplattformer
Relevansproblemet: en av utfordring som oppstår ved å benytte maskinlæring på juridiske søkeplattformer
Kandidatnummer: 207 Leveringsfrist: 15.06.2020 Antall ord: 25 843
i
Forord
Først og fremst vil jeg takke veilederen min, Tobias Mahler. Det har vært utrolig spennende å få skrive en så tverrfaglig oppgave om de to tingene jeg brenner mest for, nemlig juss og teknologi. Det hadde jeg ikke klart uten din hjelp og gode innspill. Takk for gode diskusjoner og innspill underveis.
Jeg vil også takk samboeren min, Nicolas Harlem Eide. Du har vært stødig som en stein gjennom hele prosessen, og støttet meg mer enn jeg kunne bedt om. Jeg er utrolig takknemlig for at jeg har deg, tusen takk!
Tusen takk til Jessica Scott. Jeg er enormt takknemlig for at jeg har en så god venn som deg, spesielt under masterskrivingen. Takk for alle samtaler, turer og for alle gode innspill
underveis.
Pondus, verdens beste hund, fortjener den siste takken.
ii
Innholdsfortegnelse
1 INTRODUKSJON OG BAKGRUNN ... 1
1.1 Aktualitet ... 1
1.2 Rettsteknologi ... 2
1.2.1 Definisjon ... 2
1.2.2 Taksonomi ... 3
1.3 Tema og problemstilling ... 4
1.4 Avgrensninger ... 5
1.5 Valg av metode ... 6
1.6 Litteratur... 7
1.7 Videre fremstilling ... 8
2 METODISKE UTFORDRINGER ... 10
2.1 ROSS og deres svarte boks. ... 10
2.2 Utvikling av Caycee Alpha ... 10
2.3 Finne god litteratur ... 10
2.4 Uklare uttrykk ... 11
2.5 COVID-19 ... 11
3 RELEVANSPROBLEMET ... 12
3.1 Introduksjon til relevansproblemet ... 12
3.2 Relevans og informasjonssystemer ... 12
3.3 Relevansproblemet løst i dagens plattformsystemer ... 14
4 RETTSKILDESØK I PLATTFORMER ... 15
4.1 Juridiske plattformsøk ... 15
4.1.1 Hva som er inkludert i databasen ... 18
4.1.2 Eksempel på søk ... 18
4.2 Informasjonssystemer (IR) ... 26
4.2.1 Evaluering ... 27
4.3 PLATTFORMENE ... 31
4.3.1 Lovdata ... 31
4.3.2 Rettsdata ... 33
4.3.3 ROSS ... 36
5 MASKINLÆRING ... 40
5.1 Introduksjon til maskinlæring ... 41
5.1.1 Algoritmer ... 42
5.1.2 Maskinen lærer ... 43
5.2 Naturlig språkprosessering (NPL) ... 47
5.2.1 Introduksjon til naturlig språkprosessering ... 47
5.2.2 Naturlig språkprosessering og informasjonssystemer ... 50
5.3 Hvordan kan man se for seg at maskinlæring kan brukes på Lovdata og Rettsdata? .... 52
5.4 Utfordringer ... 55
5.5 Oppsummering ... 57
iii
6 PLATTFORMENES FORSØK PÅ MASKINLÆRING ... 59
6.1 Rettsdata ... 59
6.1.1 Introduksjon til Cayce Alpha ... 59
6.1.2 Teknologi bak Caycee Alpha ... 60
6.1.3 Testing av Caycee Alpha ... 61
6.2 Min vurdering av Rettsdatas forsøk ... 70
6.2.1 Valg av teknologi... 70
6.2.2 Første testrunde... 71
6.2.3 Andre testrunde... 74
6.2.4 Generell vurdering/Diskusjon av Caycee Alpha ... 75
6.3 Lovdata... 76
6.3.1 Introduksjon ... 76
6.3.2 Treningsmateriale samling av rettsavgjørelser ... 77
6.3.3 Gullstandard og evaluering av systemer ... 77
6.3.4 Teknologi (og eksperimenter) ... 81
6.3.5 Eksperimenter ... 82
6.4 Vurdering Oftedahls masteroppgave ... 83
6.4.1 Gullstandard... 83
7 AVSLUTNING ... 85
8 KILDELISTE ... 87
1
1 INTRODUKSJON OG BAKGRUNN
1.1 Aktualitet
Jussen er kjent for å være et område som beveger seg tregt fremover i tiden. På den andre siden av skalaen har du teknologi, som er kjent for å være et område som har gjort store steg de siste tiårene. De siste årene har det likevel vært et økt søkelys på digitalisering også i jussbransjen. Digitaliseringen kommer både innenfra og utenfra.
Digitaliseringen åpner for effektivisering av allerede eksisterende oppgaver, men åpner også opp for helt nye tjenester. Et eksempel på dette er den norske appen «Flykrav». Det er en app som privatpersoner kan benytte seg av for å finne ut av om de har krav på erstatning, mat og drikke, hotellovernatting og lignende i tilfeller der et fly er forsinket, kansellert eller man har blitt nektet ombordstigning. Appen sender også inn kravet for deg dersom konklusjonen er at du har krav på kompensasjon. 1 Denne typen tjenester kan gjøre jussen mer tilgjengelig for den allmenne befolkningen, og jeg mener også at Flykrav viser vei for hvordan manuelle oppgaver kan automatiseres.
I denne oppgaven skal jeg se spennende område innen teknologi, nemlig maskinlæring. Mer spesifikt skal jeg på bruk av maskinlæring på juridiske plattformsøk. Med juridiske
plattformsøk mener jeg i all hovedsak de søkene som advokater, jurister, jusstudenter og andre gjør for å finne svaret på et juridisk problem.
Jeg skal se på to plattformer som brukes til denne typen plattformsøk i Norge i dag, Lovdata og Rettsdata. Begge disse plattformene ønsker, og har forsøkt, å legge til kunstig intelligens til plattformene sine. En av hovedutfordringene ved å legge til maskinlæring på søkeplattformer, er å få maskinlæringsalgoritmen til å vite hva hvilke søkeresultater som er de mest relevante for ethvert søk, spesielt når det blir lagt til nye kjennelser i databasen.
En ny juridisk søke-plattform i USA som bruker kunstig intelligens er ROSS, laget av ROSS Intelligence. ROSS er laget for amerikansk rett og har en database som inkluderer føderale og
1 Flykrav (u.å)
2
statlige saker og lovgivning. Norske jurister vil ikke kunne ta i bruk ROSS fordi både språk og innhold i databasen er forskjellig fra det norske systemet. Jeg velger likevel å se på ROSS som en tredje plattform. Jeg skal ikke sammenligne med de norske plattformene, men se på løsningene som har blitt valgt hos ROSS.
1.2 Rettsteknologi
Oppgavens tema er innenfor feltet kalt rettsteknologi. Jeg skal derfor starte med å introdusere rettsteknologi før jeg går videre til tema og problemstilling for oppgaven.
1.2.1 Definisjon
Ordet rettsteknologi (legaltech på engelsk), kommer fra kombinasjonen av ordene «Legal service» og «technology». Det finnes smalere og bredere definisjoner på ordet, men de fleste definisjonene bygger på de samme ideene om hva ordet betyr.
Michal Bues, en av forfatterne av boken «Legal Tech – A practitioner’s Guide», definerer begrepet som at «rettsteknologi beskriver bruken av moderne, maskinassistent og digital teknologi til å forbedre prosessen med å finne, anvende og få tilgang til og styre rettferdighet gjennom innovasjon.» 2 Bues trekker frem andre eksempler på definisjoner av begrepet, både smalere og bredere. Den tyske Wikipedia-siden har et av de bredeste eksemplene på legaltech, hvor det er definert som «Software and online services that support or completely automate legal work processes». En så bred definisjon sier lite om innholdet og hjelper oss derfor ikke mye på veien, og jeg ønsker derfor å bruke en mer spesifikk definisjon.
En studie av Bucerious CLP og The Boson Consulting Group (BCG) mener også at en definisjon som er for bred, ikke vil være hjelpsom. De differensierer teknologi på
kontorteknologi («office technology») og juridisk teknologi («legal tech»). Kontorteknologi innebærer all programvare som er karakterisert av at det har liten eller ingen innflytelse på den juridiske business modellen. Juridisk teknologi er ifølge denne definisjonen kun
programvare som direkte berører leveringen av juridiske tjenester. For denne oppgaven mener jeg at definisjonen blir for smal da mange løsninger som i dag blir beskrevet som
2Hartung (2018)
3
rettsteknologi vil falle utenfor denne definisjonen fordi de kun indirekte berører leveringen av juridiske tjenester.
1.2.2 Taksonomi
I starten av 2018 var det totalt 864 bedrifter som leverte tjenester innenfor rettsteknologi, ifølge en oversikt fra Standford University3. Dette er en vekst fra 717 bedrifter i løpet av et år, og viser at rettsteknologimarkedet er i vekst, også internasjonalt.
Produkter og tjenester innenfor område rettsteknologi kan deles inn i tre kategorier:
markedsplassen, programvare som yter uavhengige juridiske tjenester og de som støtter advokatene i arbeidet.
Bedrifter som tilbyr automatiserte juridiske tjenester, er typisk tjenester som behandler og håndhever krav. Det er enda ikke veldig mange slike tjenester i dag, da dette er det
vanskeligste å få til, og man kan ikke kreve at en jurist skal bruke skjønn i vurderingene.
Digitale markedsplasser gjør det mulig for kunder å enkelt finne riktig advokat, og advokatene får også mulighet til å presentere seg mer spesifikt. Tilbyderne på slike
markedsplasser kan ofte tilby standardiserte, juridiske tjener til en fast pris. Markedsplasser passer bra for de tilfeller der klientenes behov ikke kan bli møtt av en automatisert juridisk tjeneste.
Tjenester som støtter advokater jobber i motsetning til de to andre kategoriene ikke for sluttkunden, men utelukkende for advokaten/juridiske avdelinger. Dersom jeg skulle plassert tjenestene jeg skal se på i denne oppgaven i en av de tre kategoriene, ville det nok blitt denne.
Også sluttbrukere kan benytte seg av tjenester som Lovdata, men de som vil ha kunnskap til å benytte maskinlæringsdelen av tjenestene, er de med juridisk kompetanse. Slike tjenester vil likevel være relevante for sluttbrukeren, ettersom det vil kunne medføre mer effektivitet og bedre råd fra advokaten.
3 Standford University
4 1.3 Tema og problemstilling
Temaet for denne oppgaven er innføring av maskinlæring på juridiske søkeplattformer. Dette er et interessant tema som har mange flere mulige innfallsvinkler og problemstillinger. Ofte er det jurister som snakker om den juridiske siden av temaet, hvordan jurister forholder seg til rettskilder og juridisk metode. På den andre siden sitter informatikerne på mye kunnskap om maskinlæring og utvikling av plattformer. Den tydeligste ulempen med denne formen for innfallsvinkler er manglende kommunikasjon mellom juristene og informatikerne. Jeg ønsker i denne oppgaven å bruke kunnskap fra begge fagfeltene til å sette lys på temaet.
Temaet er for stort for denne masteroppgaven alene. Jeg har derfor valgt å fokusere på den problemstillingen jeg ser på som den største hindringen for at maskinlæring kan bli benyttet på juridiske søkeplattformer på en fornuftig måte. Problemstillingen jeg har valgt, er
relevansproblemet.
Ut ifra dette har jeg formulert en problemstilling. Problemstillingen består av to spørsmål:
1. Hvordan vurderer søkeplattformene hvilke eksisterende dokumenter, primært domsavgjørelser, som er relevante for hvert søk?
2. Hvordan vurderes relevansen av nye domsavgjørelser? / Hvordan skal relevansen av nye domsavgjørelser vurderes?
Oppgavens sentrale tema er det jeg kaller relevansproblemet, i konteksten av juridiske
søkeplattformer. Relevansproblemet handler kort fortalt om at en bruker kun skal få relevante dokumenter som resultater i et søk, og at de mest sentrale dokumentene skal være rangert øverst. Jeg tror at svaret på hvordan man kan løse relevansproblemet ved implementering av maskinlæring på de juridiske søkeplattformene ligger i det tverrfaglige mellom informatikk og juss. Før vi går videre, vil jeg kort forklare hvordan jeg vil bruke disse fagfeltene i denne oppgaven.
Brukerne av juridiske søkeplattformer bruker i all hovedsak plattformene for å finne juridiske dokumenter, som oftest rettsavgjørelser og lover. Å vurdere hvilke dokumenter som er relevante for ethvert søk kan ikke gjøres uten kunnskap om det juridiske domene, en kunnskap som jurister sitter på.
5
Mens en som ønsket å finne fram i rettskilder tidligere har brukt den fysiske lovsamlingen og utgivelser av rettsavgjørelser, har søket etter rettsavgjørelser stadig blitt mer digitalisert. Vi har i dag to norske store plattformer, Lovdata og Rettsdata, hvor du kan søke etter det både lover og rettsavgjørelser. For å løse relevansproblemet vil det ikke være nok at en jurist vurderer hvilke dokumenter som skal være i resultatlisten ved et gitt søk og i hvilken
rekkefølge, vi må også kunne lære opp systemene til å kunne gjøre dette riktig ved alle søk.
Jeg mener at en grunnleggende forståelse om hvordan søkeplattformer fungerer, både juridisk og teknisk, er en viktig byggestein i denne oppgaven. Videre trengs det en forståelse av hva maskinlæring er, og innenfor dette temaet vil også en forståelse av naturlig språkprosessering være viktig. Ettersom dette er en oppgave innen juss vil jeg forutsette en grunnleggende juridisk kunnskap, deriblant kunnskap om hvordan rettsinstansene fungerer.
Oppgaven er delvis juridisk, jf. Reglement for masteroppgaver i rettsvitenskap §2.
1.4 Avgrensninger
Jeg avgrenser avhandlingen til å fokusere på maskinlæring og ikke kunstig intelligens.
Uttrykkene kunstig intelligens og maskinlæring brukes ofte om hverandre, og jeg ser derfor på det som hensiktsmessig å først forklare hva kunstig intelligens er.
Kunstig intelligens
Det er mange forskjellige definisjoner av begrepet kunstig intelligens. Det er ikke enighet om en generell definisjon på tvers av fagfelt, og heller ikke innenfor et fagfelt er det en enighet om begrepet. Bendiksen og Hansen beskriver det som at definisjonene spenner fra det altomfattende til det helt spesifikke. En rapport om kunstig intelligens fra House of Lords, som er overhuset i Det britiske parlamentet, kommenterer også at det ikke finnes en bredt akseptert definisjon på kunstig intelligens.4 De legger også til at det kanskje ikke er så overraskende at det ikke finnes en bredt akseptert definisjon på maskinlæring. De begrunner dette med at det heller ikke finnes en definisjon av organisk (menneskelig) intelligens, og at det er dette som man typisk sammenligner kunstig intelligens med.
4 House of Lords (2018b) s.13
6
En måte å dele inn definisjonene på, er etter hva definisjonene legger hovedvekt på. To hovedgrupper vil her være definisjoner med hovedvekt på menneskelig adferd, og hovedvekt på det funksjonelle i systemet. Et eksempel på en definisjon med hovedvekt på menneskelig adferd finnes i Nevadas lov om autonome kjøretøy mv. Under avsnittet om autonome biler finner man definisjonen: « ‘Kunstig intelligens’ betyr bruken av datamaskiner og tilknyttet utstyr til å gjøre en maskin i stand til å duplisere eller imitere etter menneskelig adferd». 5 I den andre gruppen vil et eksempel være definisjonen fra en ekspertgruppe i EU (The High- Level Expert Group on Artificial Intelligence):
«Kunstig intelligens (AI) referer til systemer designet av mennesker som, gitt et komplekst mål, handler i den fysiske eller digitale verdenen gjennom å oppfatte sine omgivelser, tolke innsamlede strukturerte eller ustrukturerte data, resonnere i henhold til kunnskap utledet fra disse dataene og beslutte de(n) beste handlingen(e) (i henhold til predefinerte parametre) for å nå det gitte målet.»6
Denne oppgaven handler ikke primært om kunstig intelligens, og der det er relevant mener jeg definisjonen fra ekspertgruppen i EU passer best til det som kan gjøres i systemer som
Lovdata og Rettsdata. Jeg velger derfor å bruke denne definisjonen, og når jeg snakker om kunstig intelligens videre i denne oppgaven kan du anta at det er dette som menes.
1.5 Valg av metode
I denne oppgaven kommer jeg til å ta et dypdykk i plattformene Lovdata og Rettsdata, og jeg kommer også til å ha et blikk på den internasjonale aktøren ROSS.
Verken Lovdata eller Rettsdata har i dag innført maskinlæring på sine søkeplattformer. Fordi jeg ønsker å ha fokus på nettopp maskinlæringen, kan jeg derfor ikke gjøre en
sammenlignende analyse mellom Lovdata og Rettsdata. Istedenfor kommer jeg til å se på søkeplattformene i dag. Ved å se på søkeplattformene i dag ønsker jeg å se om
relevansproblemet blir løst likt i Lovdata og Rettsdata. Det gjør jeg ved å se på et søk gjort i
5Bendiksen (2019)
6 Egen oversettelse.
7
begge plattformene. Videre kommer jeg til å se på et prosjekt fra hver av aktørene på maskinlæring.
ROSS Intelligence er en aktør som selv hevder å ha vært suksessfulle i å innføre maskinlæring på en søkeplattform. Jeg har prøvd å få kontakt med ROSS for å kunne bli en bruker av
systemet og for å gjennomføre et intervju. ROSS er laget for det amerikanske rettssystemet og kan derfor ikke direkte sammenlignes med Lovdata og Rettsdata. I Lovdata og Rettsdata kan det samme søkeargumentet brukes for å sammenligne resultater, og dette ville ikke dette vært mulig i ROSS grunnet to forskjellige språk og rettssystemer. Jeg kunne derfor ikke
gjennomført en sammenlignende analyse mellom ROSS og norske juridiske søkeplattformer.
Jeg tror likevel det er verdifullt å teste ut plattformen for å se hvordan den fungerer. Videre hadde det gitt verdi til oppgaven om jeg hadde fått gjennomført et intervju med ansatte i ROSS. Det hadde vært veldig interessant å sett hva de tenker om relevansproblemet og hvordan de har løst relevansproblemet i utviklingen av ROSS.
1.6 Litteratur
Oppgaven handler først og fremst om to av de norske, juridiske søkeplattformene. Fordi jeg fokuserer på plattformer som kan brukes av norske jurister, vil ikke all internasjonal litteratur om andre rettsområder være relevante. Det har blitt gjort forskning på data-assistert juridiske plattformsøk, og på kunstig intelligens både i og utenfor Norge. Jeg vil derfor bruke både nasjonal og internasjonal litteratur til dette.
Av norsk litteratur, er det Jon Bing som utmerker seg innenfor forskningen på
rettsteknologiområdet. Rettsteknologifeltet i Norge var lite utviklet da Jon Bing skrev litteratur om dette på 70- og 80-tallet, og det er derfor ikke all litteraturen som lenger er relevant når forskningen og arbeidet med rettsteknologi har utviklet seg de siste tiårene.
Likevel er det relevant å se på hvordan rettsteknologien og teknologien har utviklet seg for å komme dit vi er i dag og for å diskutere veien videre.
8
I tillegg til den juridiske og rettsteknologiske litteraturen, er også litteratur innen informatikk relevant til deler av oppgaven. Maskinlæring er et kjent felt innen informatikk, og et felt det gjøres stadig mer forskning innen. For å kunne forstå utfordringene og mulighetene med maskinlæring på juridiske søk, er det behov for en grunnleggende forståelse innenfor både jus og informatikk. Mange av rene informatikk-kildene jeg bruker i oppgaven, er tatt fra pensum i fagene «Algoritmer og datastrukturer» og «Introduksjon til kunstig intelligens og
maskinlæring» på Universitet i Oslo.
Det har også blitt skrevet relevante masteroppgaver, både innenfor jus og innenfor
informatikk som jeg ser på og til dels bygger videre på. Masteroppgaven til Atle Oftedahl innen informatikk om maskinlæring og rettsavgjørelser er spesielt interessant da det er et prosjekt på maskinlæring ved Lovdata.7
1.7 Videre fremstilling
Avhandlingen har vært metodisk krevende på flere måter, og metodiske utfordringer er derfor det første som blir gått gjennom videre i kapittel 2.
I kapittel 3 er det en gjennomgang av relevansproblemet, der problemet som er fokuset i denne oppgaven blir presentert.
En gjennomgang av rettskildesøk i plattformer er temaet for kapittel 4. En forståelse av hva som er formålet med et informasjonssøk og hvem som utfører søkene er viktig for å forstå hvordan de juridiske søkeplattformene fungerer. Videre er det interessant se å se på hvordan en digitalisering av informasjonssøkingen har hatt en påvirkning for at man deretter kan se på hvordan maskinlæring passer inn. Lovdata og Rettsdata er de største aktørene innenfor juridiske plattformsøk i Norge, og det derfor disse plattformene jeg går inn på i dette
kapittelet og som er fokuset videre i oppgaven. Jeg gir også en introduksjon til en amerikansk plattform, ROSS, som er vellykket i å implementere maskinlæring på deres plattform for juridiske søk.
7 Oftedahl (2018)
9
Kapittel 5 er viet til maskinlæring. Fokuset i dette kapittelet er delt i to: gi deg som leser en introduksjon til det viktigste innen maskinlæring som er aktuelt videre i denne oppgaven, og å se på de ulike måtene maskinlæring kan være aktuelt på juridiske søkeplattformer.
I kapittel 6 ser jeg på et av Lovdatas og et Rettsdatas prosjekter med maskinlæring og evaluerer forsøkene.
10
2 METODISKE UTFORDRINGER
2.1 ROSS og deres svarte boks.
I tillegg til å se på prosjekter gjort av Lovdata og Rettsdata, ønsket jeg også å se på aktør som er vellykket i å implementere maskinlæring på en juridisk søkeplattform. Jeg valgte ROSS Technologies, en amerikansk løsning, til dette. Jeg ønsket å se på hvordan ROSS har løst utfordringene som Lovdata og Rettsdata står ovenfor.
Det skulle vise seg å være en metodisk utfordring å få det jeg ønsket av å se på ROSS. Det var vanskelig å få informasjon om løsningen til ROSS, antageligvis fordi det gir dem et
konkurransefortrinn at de foreløpig har så få konkurrenter som har vært vellykkede. Svar på spørsmålene «hvordan vurderer ROSS hva som er de mest relevante kjennelsene?» og
«hvordan håndterer de nye kjennelser fra domstolene» er fremdeles ubesvarte.
En annen utfordring med ROSS er å finne god, nøytral, informasjon. Den informasjonen jeg finner på nett kommer stort sett fra nyhetsartikler og ROSS sine egne nettsider. Denne
informasjonen er farget av hva ROSS ønsker å formidle for å selge produktet, og hva mediene ser på som nyhetsverdi. Jeg har eksempelvis ikke klart å finne mer nøytral forskning på ROSS.
2.2 Utvikling av Caycee Alpha
Prosjektet jeg ser på fra Rettsdata blir kalt Caycee Alpha. Systemet ble ikke utviklet av Rettsdata selv, men av et firma som heter Nordic Analyses.8 Det at Rettsdata selv ikke har utviklet prosjektet jeg ønsker å se på, er en metodisk utfordring fordi det skaper store begrensninger i hvilken informasjon fra prosjektet jeg får tilgang på.
Eksempelvis skulle jeg gjerne hatt tilgang til å vite om Nordic Analyses har tenkt på
relevansproblemet, og i så fall om de mener de har løst det og hvordan. Jeg skulle gjerne også visst mer om valg av teknologi i utviklingen av prosjektet og beslutninger underveis i
prosjektet.
2.3 Finne god litteratur
Rettsteknologi er et tema som er i vinden i 2020, og mange ønsker å lære litt. Det er gjort en del forskning på maskinlæring, men ikke så mye forskning på maskinlæring på
8 Nordic Analyses (u.å)
11
søkeplattformer. Resultatet av dette er at det er en utfordring å finne litteratur som går dypere enn at det gir advokater en viss forståelse av teknologien.
Det meste av forskningen er også gjort i utlandet, og det er derfor også en utfordring å se hvilke deler av forskningen som er relevant for løsninger med norsk rett. Mange av
utfordringene er de samme uavhengig av marked, men den beste løsningen vil kanskje være forskjellig fra land til land.
Jon Bing blir regnet som en foregangsmann innenfor rettsteknologi, mer spesifikt innenfor rettsinformatikk og har skrevet faglitteratur allerede siden 1977. Teknologien som brukes har i stor grad vært mulig i flere tiår og er således ikke noe nytt. Det som gjør denne litteraturen til en metodisk utfordring, er å se hva man trodde behovene var på den tiden og hvordan det faktisk kom til å bli brukt, kontra hvordan det blir forsøkt brukt i dag.
2.4 Uklare uttrykk
Mange av uttrykkene innenfor rettsteknologi er relativt diffusere og sier ikke så mye uten kontekst. Eksempelvis blir det ofte sagt at rettsteknologi kan være et virkemiddel for å lukke gapet mellom jussen og de som har behov for det. Men hva er egentlig gapet, og hva er behovene til de som mangler tilgang til på juss?
Oversettelsen fra engelsk til norsk byr også på utfordringer for temaer det er skrevet lite norsk litteratur om. Eksempelvis fant jeg ikke selv en god oversettelse for det engelske ordet «word embedding», og jeg endte med å henvende meg til Språkrådet, som igjen henvendte seg til institutt for informatikk på Universitet i Oslo for å finne ut at den beste oversettelsen vil være
«ordvektor».
2.5 COVID-19
Grunnet spredning av COVID-19 viruset, har hele Universitet i Oslo stengt. Dette inkluderer også de fysiske bibliotekene og muligheter til å låne bøker. Mange kilder, spesielt eldre verk er vanskelige å oppdrive digitalt, eller er scannet inn med dårlig kvalitet. Dette gjelder eksempelvis en god del av Jon Bing sin litteratur, men også bøker innen informatikk. Dette fører til en utfordring med å få tak i den litteraturen jeg ønsker å bruke. Resultatet er at jeg
12
bruker noen færre kilder enn ønsket og jeg har også måtte bruke noen andre kilder, både norsk og annen litteratur istedenfor.
3 RELEVANSPROBLEMET
3.1 Introduksjon til relevansproblemet
Relevansproblemet i denne oppgaven handler om hva som det er relevant at skal dukke opp ved hvilke søk. Relevansproblemet er ikke nytt, tvert imot har det eksistert like lenge som mennesker har hatt systemer for å finne ting. Relevans er heller ikke et nytt tema i litteraturen, verken nasjonalt eller internasjonalt. Relevans har eksempelvis vært et tema i Jon Bing sin litteratur i flere tiår.
Et simpelt eksempel på et problem der relevansproblemet har blitt løst er i den fysiske lovsamlingen. Lovsamlingen er en samling av de aller fleste norske lovene. Som bruker av lovsamlingen vil bruke denne boken dersom du ser etter en spesifikk lov, eller du ser etter et tema. Spørsmålet blir da hvordan skal en brukes finne frem i Lovsamlingen? Hva slags
systemer kan brukeren benytte? Lovsamlingen har løst dette på to måter: hvordan innholdet er strukturert, og med registre.
Lovene i Lovsamlingen er kronologisk med de eldste lovene først (med unntak av Grunnloven som er foran de eldste lovene), noe som gjør at en bruker kan finne frem til loven dersom hun vet hvilket år loven er fra.
Det finnes også to registre bakerst i Lovsamlingen. Det første registeret er et systematisk register, og gir en oversikt over hvor i Lovsamlingen lover innen et visst tema finnes.
Eksempler på tema er «Familierett», som blant annet inneholder referanser til ekteskapsloven9 og adopsjonsloven10. Det andre registeret er et alfabetisk register, og fungerer på samme måte som det alfabetiske registeret i en ordbok.
3.2 Relevans og informasjonssystemer
For å videre kunne diskutere relevansproblemet, må vi først avklare hva som ligger i begrepet relevans i relasjon til informasjonssystemer. Allerede i 1982 skrev Jon Bing om dette i sin
9 Ekteskapsloven
10 Adopsjonsloven
13
doktoravhandling. Der definerte han at en rettskildefaktor som relevant «hvis det kan utledes argumenter som bidrar til å bygge opp en rettslig norm som får anvendelse på det aktuelle problem, eller det bør vurderes om faktoren inneholder slike argumenter» 11 Mens Bing kun ser på om en rettskilde er relevant eller ikke 12, vil også graden av relevans være viktig i denne oppgaven. Jeg vil kun se på rettskilder av typen rettsavgjørelser. Hvorvidt en rettsavgjørelse vil være relevant vil derfor være avhengig av problemet.
Bing mener at relevans har en viktig rolle for informasjonssystemer. De to viktigste målene for et informasjonssystem er «presisjon» og «gjenfinningsgrad», og begge disse målingene tar utgangspunkt i at man først vet hvilke dokumenter som er relevante og hvilke dokumenter som ikke er relevante for et søk. Jeg kommer tilbake til målinger i kapittel 4.3
En annen faktor som gjør relevansproblemet ytterligere utfordringene, er at jurister vil ha ulike meninger om hvilke dokumenter som er relevante. Det kommer av at relevans ikke kan måles på en objektiv måte. Bing trekker frem et eksempel fra USA er «The Joint American Bar Foundation/International Business Machines Project» der fire erfarne advokater skulle vurdere relevansen til et dokument. Det var uenighet om relevansen til et dokument i 11% av tilfellene, og relevansen til et dokument kunne bli vurdert som «on point relevant» av en advokat og «irrelevant» av en annen.
Når vi nå vet at jurister kan være uenige om hvilke dokumenter som er uenige, er det kanskje enda viktigere å finne en definisjon av hva som skal til for at et dokument er relevant.
Formålet til et juridisk søk, er å løse et problem. Problemet kan være veldig konkret eller veldig generelt. Med utgangspunkt i dette, samt de andre momentene jeg allerede har diskutert, definerer Bing en rettskildefaktor som relevant dersom:
«(i) Brukerens løsning av det rettslige problem ville blitt annerledes hvis brukeren ikke hadde kjent innholdet i faktoren, dvs. at det av faktoren kan utledes minst ett argument;
(ii) rettslige meta-normer krever at brukeren skal undersøke hvorvidt faktoren tilhører gruppe (i); eller
11 Bing (1982) s.31
12 Bing (1982) s. 31
14
(iii) brukeren finner det selv nødvendig å vurdere hvorvidt faktoren tilhører gruppe(i)»13
Jeg kaller Bing sin definisjon for relevansdefinisjonen. Etter relevansdefinisjonen kan kravet til relevans virke ganske strengt, som at argumentet som kan utledes fra rettsfaktoren må være tungtveiende eller avgjørende. Bing presiserer at dette ikke er tilfelle, og også rettsfaktorer som bidrar med liten vekt er relevante. Det samme gjelder også for rettsfaktorer som støtter opp under en del av resonnementet som allerede er tilstrekkelig begrunnet. 14
Jeg mener relevansdefinisjonen treffer godt, og kommer til å bruke den videre i denne oppgaven. Relevansdefinisjonen kan kun brukes til å definere om et dokument er relevant eller ikke, og kan ikke brukes for å vurdere hvor relevant et relevant dokument er i forhold til et annet relevant dokument. Jeg kommer tilbake til vurdering av relevante dokumenter opp mot hverandre i kapittel 4.2. under evaluering av rangerte søk.
3.3 Relevansproblemet løst i dagens plattformsystemer
Fokuset i dette delkapittelet er å gi en forståelse for hvordan relevansproblemet er løst i de største plattformene for juridiske søk i dag. De to største plattformene for dette er Lovdata og Rettsdata og det er derfor disse jeg kommer til å se på. Jeg har ikke tilgang til kodebasen til noen av plattformene og kommer derfor ikke til å se på detaljene i hvordan de funker. Det er heller ikke det jeg ønsker å se på, da jeg ønsker å se mer overordnet på relevansproblemet. Jeg kommer til å gjøre noen antagelser om hvordan jeg tror plattformenes søkemotorer fungerer der jeg mener det er fornuftig.
Plattformenes søkemotor tar utgangspunkt i hvilke ord en bruker skriver inn som søkeargument. Resultatene fra søket vil derfor i all hovedsak være dokumenter som
inneholder søkeargumentet. Som bruker kan du velge om også synonymer skal brukes i søket.
Dersom du for eksempel søker etter ordet «skilsmisse», vil synonymene være «seperasjon*, separer* og skilsmisse*». Dokumenter som ikke inneholder søkeargumentet, men inneholder en av synonymene vil dermed dukke opp i søkt der brukeren velger å søke med synonymer.
13 Bing (1982) s. 47
14 Bing (1982) s.47
15
Det virker som at i relevansvurderingen i et søk, vil de forskjellige delene av et dokument gi forskjellig «verdi», og det samme vil hyppigheten av søkeargumentet. Eksempelvis vil et dokument som har søkeargumentet i tittelen gi større verdi enn dokumenter som har søkeargumentet lengre ned i argumentet. Eksempelvis medfører dette at dersom
søkeargumentet er «forbruker», vil forbrukerkjøpsloven15 ha større verdi enn straffeloven16. Mens forbrukerkjøpsloven har søkeargumentet i tittelen, er søkeargumentet nevnt først i kapittel 27 straffeloven17, da i en paragraf som omhandler underslag.
Begge plattformene en mulighet for å filtrere og sortere resultatene fra et søk. Forskjellen på de to er at et filter gjør at det kun er dokumenter som tilfredsstiller kravene for et filter som vil dukke opp som et resultat. Ved å sortere vil derimot alle dokumentene dukke opp som et resultat, men sorteringen bestemmer i hvilken rekkefølge. En filtrering etter dokumenter fra perioden 2010-2015 vil for eksempel gjøre at kun dokumenter fra 2010 til og med 2015 vil dukke opp, mens en sortering etter dato synkende vil gjøre at de nyeste dokumentene vil dukke opp først, og deretter de eldre. Også dokumenter fra 2009 og tidligere vil dukke opp i en sortering, og det vil de ikke i en filtrering.
Muligheten for filtrering og sortering gjør at en bruker som er ute etter dommer fra
Høyesterett innen familierett, mer spesifikt skilsmisser, har kommet ut i det siste året vil hun kun bruke «skilsmisse» som søkeargument og deretter filtrere og sortere etter dette.
4 RETTSKILDESØK I PLATTFORMER
4.1 Juridiske plattformsøk
For å enklere kunne forstå fordelene med å legge til maskinlæring på juridiske søk, vil jeg først starte med å se på hva et juridisk plattformsøk er og hvordan det går foregår.
Formål med juridisk søk
Brukere av Rettsdata og Lovdata kan deles inn i forskjellige grupper. Jeg vil tro at noen av de største gruppene kan være jusstudenter, advokater, jurister, professorer, dommere og
15 Forbrukerkjøpsloven
16 Straffeloven
17 Straffeloven §324
16
forbrukere. Forbrukere gjør kanskje et juridisk søk fordi de lurer på hvilke rettigheter de har, jusstudentene vil kanskje finne de en rettsavgjørelse de har hørt om i en forelesning, en professor vil følge med på om det har kommet noen relevante avgjørelser fra Høyesterett innen sitt fagfelt, og en advokat vil kanskje finne alle rettsavgjørelsene som er relevante for en klient sin sak. Disse søkene kan kanskje virke som fire helt forskjellige søk som løser fire forskjellige behov. Dersom man ser litt nærmere på det, kan man likevel se at de har en viktig ting til felles: alle ønsker å løse et problem. Jon Bing beskriver akkurat dette som
informasjonssøking som en del av en av beslutningsprosess. 18 Noen ganger er problemet veldig spesifikt. Eksempelvis vil forbrukeren sitt problem kunne være at en ting som er kjøpt er ødelagt og hun lurer på om hun kan kreve at selgeren reparerer den. Andre ganger er
problemer mer generelt, som at en professor ønsker å holde seg oppdatert på avgjørelser innen sitt fagfelt. Uansett om problemet er mer spesifikt eller mer generelt, så er det et problem som er utgangspunktet for informasjonssøket som blir gjort.
Hvordan et informasjonssøk utføres
Om man tar vi utgangspunkt i at den som skal utføre et informasjonssøk allerede har et problem. I boken Rettslig informasjonssøking fra 1989 skriver Jon Bing at det neste steget er å formulere et søkeargument, og det mener jeg er like relevant i dag. Et søkeargument blir definert som «det man søker med» 19. I et stikkordsregister vil søkeargumentet være det stikkordet man ønsker å slå opp på for eksempel. Bing forklarer at en bruker er underlagt to typer begrensinger når hun skal utforme søkeargumentet: begrensninger tilknyttet selve problemet og brukerens bakgrunnskunnskap og begrensninger tilknyttet søkemekanismen som informasjonssystemet tilbyr.
Dersom brukeren har tilstrekkelig bakgrunnskunnskap vil hun kunne utforme et søkeargument som bygger på en hypotese om hvor svaret finnes. La oss bruke forbrukeren fra mitt tidligere eksempel også her. Dersom forbrukeren vet at det finnes en forbrukerkjøpslov vil hun vite at det mest sannsynlig er i denne loven hun vil finne ut om selgeren har plikt til å reparere tingen. Dersom forbrukeren derimot ikke har denne bakgrunnskunnskapen, vil hun heller ikke vite hvilken lov hun burde starte å se i. Forbrukeren vil likevel kunne støtte seg på
informasjonen om problemet, nemlig at hun vet det handler om en ting, som er kjøpt av en
18 Bing (1989) Side 12
19 Bing (1989) Side 12.
17
bedrift, og at tingen nå er ødelagt. Uten forkunnskap vil veien til svar på problemet være lenger, og dersom brukeren heller ikke har så mye informasjon om problemet så kan det bli veldig vanskelig å utforme et søkeargument som fører til et svar på problemet. Det er disse faktorene som gjør at selve problemet og brukerens bakgrunnskunnskap som fører til en begrensing i utformeningen av søkeargument. Den andre begrensninger er begrensninger fra søkemekanismen som informasjonssystemet bruker. Med søkemekanisme menes her «de hjelpemidler som stilles til brukerens disposisjon for å finne frem i en samling med dokumenter» 20. Informasjonssystemet kan eksempelvis være Lovsamlingen, som er en samling av norske lover. En bruker har tilgang til to søkemekanismer i Lovsamlingen, og det er det alfabetiske registeret og det systematiske registeret. På Lovdata er det også to
søkemekanismer, et hurtigsøk og et avansert søk.
Dersom brukeren velger et søkeargument som søkemekanismen kjenner igjen, vil brukeren få en referanse til ett eller flere dokumenter. Forbruken vil eksempelvis kunne bruke
«forbrukerkjøp» som søkeargument i det alfabetiske registeret til Lovsamlingen eller i hurtigsøket til Lovdata, og i begge tilfelle få tilbake en referanse til forbrukerkjøpsloven.
Forbrukeren kan nå slå opp i loven og man kan si at den første delen at et informasjonssøk er gjennomført.
Den neste delen av et informasjonssøk, er at brukeren må lese dokumentene og vurdere om dokumentet svarer på problemet, helt eller delvis. Med andre ord må brukeren vurdere om dokumentet er relevant. Hvilke dokumenter som er relevante ved et søk med et søkeargument er kjernen av problemstillingen i denne oppgaven. Relevansspørsmålet kan igjen deles opp i to spørsmål: hvilke dokumenter er relevante, og av de relevante dokumentene er mer
relevante enn de andre relevante dokumentene?
Digitalisering av informasjonssøkingen
Ved å benytte seg av kun de trykte rettskildene, vil man som regel få løst problemet man lurer på, men det kan være mye mer arbeidskrevende enn etter at det kom digitaliserte
søkemekanismer som Lovdata.
20 Bing (1989) Side 13
18
En stor fordel med Lovdata og andre digitaliserte søkemekanismer, er at man får samlet mange flere dokumenter i en database som kan gjøre det mye enklere for brukeren å finne all informasjonen som er nødvendig. La oss tenke på forbrukeren igjen som har en ødelagt gjenstand. Vi har allerede sett at hun vil kunne finne en referanse til forbrukerkjøpsloven ved å søke i Lovsamlingen.
Vi kan nå se for oss at loven ikke gir et entydig svar på problemet til forbrukeren.
Forbrukeren kan ha brukt forbrukerkjøpsloven til å konkludere med at det foreligger en mangel, og at hovedregelen er at hun kan velge mellom retting eller omlevering. Nå lurer forbrukeren på hvor terskelen ligger for om retting «volder selgeren urimelige kostnader».21 Svaret på dette vil ikke forbrukeren kunne finne i Lovsamlingen, og forbrukeren må finne en ny søkemekanisme, eksempelvis Rettstidende hvor avgjørelser fra høyesterett blir publisert.
Dersom brukeren derimot hadde benyttet seg av Lovdata ville forbrukeren enkelt kunne søke videre for å løse det neste problemet fordi alle de nødvendige rettskildene er samlet i en database. En annen viktig fordel med digitaliserte søk, er at en bruker kan søke på flere søkeargumenter samtidig, men dette fører også med seg større utfordringer for
relevansspørsmålet.
For de søkemekanismene med en begrenset type dokumenter er relevansspørsmålet ofte ganske greit å løse. Det er ganske åpenbart at dersom man slår opp på «forbruker» i Lovsamlingen, så er en referanse til forbrukerkjøpsloven den mest relevante referansen. I Lovdata vil det også være klart at en referanse til forbrukerkjøpsloven bør komme høyt opp på trefflisten, men her må systemet også vurdere om det er noen andre typer rettskilder som er relevante til søket, og i så fall om de er mer eller mindre relevante enn forbrukerkjøpsloven.
4.1.1 Hva som er inkludert i databasen 4.1.2 Eksempel på søk
For å se hvordan plattformene vurderer relevans, vil jeg nå se på et eksempel. La oss tenke oss at du er en bruker som skal gjøre et juridisk søk. Det er en stund siden du sist jobbet med familierett, og du ønsker å lese deg opp på saker som omhandler skilsmisse. Søkeargumentet som blir brukt er derfor «skilsmisse». Du ønsker kun å få oversikt over de viktigste
avklaringene på område, og ønsker derfor kun å se på rettsavgjørelser fra Høyesterett og ikke
21 Forbrukerkjøpsloven §29(1)
19
fra domstolene under dette. Lovdata og Rettsdata har litt forskjellige funksjoner for hvor filtrering og sortering, og jeg skal forsøke å gjøre søkene likest mulig. Videre skal jeg se på resultatene fra et søk i Lovdata og et søk i Rettsdata og forsøke å vurdere om resultatene er relevante etter Bing sin relevansdefinisjon.
Søk i Lovdata
Figur 1. Illustrasjon av søk etter "skilsmisse" i Lovdata
De relevante filtrene i Lovdata er rettskilde, periode og rettsområde. Jeg har brukt filtrene
«Rettskilde: Høyesterett» og «Periode: 2019-2020». Jeg kunne også brukt filteret «Familie-, person- og barnerett», men gjorde det ikke i denne testen da Rettsdata ikke har et tilsvarende søk og jeg ønsket å bruke et mest mulig likt utgangspunkt for søkene slik at de kan
sammenlignes.
20 Søk i Rettsdata
Figur 2: Illustrasjon av søk etter "skilsmisse" i Rettsdata
I Rettsdata kan man kun filtrere etter rettskilde, samt bruke sorteringer. Jeg har valgt å bruke sorteringen «Dato synkende».
4.1.2.1 Vurdering av resultatene
Jeg skal nå se på resultatene fra søket i Lovdata og i Rettsdata. I Lovdata brukte jeg en filtrering på perioden og valgt 2019-2020. I Rettsdata er det kun en sortering på synkende dato, og jeg kommer derfor bare til å se på resultatene fra Rettsdata som er fra 2019-2020.
21
Nedenfor kan du se en oversikt over hvilke dokumenter som ble funnet i søkene fra Lovdata og Rettsdata og min vurdering av hvilke dokumenter som er relevante for søket som ble gjort.
Rettsavgjørelse Rettsdata Lovdata Relevant?
HR-2019-1230-A X Ja
HR-2019-2420-A X X Ja
HR-2019-1675-A X Nei
HR-2020-976-A X X Nei
HR-2019-1074-A X X Nei
Figur 3: Oversikt over rettsavgjørelser fra søket
Som man kan se av oversikten, fant Lovdata alle de tre dokumentene som Rettsdata fant og i tillegg to andre. I Rettsdata sitt søk jeg måtte sortere etter dato for å kunne finne dommene som er fra den tidsperioden jeg var ute etter. Dette innebærer at resultatene fra Rettsdata ikke dukker opp i Videre vil jeg nå se på dommene som har blitt funnet og forsøke å vurdere om dommene er relevante etter Bing sin relevansdefinisjon som jeg forklarte i kapittel 3.2. Det er viktig å merke seg at jeg ikke har en ekspertise innen familierett, og mine vurderinger bør derfor sjekkes av en jurist som har familierett som sin ekspertise.
HR-2019-1230-A
I Lovdata sitt søk er dette det dokumentet som er rangert som nummer 1, og dukket ikke opp i Rettsdata sitt søk. Saken handlet om et separert par som hadde felles foreldreansvar for to barn (henholdsvis seks og fem år gamle). Begge barna bodde fast hos sin mor, mens far hadde
«omfattende» samvær.Spørsmålet i saken var om mor hadde rett til å flytte til Italia med barna med barnelova22 som rettslig grunnlag. 23
Søkeargumentet som ble brukt for søket, «skilsmisse», er ikke nevnt i dommen. Derimot ble
«et separert par» brukt en gang i sammendraget til Lovdata, og «vart separerte» brukt en gang i oppsummeringen av forholdene. Dommen er skrevet på nynorsk, men jeg tror ikke det er en relevant faktor i dette tilfelle, da «skilsmisse» som ble brukt som søkeargument er det samme for både bokmål og nynorsk.
22 Barnelova §56 første ledd, tredje punktum.
23 HR-2019-1230-A
22
For at et dokument skal være relevant må det oppfylle minst ett av de tre vilkårene i
relevansdefinisjonen. Det første spørsmålet er derfor om det av faktoren (høyesterettsdommen i dette tilfelle), kan utlede minst ett argument.24 Problemet for søket var relativt generelt og det er noe uklart hva slags argument en bruker med dette søket ville kunne få. Jeg mener likevel at sett at brukeren ønsket informasjon om nyere rettspraksis fra Høyesterett som omhandler skilsmisser, så vil dommen kunne utlede et argument. Argumentet mener jeg vil være en praksis om vurdering av barnas beste i en situasjon der en av foreldrene vil flytte til et annet ledd etter en skilsmisse og begge foreldrene fra før hadde samvær med barna. I veldig mange saker som omhandler skilsmisser der ekteparet har barn, er spørsmålet om hvor barna skal bo et viktig spørsmål. Etter dette mener jeg at det kan utledes et argument for et så generelt søk om skilsmisse, og at kravet til relevans etter relevansdefinisjonen dermed er oppfylt.
Jeg mener derfor at dommen er relevant for et så generelt søk om skilsmisse, da spørsmål om barnas bosted er et så stort tema innen skilsmisser.
HR-2019-2420-A
I både Lovdata og Rettsdata sitt søk er dette dokumentet rangert som nummer 2. Jeg er mindre interessert i hvilken plassering et dokument har hos Rettsdata, da dokumentene er sortert eller dato og ikke etter relevans. At dette dokumentet er rangert som nummer 2 hos Rettsdata betyr derfor at det er det nest nyeste dokumentet som passer til søkeargumentet og er innenfor filteret avgjørelser fra Høyesterett.
Saken handlet om en norsk og en danske statsborger som hadde vært gift i mange år og som gikk fra hverandre i 2016. I forbindelse med samlivsbruddet oppsto det en tvist mellom de tidligere ektefellene, der kvinnen krevde ektefellebidrag. Spørsmålet i saken er hvilken lands rettsregler de norske domstolene skal legge til grunn for vurdering av kravet om
ektefellebidrag. 25
24 Bing (1982) s.47
25 HR-2019-2420-A
23
For relevansvurderingen er det første spørsmålet om det kan utledes minst ett argument fra Høyesterettsdommen etter relevansdefinisjonen. En som kun er interessert i saker der begge partene i en skilsmisse er norske, vil nok ikke kunne utlede et argument fra dette dokumentet.
Det vil derimot en bruker som eksempelvis har klienter som ønsker en skilsmisse og en/begge av ektefellene har bodd i utlandet. For en slik bruker mener jeg denne saken er veldig
relevant, da hvilket land sine rettsregler som skal legges til grunn for rettigheter i en
skilsmisse vil være viktig for hva ektefellene har krav på. Søkeargumentet var igjen ganske bredt, og jeg mener derfor at en bruker vil kunne utlede et argument fra denne saken eksempelvis dersom brukeren har klienter med et lignende faktum som i saken.
Søkeargumentet er nevnt flere steder i teksten, for første gang allerede helt starten i
dokumentet der det blir forklart at «Saken gjelder hvilket lands rett som skal legges til grunn i en sak som gjelder pengekrav i forbindelse med en skilsmisse»26
Etter relevansdefinisjonen er derfor dette dokumentet relevant.
HR-2019-1675-A
I Lovdatas søk kom denne dommen som det tredje resultatet, og dukket ikke opp i Rettsdatas resultater. Saken handler om en mor som hadde en datter som led av spiseforstyrrelse og som hadde tatt med datteren for å bo i en hytte i skolen uten å skaffe datteren livsnødvendig helsehjelp og datteren døde av spiseforstyrrelsen. Spørsmålet i saken var om morens unnlatelse til å skaffe datteren hjelp var en mishandlingssituasjon som ble rammet av straffeloven27.
Søkeargumentet ble ikke nevnt i teksten, mens synonymet «separert» ble brukt en gang for å forklare at foreldrene ble til jenta ble separert i 2003 og at moren fikk foreldreansvaret alene.
For relevansvurderingen er det første spørsmålet om det kan utledes minst ett argument fra Høyesterettsdommen etter relevansdefinisjonen. Saken handler ikke om en skilsmisse, og heller ikke vanlige forhold i etterkant av en skilsmisse som spørsmål om hvor eventuelle barn skal bo. Jeg mener dermed at det ikke kan utledes ett argument for en bruker som søker etter
26 HR-2019-02420-A Første avsnitt.
27 Straffeloven §282 og §282
24
«skilsmisse» i perioden 2019-2020. Det neste spørsmålet er om rettslige meta-normer krever at brukeren skal undersøke hvorvidt brukerens løsning av det rettslige problemet ville blitt annerledes dersom brukeren ikke kjente forholdet i dommen, jf. punkt to i
relevansdefinisjonen. Jeg mener svaret på det er nei. Til slutt blir spørsmålet om brukeren selv finner det nødvendig å vurdere hvorvidt løsningen av det rettslige problemet ville blitt
annerledes dersom brukeren ikke kjente forholdet i dommen, jf. punkt tre i
relevansdefinisjonen. Jeg mener svarer på dette også er nei, da jeg ikke ser noen trekk ved denne dommen som skulle få brukeren til å tenke at det er en mulighet for at dommen muligens kan ha påvirkning på brukerens løsning av det rettslige problemet.
Etter dette mener jeg at dommen ikke er relevant.
HR-2020-976-A
I Lovdatas søk er dommen vurdert som nummer 4 og i Rettsdatas søk det første resultatet.
Saken gjaldt en mann som blant annet har blitt dømt for gjentatt og grov voldtekt. Spørsmålet i saken var om mannen skal forvares skal idømmes.28
Søkeargumentet blir nevnt et sted i teksten, i kontekst av at mannen anerkjenner problemer i nære relasjoner, og mener at adferden har sammenheng med tidligere hendelser i livet som foreldrenes skilsmisse.
Jeg mener relevansvurderingen blir den samme som for HR-2019-1675-A, og viser derfor til denne.
Etter dette mener jeg at dommen ikke er relevant for søket.
HR-2019-1074-A
Saken er rangert som nummer fem i Lovdatas søk og som nummer tre i Rettsdatas søk. Saken handler om en mann som sammen med sin samboer kjøpte en eiendom i 1996. Paret gikk gjennom et samlivsbrudd i 2006 og den tidligere samboeren overdro sin del av eiendommen
28 HR-2020-976-A
25
til mannen. Spørsmålet i saken er om perioden hvor samboerne eide eiendommen sammen, skal telle med i ved beregning av hevdstiden. 29
Søkeargumentet er nevnt ett sted i dommen30. Der blir forklart at ved skilsmisse før
hevdstiden er fullført, er det lagt til grunn at den ene ektefellen kan fullføre hevdstiden, og at hensynet til likestilling mellom ektefeller og samboere lå bak lovendringen i odelsloven §1531. For faktum i saken var det snakk om et samboerskap og ikke et ekteskap. Skilsmisse ble
tilsynelatende kun nevnt for å bruke hensynene bak reglene for en skilsmisse også på samlivsbrudd mellom samboere. For relevansvurderingen mener jeg derfor at saken ikke handler om forhold før, under eller etter en skilsmisse og relevansvurderingen min blir den samme som for HR-2019-1675-A.
Jeg mener denne dommen ikke er relevant for søket.
29 HR-2019-1074-A
30 Avsnitt 34.
31 Odelsloven §15
26 4.2 Informasjonssystemer (IR)32
I forrige delkapittel så vi på hvordan en bruker kan utføre et juridisk plattformsøk, og nå skal se på hva et plattformsøk er fra et mer teknisk perspektiv. Det er viktig å ha en viss innsikt i hvordan disse søkene fungerer også fra et teknisk perspektiv når vi senere skal se på hvordan plattformene kan utvides til å benytte maskinlæring. Uten en teknisk forståelse av
plattformsøk vil det være vanskelig å forstå utfordringene med maskinlæring, da spesielt relevansproblemet. Det vil også kunne være vanskelig å forstå mine forslag til løsninger i kapittel 7. Dette delkapittelet fokuserer på informasjonssystemer, og senere vil vi bygge på den tekniske kompetansen og se på maskinlæring og naturlig språkprosessering.
Informasjonssystemer er en oversettelse av det engelske begrepet «information retrieval» og defineres som at «Informasjonssystemer (IR) er å finne materiale (vanligvis dokumenter) av en ustrukturert natur (vanligvis tekst) som tilfredsstiller et informasjonsbehov innenfor store samlinger (vanligvis lagret på maskiner).»33
Hva betyr egentlig denne definisjonen?
Ustrukturert data er et teknisk begrep som kort fortalt innebærer at dataen ikke er strukturert eksempelvis i en predefiner relasjonsdatabase. 34 Lover, rettsavgjørelser og andre dokumenter som kan søkes opp i juridiske søkeplattformer regnes som ustrukturert data. For juridiske søkeplattformer vil det være brukerens informasjonsbehov som skal bli tilfredsstilt.
Informasjonsbehovet kan være at de ønsker å finne en spesifikk lov eller svar på et spesifikt juridisk spørsmål. Samlingen vil være alt som finnes i databasene til søkeplattformene, og materiale som blir funnet vil typisk være rettsavgjørelser, men omfatter også andre
dokumenter som lover og forarbeider. Som vi kan se, er søk i juridiske søkeplattformer som Lovdata og Rettsdata eksempler på informasjonsinnhenting.
I plattformsøk er det dokumenter som skal finnes, og jeg velger derfor å bruke begrepet
«dokumentinnhenting» istedenfor «informasjonsinnhenting» videre.
32 Manning (2008)s.1. Oversettelse. Orginaltekst «Information retrieval (IR). Jeg brukt Jon Bing sin begreper for denne oversettelsen
33 Manning (2008) s.1 Egen oversettelse. Orginaltekst «Information retrieval (IR) is finding material (usually documents) of an unstructured nature (usually text) that satifisfies an information need from within large collections (usually stored on computers).”
34 Manning (2008) s. 1
27
Et søkesystem er et system, eksempelvis en søkemotor som har implementert
informasjonssystemer. Søkemotorene til Lovdata og Rettsdata vil dermed være søkesystemer, mens de forskjellige teknologien som blir testet for å finne den beste løsningen er
informasjonssystemer.
Søkesystemer kan være ganske enkle. Et eksempel på et enkelt system vil være at man skriver inn et ord som søkeargument og får tilbake alle resultater som inneholder det ordet. Systemet kan gjøres gradvis mer komplisert, eksempelvis ved at flere ord må være inneholdt i samme resultat, eller at enten det ene eller det andre ordet må være inkludert. Et eksempel på et avansert system for informasjonsinnhenting er søkemotoren Google.
4.2.1 Evaluering
For denne oppgaven vil det spesielt være et tema som er sentralt innen informasjonssystemer, og det er evaluering. Evaluering handler om å kunne vurdere hvor godt er system fungerer, slik at man eksempelvis kan vurdere flere systemer opp mot hverandre. Evaluering gjør det også mulig å vurdere om en endring fører til en forbedring eller ikke. I tillegg kan også evaluering brukes for å vurdere hvor bra et søk er.
Jeg starter med å se på evaluering der resultatene kun blir markert relevante/ikke relevante, da dette er den enkleste formen.
4.2.1.1 Evaluering av ikke-rangerte søk.
Enten vil et dokument være i resultatlisten i et søk, eller så vil det ikke det. Ut ifra dette kan vi dele inn dokumenter i fire kategorier basert på ekte og falske søkeresultater. De ekte
resultatene er de resultatene som har havnet der de skal være, og de falske resultatene er de som har havnet på feil sted.
Dersom et dokument er relevant og det dukker opp som et resultat vil det være i kategorien
«ekte positiv» (EP). Dersom dokumentet derimot ikke er relevant og det heller ikke dukker opp som et resultat vil det være i kategorien «ekte negativ» (EN). Videre vil et dokument som er relevant, men ikke dukker opp som et resultat vil det være «falsk negativt» (FN). Til slutt vil et dokument som ikke er relevant, men likevel dukker opp som et resultat være «falsk positiv» (FP). Jeg kaller prosessen for å vurdere hvilke dokumenter som er relevante og hvilke som ikke er relevante for relevansvurderingen.
28
Et eksempel på relevansvurderingen kan være at du gjør et søk etter «straffeprosessloven 222a», en bestemmelse som omhandler besøksforbud. Det første treffet som dukker opp, er straffeprosessloven. Dette treffet er klart relevant og vil dermed være et ekte positivt treff. Et falskt negativt treff vil kunne være en rettsavgjørelse som omhandler beslutning om
besøksforbud etter straffeprosessloven §222a35 og som ikke dukker opp som et resultat.
Kjøpsloven36 er et eksempel på en lov som ikke dukker opp i resultatlisten. Loven omhandler ikke og har heller ikke en referanse til straffeprosessloven §222a, og vil derfor være et ekte negativt treff. Dersom forbrukerkjøpsloven kommer opp i resultatlisten, vil dette være falskt positivt treff. Forbrukerkjøpsloven er falskt positivt fordi det som i likhet med kjøpsloven ikke handler om eller referer til straffeprosessloven §222a
Hva er målet?
Målet med et søk vil alltid være å ikke ha noe falske positive eller falske negative, ettersom det betyr at resultatene har havnet der de skal være og dermed fungerer også systemet optimalt. Sett at systemet har noen falske positive eller negative, blir det neste spørsmålet hvilken kategori det er viktigst å ha færrest mulig av. For noen systemer vil det viktigste være at alle relevante treff kommer i resultatlisten, og i så fall vil målet være ingen falske negative.
I andre tilfeller vil det viktigste kunne være at alle treffene i resultatlisten er relevante treff, og i så fall er målet ingen falske positive.
Evalueringsmetoder
Vi kan nå bruke disse kategoriene til å evaluere hvor godt et søk er. Det finnes flere måter å måle hvor godt et søk er. Jeg kommer til å se på to metoder, kalt nøyaktighet og
gjenfinningsgrad.37 Disse to metodene er mye referert til Bing sin litteratur, men også i informatikk i nyere tid.
Begreper
Med dokumenter som blir returnert, mens det videre de dokumentene som etter et søk typisk dukker opp i en resultatliste.
35 Straffeprosessloven §222a
36 Kjøpsloven
37 Bing (1982) s. 46
29
Med en samling menes det alle dokumentene som det kan søkes blant, eksempelvis vil alle de norske lovene være samlingen i Lovsamlingen.
Nøyaktighet
Den første metoden måler nøyaktighet. Med nøyaktighet menes det her forholdet mellom relevante dokumenter som blir returnert, og antall dokumenter i samlingen. Utregningen på dette vil se slik ut:
𝑁ø𝑦𝑎𝑘𝑡𝑖𝑔ℎ𝑒𝑡 = EP + EN
EP + EN + FP + FN38
Måling av nøyaktighet kan være nyttig i eksempelvis søkemotorer som Google. For denne type søk er det viktig å vite at treffene på den første siden er relevante, men ikke viktig å vite om treffene på side 50 er relevante eller ikke. 39
For mange systemet vil det å måle nøyaktighet vil sjeldent være en god metode alene. Dersom vi tenker oss hele samlingen med rettskilder, og vi skal søke på straffeloven §222a, vil det være relativt få dokumenter som faktisk er relevante. Ved å kun måle nøyaktighet vil systemet kunne si at ingen dokumenter er relevante og fortsatt gjøre det ganske bra etter
nøyaktighetsmålingen. Forklaringen til dette er at EN, altså ekte negative vil være den absolutt største majoriteten av dokumentene. 40 Måling av nøyaktighet vil derfor gi oss liten innsikt i hvor stor del av de relevante dokumentene som faktisk blir funnet.
Gjenfinningsgrad
Den neste metoden måler gjenfinningsgrad.41 Denne metoden finner hvor stor del av alle relevante dokumenter som blir funnet. Utregningen for dette vil se slik ut:
𝐺𝑗𝑒𝑛𝑓𝑖𝑛𝑛𝑖𝑛𝑔𝑠𝑔𝑟𝑎𝑑 = 𝐸𝑃 𝐸𝑃 + 𝐹𝑃
38Oftedahl (2018), Manning (2008) s.143
39 Manning (2008) s. 143
40 Manning (2008) s. 143
41 Oversettelse av Oftedahl (2019) som bygger begrepet «recall» fra Manner et al (2008). Jeg bruker Bing sitt valg av begrep, Bing (1982) s. 46
30
Denne metoden for måling vil typisk være viktigere for det som kan kalles profesjonelle søkere. 42 Juridiske søk vil typisk havne inn under dette, da det for en advokat kan være veldig viktig å vite at hun har funnet alle dokumentene som er relevante for hennes sak. Dersom alle dokumenter fra samlingen blir kategorisert som relevante, altså funnet i alle søk, vil målingen gjøre det bra for presisjon.
Som vi kan se fokuserer både metoden for nøyaktighet og presisjon på evalueringen av ekte positive resultater. En vil kunne få et høyt resultat for nøyaktighet dersom systemet sier at ingen dokumenter er relevante, og et høyt resultat for tilbakekall dersom systemet sier at alle dokumenter er relevante. På en måte vil derfor disse metodene utfylle hverandre noe.
4.2.1.2 Evaluering av rangerte søk
For søk i en juridisk søkeplattform er det viktig for brukerne å ikke bare få relevante treff, men også at de mest relevante dokumentene kommer først. Tilbake til eksempelet med et søk etter straffeprosessloven §222a ville det vært upraktisk om selve straffeloven først kommer som dokument nr. 25, bak 24 rettsavgjørelser fra tingretten. Derfor introduserer vi nå rangerte søk. Rangerte søk betyr at vi ikke lenger bare bryr også om hva som finnes i et søk, men også i hvilken rekkefølge de kommer i. Rangerte søk innebærer at dokumentene som er ekte positive, vil få en verdi ut ifra hvor relevant et dokument er i forhold til de andre
dokumentene. Rangerte søk krever andre metoder for evaluering enn ikke-rangerte søk, og det skal jeg se på videre.
For å kunne evaluere rangerte søk, er det to viktige faktorer i tillegg de det vi allerede har gått gjennom for ikke-rangerte søk. Disse faktorene er relevansverdier og nye
evalueringssystemer.
For ikke-evaluerte søk var det kun viktig om et treff var relevant eller ikke. For rangerte søk må dette byttes ut med det jeg kaller en relevansverdi. Alle dokumenter får en relevansverdi, og relevansverdien skal si noe om hvor relevant et dokument er. Gitt en skala 0-100, vil dokumenter som får en relevansverdi på 0 være ikke relevante, og et dokument med en relevansverdi på 100 vil være så relevant som det kan bli.
42 Manning (2008) s. 143
31
Evalueringssystemene jeg har sett på hittil tar ikke med i betraktning at dokumentene har en relevansverdi, og det er derfor behov for nye systemer for å evaluere rangerte søk.
Det finnes mange systemer som kan brukes for å evaluere rangerte søk, og systemene bruker forskjellige metoder og evaluerer også forskjellige ting. Jeg mener at det mest interessante for denne oppgaven er målingen av kvaliteten på en rangering. Altså en evaluering av hvor gode resultatene ved et søk er. Dette kan NDCG (Normalized Discounted Cumulative Gain) brukes til. 43
Det som er verdt å merke seg med NDCG er at det gjør to antagelser om dataen. Den første antagelsen er at relevante dokumenter er verdt mer når de vises tidligere i listen. Den andre antagelsen er at relevante dokumenter er verdt mer enn mindre relevante dokumenter, som igjen er verdt mer enn dokumenter som ikke er relevante. Dersom man kun ser på DCG, altså NDCG uten «Normalized», betyr disse antagelsene bruker en gradert relevans-skala for dokumenter i resultatliste for å måle relevansen.44
Et system kan få gode resultater, og dårlig resultater i et annet søk. Den vanligste løsningen for dette er en metode for evaluering som kalles MAP (mean average precision). Da den matematisk formelen for å regne ut MAP er noe komplisert, og heller ikke nødvendig for denne oppgaver, velger jeg og ikke ta med formelen for utregning.
4.3 PLATTFORMENE 4.3.1 Lovdata
Stiftelsen Lovdata (heretter Lovdata) er en allmennyttig (privat) stiftelse som ble opprettet i 1981 av Justisdepartmenetet og Det juridiske fakultet ved Universitet i Oslo. Da Lovdata ble startet var formålet å konvertere produksjonssystemet for Lovsamlingen fra den
konvensjonelle trykken til et datamaskinbasert system.45
I dag er Lovdata mest kjent for lovdata.no, som er kjent av de fleste studenter og
yrkesutøvende som en nettside som har samlet et bredt spekter av rettskilder som dekker de
43 Manning (2008) s.149
44 Manning (2008) s. 149
45 Bing (1989) s.42
32
fleste behov for juridiske søk. Lovdatas system består nå av nærmere 200 informasjonsbaser, og inneholder blant annet norske lover, internasjonale traktater, rettsavgjørelser, forarbeider, stortingsdokumenter, og en rekke andre ting. 46 På nettsiden ligger en rekke av rettskildene og en søkemotor åpent og tilgjengelig for alle. I tillegg tilbyr Lovdata en betalingsløsning, Lovdata Pro. Denne tjenesten tilbyr langt flere rettskilder, blant annet uttalelser og
forarbeider. I tillegg får man tilgang til en rekke andre funksjonaliteter som avansert søk og utvalg.
I tillegg til tjenestene på lovdata.no, tilbyr Lovdata også andre nettsider og tjenester. Et eksempel på en slik tjeneste er nettsiden europalov.no, som er en nettside med informasjon om EØS- og Schengen-saker. 47 Disse andre tjenestene til Lovdata er ikke en del av den plattformen jeg ønsker å se på for juridiske rettskildesøk, og jeg kommer derfor ikke til å gå nærmere inn på disse.
4.3.1.1 Funksjonalitet i Lovdata
Lovdata.no har mange funksjonaliteter som er tilpasset forskjellige brukergrupper.
Eksempelvis vil studenter kanskje ha et annet behov enn det jurister vil ha i arbeidshverdagen sin. Jeg kommer til å fokusere til de funksjonalitetene som er relevante for en situasjon hvor noen bruker plattformen til juridiske rettskildesøk. Disse funksjonalitetene kan på tvers av forskjellige brukergrupper.
Lovdata Pro har to søkefunksjoner, hurtigsøk og avansert søk. I et intervju jeg har gjennomført med Lovdata forklarer de at søkemotorene brukes på to forskjellige måter.
Dersom du vet hva du søker etter, er det avanserte søket best. Dersom man ikke vet helt hva man leter etter, er derimot hurtigsøket best.48 Et eksempel på et tilfelle der hurtigsøk vil være best, er dersom man leter etter loven som handler om promillegrenser ved bilkjøring.
Avansert søk vil passe best dersom du vet at det er hvor i vegtrafikkloven49 som omhandler straff ved bilkjøring med over lovlig promillegrense, og du ønsker å finne
Høyesterettsdommer som handler om spesifikt slike brudd.
46Lovdata
47Lovdata
48 Lovdata, Intervju med Lovdata for denne masteroppgaven
49 Vegtrafikkloven §31
