7101 7481
BCR3103
Bacheloroppgave
Bacheloroppgave Høyskolen Kristiania
Vil konsumering av de mest anbefalte politiske videoene på YouTube forårsake anbefaling av falske nyheter eller ekstremt, konspiratorisk og radikalt innhold?
Vår 2021
Antall ord: 7136
«Denne oppgaven er gjennomført som en del av utdannelsen ved Høyskolen Kristiania.
Høyskolen er ikke ansvarlig for oppgavens metoder, resultater, konklusjoner eller anbefalinger»
Sammendrag
I denne studien tar vi for oss videodelingsplattformen YouTube og dens angivelige tilbøyelighet til å anbefale videoer med innhold av en radikal, konspiratorisk eller ekstremistisk art. Vi ønsket å teste denne påstanden og utviklet en metode for å undersøke den. Ved bruk av
AlgoTransparency har vi funnet de høyest anbefalte videoene med politisk innhold over en periode på 7 dager, og ved hjelp av predefinerte klassifiseringer har vi laget 3 spillelister; en liste med videoer med politisk høyreorientert innhold, en liste med videoer med politisk
venstreorientert innhold, og en liste med politisk innhold uavhengig av politisk orientasjon.
Videre opprettet vi 3 nye brukerkontoer, og hver konto så utelukkende på én av disse spillelistene.
Da eksperimentet var gjennomført, analyserte vi de 100 øverste videoanbefalingene på hver av kontoenes respektive startsider, og kategoriserte dem i henhold til de predefinerte
klassifiseringene.
Resultatene av eksperimentet peker på at hypotesen om at konsumering av de mest anbefalte politiske videoene ville føre til at tjenesten anbefalte brukeren videoer av en radikal,
konspiratorisk eller ekstremistisk art ikke stemmer. På en annen side peker funnene på at
YouTube har en tilbøyelighet til å vise brukeren videoer med politisk venstreorientert innhold, og i ytterste konsekvens tilrettelegge for politisk venstreorienterte ekkokamre.
Vi håper eksperimentet og dets funn vil være interessante og relevante i henhold til
bevisstgjøring av tjenestens brukere, så vel som utviklere og personer som jobber med utforming av lignende digitale tjenester.
Forord
Vi ønsker å takke vår veileder, Knut-Eric Joslin, som har bidratt med gode innspill og forslag til gjennomføringen av dette prosjektet.
Innholdsfortegnelse
Sammendrag 2
Forord 2
Innholdsfortegnelse 3
1. Innledning 4
2. Problemstilling 6
2.1 Metode og resultater 6
2.2 Bakgrunn - YouTubes brukergrensesnitt og verdiforslag 7
3. Teori 10
3.1 Årsaken til at noen videoer blir mer populære enn andre 10
3.2 Hvordan påvirker følelser visninger? 11
3.3 Algoritmens påvirkning på verdiforslaget 13
4. Metode og datainnsamling 15
4.1 Metode: Eksperiment på YouTube 15
4.2 Hva er AlgoTransparency? 15
4.3 Beskrivelse av eksperiment 16
4.4 Klassifisering av videoer 18
4.5 Fremgangsmåte ved klassifisering av videoer 22
5. Resultater og diskusjon 22
5.1 Diskusjon av resultater 25
5.2 Fake news, radikalt, konspiratorisk og ekstremt innhold 26 5.3 Andre kommentarer til utførelse av eksperiment og analysering av funn 27
6. Oppsummering/avslutning 28
7. Konklusjon 28
7.1 Begrensninger og tilkortkommenheter ved metoden 29
Litteraturliste 29
1. Innledning
YouTube er i dag den største videodelingsplatformen i verden. Plattformen har over 2 milliarder aktive brukere (YouTube, 2021), og brukerbasen er stadig voksende. På grunn av dette har de stor innflytelse på hvilken informasjon, nyheter og annet innhold jordens befolkning eksponeres for på en daglig basis.
YouTube er gratis å bruke, og plattformen finansieres i stor grad av ulike former for reklame som vises til brukerne rundt om på nettsiden, i tillegg til før, etter og underveis i videoene. I praksis betyr dette at plattformens inntekter øker i takt med antall videoer som vises, noe som
insentiverer at plattformen iverksetter tiltak og strategier for å øke antall videoavspillinger på plattformen.
Det har flere ganger blitt påstått at YouTubes algoritmer har promotert radikalt innhold gjennom sine forsøk på å øke aktiviteten på plattformen. Flere av påstandene omhandler at brukere har blitt eksponert for videoer med konspiratorisk, ekstremistisk, radikaliserende og rasistisk innhold (Bryant, 2020; Newton, 2019; Vasileva, 2018).
De angivelige årsakene til at denne problemstillingen har oppstått, er mange og komplekse.
Plattformens forretningsmodell, som i hovedsak baserer seg på reklameinntekter, vil naturlig legge opp til at brukere bør se så mange videoer, og derfor også reklamer, som mulig. Dette har ført til at plattformen har introdusert ny funksjonalitet, med formål om å øke inntektene. Et eksempel på slik funksjonalitet er plattformens anbefalingsalgoritme, en algoritme som foreslår og anbefaler videoer basert på brukernes tidligere aktivitet. Resultatet av dette er at brukere blir presentert med skreddersydde startsider, fulle av videoer algoritmen har anslått høy
sannsynlighet for at brukeren vil trykke på. Antallet brukere og avspillinger på plattformen kan tyde på at mange opplever den skreddersydde opplevelsen som uproblematisk, og at personlige anbefalinger tilfører merverdi til tjenesten. Problematikken oppstod imidlertid da algoritmen angivelig skal ha begynt å anbefale gradvis mer ekstremistisk og radikalt innhold til brukerne.
Faksimile: Diverse overskrifter hentet fra internett.
Plattformen har også blitt anklaget for manglende moderasjon av innhold, og at
anbefalingsalgoritmen bidrar til å forsterke og radikalisere brukernes allerede foreliggende holdninger. I et åpent brev adressert til administrerende direktør i Google (YouTubes moderselskap), Sundar Pichai, og administrerende direktør i YouTube, Susan Wojcicki, beskylder den amerikanske kongressen YouTube for å ha tilrettelagt for organisering av stormingen av den amerikanske kongressen 6. Januar 2021 (Eshoo, Malinowski 2021).
YouTube hevder på sin side at de har iverksatt en rekke endringer for å forebygge at innhold av denne typen ender opp på plattformen, ved å blant annet fjerne slikt innhold når det rapporteres inn av brukere. “Borderline content”, videoer som inneholder elementer av ekstremisme, men ikke nok til å bryte med plattformens retningslinjer, blir angivelig også sjeldnere anbefalt av algoritmen enn andre videoer (YouTube, 2021)
Redirect Method er et annet tiltak YouTube har iverksatt for å forhindre spredning av ekstremt og radikalt innhold. Programmet ble lansert av YouTube i juli 2017 (YouTube Team, 2017).
Programmets funksjon er å føre brukere som oppsøker og viser interesse for ekstremt innhold til videoer som inneholder motargumenter til disse holdningene. Programmet ble introdusert av YouTube i etterkant av undersøkelser gjort av The Times of London1, som blant annet avdekket at instruksjonsvideoer som viser hvordan en bombe kan lages var tilgjengelig på plattformen (Hamilton, 2017). Denne undersøkelsen ble gjennomført kun få dager etter at en
selvmordsbomber detonerte en bombe i Manchester i mai 2017 (Counter Extremism Project 2018, 3).
Gjennom dette prosjektet søker vi å videre belyse dette temaet, og undersøke dagens brukeropplevelse på YouTube, i kjølvannet av anklager, kritikk, og tiltak iverksatt for å forebygge spredning av falske nyheter, ekstremt, konspiratorisk og radikalt innhold.
2. Problemstilling
Vil konsumering av de mest anbefalte politiske videoene på YouTube forårsake anbefaling av falske nyheter eller ekstremt, konspiratorisk og radikalt innhold?
2.1 Metode og resultater
Prosjektets metode baserer seg på innsamling og klassifisering av de oftest anbefalte videoene over en periode på til sammen 7 dager. AlgoTransparency har utviklet et verktøy som muliggjør denne innsamlingen, og det var dette vi benyttet oss av i innsamlingsprosessen.
Etter klassifisering av videoene, satt vi igjen med 3 spillelister á 35 videoer; en liste med videoer med politisk høyreorientert innhold, en liste med videoer med politisk venstreorientert innhold, og en liste med politisk innhold uavhengig av politisk orientasjon.
Videre opprettet vi 3 nye brukerprofiler. Brukerprofilene ble opprettet på en slik måte at det forelå minimalt med brukerdata som kunne påvirke resultatene. Dette blir beskrevet nærmere i
1The Times, er en britisk dagsavis som internasjonalt ofte blir referert til som The Times of London for å skille dem
avsnitt 4.3. Brukerprofilene så deretter på hver sin spilleliste, slik at vi deretter hadde tre brukerprofiler med hvert sitt unike datagrunnlag.
Etter brukerprofilene hadde sett gjennom hver sin spilleliste, analyserte vi innholdet på hver av profilenes respektive startsider, ved å gå gjennom de 100 øverste anbefalingene på hver startside.
Deretter ble alle videoene kategorisert med utgangspunkt i de utarbeidede klassifiseringene.
I resultatene kunne vi ikke dokumentere funn av videoer med innhold som kan klassifiseres som radikalt, konspiratorisk eller ekstremistisk. Vi kunne imidlertid observere at algoritmen hadde større tilbøyelighet for å vise oss innhold av en politisk venstreorientert enn høyreorientert art.
2.2 Bakgrunn - YouTubes brukergrensesnitt og verdiforslag
YouTube er en massiv, kompleks plattform. For å bedre forstå hvordan plattformen henger sammen, vil vi her gjøre rede for de ulike komponentene som til sammen utgjør YouTube.
Videobiblioteket er utvilsomt den største ressursen YouTube besitter hva angår å tiltrekke seg brukere. Denne stadig voksende ansamlingen av videoer er svært omfattende, og brukere kan oppsøke innhold innenfor nesten alle kategorier og interesseområder. På YouTube kan man som bruker finne omtrent hva som helst. Ønsker man å lære hvordan man utfører oljeskift på bilen, se en musikkvideo man husker fra barndommen, eller bare få tiden til gå med humoristisk innhold, er YouTube tjenesten å bruke. Mangfoldet, variasjonen og det raskt voksende videobiblioteket er det som i hovedsak utgjør YouTubes verditilbud, og har ført til plattformens enorme suksess.
Videoene blir lastet opp via brukerprofilene, også kalt kanaler. Hvem som helst med en datamaskin og internett-tilkobling kan opprette en brukerprofil, og laste opp, konsumere og reagere på innhold. Som bruker kan man også abonnere på kanaler med innhold som man ønsker å se. Dersom du abonnerer på en kanal vil du automatisk få opp nytt innhold fra kanalen på startsiden din etterhvert som nye videoer lastes opp. Man kan også velge å få et varsel hver gang en kanal laster opp en video, slik at man umiddelbart kan se videoen etter opplastning.
Url’enhttp://www.youtube.comtar deg til plattformens startside. Her blir brukeren presentert med et utvalg av anbefalte videoer.
Skjermdump:www.youtube.com
Hvilke videoer som anbefales vil variere avhengig av om du er innlogget eller ikke. Det første nettsiden ber deg om, er nemlig å logge inn på kontoen din. Dersom du har en Google-konto, og allerede er innlogget på denne i nettleseren, vil du automatisk også være pålogget YouTube.
Dette er fordi YouTube er en av mange tjenester eid av Google, og du trenger kun en
Google-konto for å benytte deg av disse tjenestene. Denne kontoens netthistorikk er med på å avgjøre hvilket innhold YouTube anbefaler (Google, 2021). Dette er årsaken til at du blir bedt om å logge inn, slik at du kan se mer relevant innhold, som igjen øker sjansen for at du blir tilbringer mer tid på plattformen, og ser flere videoer.
Fra startsiden har du mulighet til å foreta søk, trykke på en anbefalt video, eller se nye videoer og oppdateringer fra kanaler du abonnerer på. Trykker du deg inn for å se en video, får du opp videoen slik:
Skjermdump:www.youtube.com
Til høyre for videoen vises relaterte videoer og andre anbefalinger basert på videoen som spilles og annen brukerhistorikk på plattformen. Som bruker er det mulig å “like” eller “dislike” videoer ved å trykke på tommel opp eller ned, og det er også mulig å diskutere og kommentere videoene ved bruk av kommentarfeltet under videospilleren.
Skjermdump:www.youtube.com
Det er også mulig å like eller dislike kommentarer som legges igjen av andre brukere. Antallet likes og dislikes av en kommentar eller video summeres opp og blir fremvist under den aktuelle video eller kommentar. På venstre side, under videoen vises det hvor mange avspillinger videoen har har hatt.
I tillegg til å tilby gratis videostrømming har YouTube etterhvert utvidet sin tjenesteportefølje til å inkludere en abonnementstjeneste for musikkstrømming, kalt YouTube Music, og en annen abonnementstjeneste kalt YouTube Premium. Youtube Music er en musikkstrømmetjeneste på lik linje med Spotify, Apple Music og Tidal. Youtube Premium er en en tjeneste som lar brukeren se videoer uten reklame, i tillegg til å åpne for utvidet funksjonalitet i mobilappen.
3. Teori
3.1 Årsaken til at noen videoer blir mer populære enn andre
Ved nærmere undersøkelser av anbefalingsalgoritmen til YouTube, dukker det opp et viktig begrep i en voksende trend av sjokkerende overskrifter med hensikt om å lokke til seg visninger;
“clickbait”. Clickbait kan defineres som: “Innhold som har som hovedformål å vekke
oppmerksomhet og oppmuntre besøkende til å klikke på en lenke til en bestemt nettside” (Oxford Learner’s Dictionary, 2021). Clickbait blir mer og mer vanlig og er for mange innholdsskapere på YouTube essensielt for å nå ut til en større demografi. Når en bruker ser sjokkerende titler i anbefalingene sine, vekkes ulike følelser knyttet til innholdet som kan lokke brukeren til å klikke på videoen. Dette var tidligere et stort problem på YouTube siden anbefalinger tidligere kun var basert på å akkumulere så mange “clicks” som mulig. Dette gjorde at det oppstod en strategi blant innholdsskapere hvor de lagde korte videoer i større antall, som skulle generere mer visninger på kanalen, og følgelig høyere inntekt. YouTube delte i et blogginnlegg i 2012 at de endrer anbefalingsalgoritmen til å fokusere på Watch Time (hvor lenge en bruker ser på videoen) ettersom de mener at dette vil medvirke til anbefaling av videoer som brukere faktisk har lyst til å se, fremfor videoer som brukere klikker seg inn på og forlater umiddelbart. Dette gjorde de for
å skape insentiver som skulle få innholdsskaperne til å lage videoer som fokuserte på kvalitet fremfor klikk.
I en artikkel publisert av Psychology Today forklares det hvordan clickbait påvirker brukerens dopaminnivåer. Der skriver psykologen Mike Brooks: “We humans are drawn to seek out information in our world because it has survival value.” og “Clickbait is the promise that unbelievable, provocative, or shocking information will be revealedif we just click that link.”
(Brooks, 2019). Brooks beskriver hvordan dopaminsystemet vårt belønner handlinger som søker opp informasjon om verdenen. Dette kan muligens forklare enkelte anbefalinger som algoritmer gir brukere.
3.2 Hvordan påvirker følelser visninger?
I 2015 gjennomførte Marco Guerini og Jacopo Staiano en undersøkelse som så på
sammenhengen mellom følelser og sjansen for at historier skulle oppnå viralitet. Viralitet betyr i denne sammenhengen innhold som tilsiktet eller utilsiktet blir svært populært på internett gjennom deling av innholdet i sosiale medier. De brukte Valence-Arousal-Dominance-modellen til å undersøke hvorfor noen historier ble virale. Modellen tar for seg tre faktorer. Valence sier noe om hvorvidt en sak er positiv eller negativ. Har en tidligere utrydningstruet dyreart dødd ut, vil denne historien få lav poengsum. Hvis den samme arten nå klarer seg bra og bestanden vokser, vil historien bli tildelt en høy poengsum. Arousal beskriver i hvilken grad følelsene oppleves som spennende eller er opphissende. Her vil tristhet gi lav poengsum og sinne gi høy poengsum. Den siste faktoren er Dominance, som beskriver hvor mye kontroll vi har over
følelsene vi opplever. Frykt ville gitt lav poengsum her, da vi generelt har lav kontroll over frykt, sammenlignet med for eksempel glede (Guerini, Staiano. 2015).
En interessant observasjon gjort i undersøkelsen er at de kom fram til at Valence (hvor positivt eller negativt innholdet er) hadde omtrent ingen påvirkning til om historien oppnådde viralitet.
Dette betyr at det ikke har noen spesiell effekt om historien handler om en utdødd dyreart eller en overlevende en, men om hvor mye kontroll vi har over følelsene våre og hvor opphissende følelser historiene ga leseren. Derimot hadde de to andre faktorene, Arousal og Dominance, stor
innflytelse på suksessen til de populære historiene. Historier som genererte mye engasjement i kommentarfeltet, og genererte mange likes og dislikes ville gjøre det særdeles bra. Dette er handlinger som er assosiert med høy poengsum for Arousal. Som vist i modellen nedenfor skiller glede, sinne, frykt og overraskelse seg ut. Dominance hadde også en stor påvirkning på
suksessen til historiene. De historiene som brakte fram følelser vi har lite kontroll over ville ha større sjanse for å bli virale. Følelser som har spesielt lav poengsum i kategorien dominance er både frykt og tristhet. (Guerini, Staiano. 2015; Vasileva, 2018).
Figur:VAD - Valence-Arousal-Dominance-modellen med de 6 grunnleggende følelsene.
Broadcasting vs narrowcasting
Studien finner en stor forskjell på effekten av Dominance og Arousal avhengig om historiene ble delt i form av “broadcasting” eller “narrowcasting”. Forskjellen mellom broadcasting og
narrowcasting er at narrowcasting fokuserer det publiserte innholdet mot en spesifikk målgruppe, mens broadcasting publiserer innhold til en større demografi. Studien til Guerini og Staiano kom frem til at Arousal har svært positiv effekt på narrowcasting. “In particular, high arousal is more connected to narrowcasting phenomena, while dominance to broadcasting phenomena.”
(Guerini, Staiano. 2015).
3.3 Kan VAD-modellen forklare anbefalinger på Youtube?
Da eksperimentet omhandler anbefalinger gjort av Youtubes algoritmer, som anbefaler innhold basert på interesser og andre brukere med lik atferd, vil videoene vi får anbefalt være klassifisert som narrowcasting. Dette betyr at videoer som fremmer følelser som scorer høyt på Arousal i henhold til teorien burde ha større sannsynlighet til å bli virale, og burde dermed også bli oftere anbefalt av algoritmen. Dette kan benyttes til å forklare resultater som oppstår i analysene av anbefalinger. Følelsene som scorer høyest på Arousal er overaskelse, frykt, glede og sinne. Dette kan også forklare hvorfor sjokkerende titler blir fremmet og har skapt clickbait-fenomenet vi kan observere overalt i dagens samfunn.
3.3 Algoritmens påvirkning på verdiforslaget
I bokenCompeting in the age of AI(2020), skrevet av Iansiti og Lakhani forklares det hvordan algoritmer kan brukes til å skape et evig eskalerende verdiforslag. “Human beings can do everything that AI can do. They just can’t do it to scale.” - Anne Marie Neatham, COO, Ocado Technology. (Iansiti and Lakhani,2020 46)
I boken bruker de en modell som kalles “AI factory”. Den beskriver hvordan algoritmer er med på å skalere moderne bedrifters verdiforslag til nivåer som menneskelige ressurser aldri har kunnet oppnå alene. Denne modellen er vist nedenfor. Modellen viser hvordan anvendelse av data fører til en bedre algoritme, som deretter vil skape et bedre produkt. Dette vil tiltrekke seg flere brukere som igjen vil gi mer data som algoritmen kan benytte seg av. Med denne teorien i bakhodet er det tydelig at algoritmen til YouTube, som nå er fullstendig integrert i plattformen, er essensiell for YouTubes suksess. Hver gang en bruker benytter seg av tjenesten til YouTube, vil
algoritmen ha nye data den kan lære av. Dette gjør at YouTube ikke bare tjener penger på avspillinger ved visninger av reklameannonser, men vil også akkumulere data som vil fungere som en ressurs med stor verdi.
“AI factory”-modellen gir oss grunnlag til å anta at algoritmen vil forsøke å få brukere til å generere så mye data som mulig. Innsamling av data starter allerede fra åpning av startsiden, helt til brukeren forlater nettsiden. Dette vil si at jo mer data en bruker kan generere i løpet av tiden han eller hun tilbringer på plattformen, dess bedre er det for algoritmens læring og utvikling.
Modell:AI Factory (Iansiti and Lakhani, 2020, 54)
Er algoritmen er sterk AI eller svak AI?
ICompeting in the age of AIbeskrives forskjellen mellom sterk AI og svak AI. En svak AI utfører oppgaver som et menneske ville kunne utført, dog i betydelig større skala. En sterk AI kan derimot beskrives som en superintelligens som kan utføre oppgaver et menneske aldri ville klart.
Analyse av hva en en brukers interesseområder er vil en menneskelig analytiker sannsynligvis kunne utføre med relativt god suksess. Det som gjør YouTubes AI bemerkelsesverdig er at den forsøker å predikere hva seeren ønsker å se som neste video (Meyerson 2012). Dette er en
at algoritmen er en sterk AI. Om algoritmen er en sterk AI som ofte beskrives som
superintelligent, betyr dette at algoritmen vil være nærmest umulig å kontrollere, og kan medføre uforutsette og uønskede konsekvenser.
Ettersom tilpassede anbefalinger som er konstruert av AI i mindre grad er brukerstyrt enn andre teknikker for kontrollering av anbefalinger, kan det medføre at en sterk AI vil tilpasse seg allerede foreliggende forskjeller i beslutningsprosessen. Om en AI oppfatter forskjeller mellom ulike etnisiteter og kulturer, kan det oppstå uønskede resultater som leder ulike grupper til ulike typer innhold. Dette kan i ytterste konsekvens medføre at ulike folkegrupper får anbefalt innhold som andre folkegrupper ikke har like stor tilgang til, og dermed skape ulike ekkokamre som enten skaper eller forsterker allerede foreliggende forskjeller i tilgjengelig informasjon. Dette kan i ytterste konsekvens være svært problematisk.
4. Metode og datainnsamling
4.1 Metode: Eksperiment på YouTube
Vår metode baserer seg på å utføre et eksperiment på YouTube. Vi utforsker hvordan
YouTube-algoritmen reagerer på at vi ser videoer med politisk innhold som ofte anbefales av YouTubes algoritmer. For å finne ut hvilke YouTube-videoer som er oftest og mest anbefalt kommer vil til å benytte oss avhttp://algotransparency.org/.
4.2 Hva er AlgoTransparency?
AlgoTransparency er en organisasjon med mål om å øke samfunnets bevissthet rundt bruken og konsekvensene av algoritmer og kunstig intelligens hos en rekke digitale tjenester, som
eksempelvis YouTube, Twitter, Google og Facebook. Bak prosjektet finner vi blant annet tidligere Google- og YouTube-utvikler Guillaume Chaslot og universitetsprofessor Hany Farid, som begge selv har utført studier som omhandler YouTubes algoritmer og videoanbefalinger. De medvirket også i studienA longitudinal analysis of YouTube’s promotion of conspiracy videos
(2020), der de avslørte at YouTube til tross for mye kritikk og iverksettelse av forebyggende tiltak, stadig ikke har kontroll over innholdet som anbefales til deres brukere.
På AlgoTransparencys forside står det: “In today’s world, Artificial Intelligence controls what the world is watching. It promises to bring you uniquely relevant information and
entertainment.”, og “The real objective of the algorithm, however, is to maximize watch time.
This leads to favor sensationalist content and clickbait. At scale, the world has seen this algorithmic bias amplify disinformation, polarize the public debate, and promote harmful content.” (AlgoTransparency 2021). Denne kritikken av YouTube’s algoritmer er ikke unik. I artikkelen “How extremism came to thrive on YouTube” publisert av The Verge, skrives det om samme tematikk. I denne artikkelen skriver de i første avsnitt: “A system built to attract the maximum amount of user attention succeeds beyond all expectation, only to wind up promoting dangerous misinformation and hate speech around the world” (Newton 2019). AlgoTransparency sitt mål er å avdekke innvirkningen av det de beskriver som vår tids mest innflytelsesrike
algoritmer.
Som en del av prosjektet har menneskene bak AlgoTransparency utviklet et verktøy som
aggregerer og sammenstiller hvilke videoer som er mest anbefalt på YouTube på enhver gitt dato.
Verktøyet lar brukeren velge dato, og viser deretter hvilke videoer som ble oftest anbefalt denne dagen. Den genererer også et søylediagram som viser hvilke kanaler som er mest anbefalte for den gitte datoen.
4.3 Beskrivelse av eksperiment
Ved bruk av AlgoTransparencys verktøy har vi fått oversikt over de mest anbefalte videoene på YouTube, uavhengig av kategori, for perioden 01.05.21 - 03.05.21 og 05.05.21 til 08.05.21. På denne måten har vi dekket en periode på til sammen 7 dager.
Ved å benytte egne utarbeidede klassifiseringer for ulike typer innhold vi finner relevant for eksperimentet og problemstillingen, har vi definert innholdet vi fant ved hjelp av
AlgoTransparency for å være av enten politisk venstreorientert, politisk høyreorientert eller
politisk nøytral art, og laget lister over de 5 mest anbefalte videoene i hver av disse kategoriene, daglig i en periode på 7 dager. Dette tilsvarer 35 videoer i hver kategori. Videoer med innhold som ikke kunne klassifiseres som politisk har ikke blitt inkludert i spillelistene. Eksempler på dette kan være videoer som omhandler idrett, musikk, søte kjæledyr og lignende. De spesifikke klassifiseringene er gjort rede for i eget avsnitt nedenfor.
Etter klassifisering av de mest anbefalte videoene i perioden, sitter vi igjen med 3 spillelister á 35 videoer; en spilleliste med politisk høyreorientert innhold, en med venstreorientert innhold, og en med politisk innhold uavhengig av hvor innholdet i videoen befinner seg på den politiske aksen.
I forbindelse med eksperimentet har vi opprettet 3 forskjellige YouTube-kontoer, der hver av dem skal se eksklusivt på videoene tilhørende én av disse klassifiseringene. Vi gjør dette med et mål om å finne ut om YouTube har en tendens til å fremme meninger og holdninger som
representerer en bestemt del av det politiske spekteret, eller om algoritmen har en tendens til å dra brukeren mot mer ekstreme varianter av allerede foreliggende interesseområder. Idéen går ut på at dersom brukeren eksempelvis kun ser på politisk høyreorienterte videoer, skal vi undersøke om algoritmen kommer til å oppfatte brukeren som mer mottakelig for radikale meninger enn hva en moderat, politisk høyreorientert bruker i utgangspunktet vil inneha, og følgelig anbefale videoer av en høyreradikal art.
De 3 YouTube-brukerprofilene har vi kalt konto A, B og C, hvor konto A kun vil se på spillelisten med politisk høyreorienterte videoer, konto B vil kun se spillelisten med politisk venstreorienterte videoer og konto C vil se spillelisten med politiske videoer uavhengig av politisk orientasjon.
For å hindre forurensing av brukerdataene, er kontoene opprettet på følgende måter:
Konto A: Opprettet ved bruk av gjestebruker på Chromebook. Kontoen og nettleserhistorikken er fullstendig tom, og all eventuell data slettes når økten avsluttes.
Konto B og C: Opprettet på skolens PC-er ved bruk av våre egne FEIDE-brukere som ikke har vært anvendt til å logge på skolens PC-er tidligere i løpet av den tid vi har vært studenter ved høyskolen.
Ved registrering av nye brukerkontoer har vi gått direkte inn på www.youtube.com, og opprettet nye kontoer. Vi oppgir å være født i 1996, og velger å ikke oppgi kjønn. Ingen andre
identifiserende attributter ble oppgitt i registreringsprosessen. Utover dette har vi ikke besøkt andre nettsteder eller utført andre handlinger på datamaskinen eller i nettleser, slik at vi ikke legger igjen brukerdata som kan påvirke utfallet av eksperimentet.
Analyse av startside
Etter hver konto har sett alle videoene i sine respektive spillelister, vil det være generert store mengder brukerdata til hver av kontoene. Dette kommer til uttrykk blant annet i form av hvilke videoer Youtube anbefaler på startsiden og hva som dukker opp i søk. Ved bruk av
klassifiseringene vi har utarbeidet, vil vi analysere og kategorisere de 100 øverste videoene på startsiden til hver av brukerprofilene, og dokumentere anbefalingene samt avdekke eventuelle forskjeller og avvik mellom de tre. Klassifiseringene vi vil bruke er: Politisk, politisk
høyreorientert, politisk venstreorientert, høyreradikalt, venstreradikalt, falsk informasjon, falske nyheter og konspiratorisk innhold.
4.4 Klassifisering av videoer
For å kunne kategorisere videoene som anbefales har vi utarbeidet en rekke egne klassifiseringer.
Vi har forståelse for at kategorisering av innholdet i en video ikke alltid er entydig, men ved bruk av følgende klassifiseringer mener vi å kunne kategorisere videoene på en objektiv og
konsekvent måte.
Politiske klassifiseringer Politisk innhold
Videoer som…
...inneholder meninger og påstander om hvordan samfunnet best bør styres og utvikles.
...diskuterer og/eller omhandler politiske partier eller politikere.
...er publisert av politisk orienterte mediehus (f. Eks. Bloomberg Politics).
...er publisert av politisk orienterte podcast-kanaler.
Politisk høyreorientert innhold
Videoer som...
...omhandler temaer som økonomisk liberalisme, nasjonalisme og skepsis overfor innvandring.
...retter kritikk mot velferdsstaten og sosialisme.
...inneholder kritikk og/eller latterliggjøring av politikere fra partier som befinner seg på venstresiden av den politiske aksen.
...inneholder tydelig uttrykt støtte til høyreorienterte/republikanske politikere og deres meningsfeller.
Politisk venstreorientert innhold
Videoer som…
…retter kritikk mot sosialt hierarki og grunnløse sosiale forskjeller.
...fremmer egalitarisme.
...stiller seg positive til velferdsstaten.
...retter kritikk mot kapitalisme.
...inneholder kritikk og/eller latterliggjøring av politikere fra partier som befinner seg på høyresiden av den politiske aksen.
...inneholder kritikk og/eller latterliggjøring av politiske standpunkter som befinner seg på høyresiden av den politiske aksen.
...inneholder tydelig uttrykt støtte til venstreorienterte politikere og meningsfeller.
Klassifisering av radikalt innhold
Høyreradikalt innhold
Videoer som…
...fremmer nynazisme, antisemittisme, islamofobi, nasjonalisme, rasisme og/eller stiller seg negative til innvandring.
...inneholder syn som fornekter eller stiller seg skeptiske til at klimaendringer er menneskeskapte.
...inneholder tydelig uttrykt støtte til høyreradikale grupperinger, eksempelvis Proud Boys, Pegida og/eller lignende organisasjoner.
Venstreradikalt innhold
Videoer som…
...fremmer kommunisme og/eller anarkisme.
...sterk motstand av kapitalisme.
...inneholder tydelig uttrykt støtte til venstreradikale grupperinger, eksempelvis Antifa og/eller lignende organisasjoner.
Andre klassifiseringer
Ekstremt innhold
Videoer som…
...oppfordrer til, eller glorifiserer terror
...oppfordrer til, eller glorifiserer grove lovbrudd
Falsk informasjon
Videoer som…
...inneholder og fremmer informasjon som beviselig er uriktig.
Falske nyheter/Fake news
Videoer som...
...inneholder nyheter med falsk informasjon, med intensjon om å endre leseren/seerens oppfatning av en person eller et spesifikt tema .
...inneholder nyhetssaker som benytter seg av fakta som ikke er dokumentert eller er etterprøvbare.
Konspiratorisk innhold
I arbeidet med klassifisering av konspiratorisk innhold har vi benyttet oss av klassifiseringen utarbeidet av Marc Faddoul, Guillaume Chaslot, og Hany Farid, i forbindelse med deres studieA longitudinal analysis of YouTube’s promotion of conspiracy videos(2020).I studien har de benyttet følgende kriterier for å klassifisere videoer med konspiratorisk innhold, og fastslår av videoer som i hovedsak oppfyller følgende kriterier kan klassifiseres som konspiratorisk:
1. Explains events as secret plots by powerful forces rather than as overt activities or accidents;
2. Holds a view of the world that goes against scientific consensus;
3. Is not backed by evidence, but instead by information that was claimed to be obtained through privileged access;
4. Is self-filing or unfalsifiable.
I anledning dette prosjektet har vi oversatt kriteriene til norsk:
1. Forklarer hendelser som hemmelige komplotter utført av mektige aktører, fremfor å legge til grunn de åpenbare hendelsesforløpene.
2. Innehar et verdenssyn som motsier generell vitenskapelig konsensus.
3. Er ikke støttet av bevis, men snarere informasjon som hevdes å være fremskaffet via privilegert, eksklusiv adgang.
4. Er ufalsifiserbar - kan ofte hverken bevises eller motbevises
Innhold som ikke kan faller inn i de beskrevne klassifiseringene vil bli klassifisert som ”annet” i analysen av resultatene.
4.5 Fremgangsmåte ved klassifisering av videoer
Ved kategorisering av videoer benyttet vi oss av de beskrevne klassifiseringene. I arbeidet med innsamling av videoer til spillelistene, observerte vi at mange av videoene var publisert av Fox News, som er en amerikansk, konservativ nyhetskanal. Videoene var ofte klipp fra nyhetssaker kombinert med programledernes egne meninger og refleksjoner rundt saken. Historiene som ble presentert var ofte ikke politiske i seg selv, men meningene ytret av programlederne bidro ofte til å gi grunnlag til å kunne klassifisere videoen som politisk høyreorientert. Eksempler på dette er at programlederne ofte anklaget venstresiden for å ha skapt problemstillingene presentert i nyhetssakene. Kritikk av andre politikere og partier i form av latterliggjøring og håning var ofte brukte virkemidler, som tydeliggjorde hvilken politisk orientasjon innholdet i videoene kunne tilskrives.
5. Resultater og diskusjon
Med utgangspunkt i beskrevet metode, endte vi opp med disse resultatene etter gjennomgang av de 100 øverste videoene på kontoenes respektive startsider:
Politisk høyreorientert
På konto A, som utelukkende hadde sett på høyreorienterte videoer i forkant av analysene, fant vi at videoer som kan klassifiseres som “annet” utgjorde mesteparten av videoene i
populasjonen, med 85 observasjoner. Videoer med politisk høyreorientert innhold forekom 13 ganger, og videoer med politisk venstreorientert innhold ble observert 2 ganger. Vi bemerket oss at det ble foreslått en video med tittelen “Families, Homelessness and the Next Mayor: Eric Adams”. Videoen er publisert 03.05.2021, og hadde på tidspunktet for analysen 110 avspillinger.
Eric Adams er borgermesterkandidat i New York, og er tilknyttet Det Demokratiske Parti (USA).
Vi finner det bemerkelsesverdig, sett i sammenheng med kritikken Youtube har fått for sin angivelige tilbøyelighet for å anbefale og fremme innhold av en høyreekstrem art, i kombinasjon med videoens relativt lave avspillingsantall, sammenliknet med annet innhold som normalt anbefales på startsiden.
Politisk venstreorientert
Ved analysering av anbefalinger på startsiden til konto B, som utelukkende hadde sett videoer med politisk venstreorientert innhold i forkant av analysen, fant vi igjen at videoer som
klassifiseres som “annet” utgjorde mesteparten av populasjonen, med 77 observasjoner. Videoer med innhold som kunne klassifiseres som venstreorientert ble observert 23 ganger. Vi bemerker oss at vi ikke fikk én eneste anbefaling som kunne klassifiseres sompolitisk høyreorientert.
Politisk nøytral
På konto C, som hadde sett alt politisk innhold uavhengig av orientasjon i forsøksperioden, var det igjen videoer som kun kan klassifiseres som “annet” som utgjorde mesteparten av
populasjonen, med 79 observasjoner. Videoer med politisk venstreorientert innhold forekom 13 ganger, og videoer med politisk høyreorientert innhold ble observert 8 ganger.
5.1 Diskusjon av resultater
Resultatene gir isolert sett grunnlag for å kunne påstå at YouTube har større tilbøyelighet til å foreslå videoer med politisk venstreorientert innhold sammenlignet med politisk høyreorientert innhold. Et eksempel som underbygger denne påstanden er at konto A ble foreslått 2 videoer med venstreorientert innhold, samtidig som konto B ikke ble foreslått en eneste video med politisk høyreorientert innhold. Dette kan potensielt være problematisk, da det peker på at det er mulig at plattformen tilrettelegger for politisk venstreorienterte ekkokamre. Politiske ekkokamre er problematiske, da det i tidligere tilfeller har ført til gradvis radikalisering av brukere. Dette fenomenet er kjent som “the filter bubble effect”, der brukeren omsluttes av sine egne
holdninger, og sjelden eksponeres for motstridende synspunkter (Bryant, 2020). Konto C fikk anbefalt 13 venstreorienterte videoer, og 8 høyreorienterte, til tross for at innholdet i de fleste
videoene i spillelisten som kontoen så på innledningsvis i eksperimentet i henhold til
klassifiseringene var politisk høyreorientert. I spillelisten til konto C var det 18 høyreorienterte videoer, 13 venstreorienterte videoer, og 4 videoer som ikke direkte kunne tilskrives en av sidene. Det skal påpekes at selv om antallet videoer sett under eksperimentet hadde et flertall av politisk høyreorienterte videoer, så var enkelte av de venstreorienterte videoene av mye større lengde2, som kan ha ført til at total spilletid innenfor kategorien var med på å påvirke algoritmen til å vise brukeren flere venstreorienterte videoer (Meyerson 2012). Ettersom YouTube tjener penger på visninger av reklame, i tillegg til at algoritmen vil anskaffe mer data, så kan de videoene med lenger spilletid ha medført at Youtube ønsker å vise oss innhold som leder brukeren til å tilbringe mer tid på plattformen.
Et stort flertall av anbefalingene observert på de respektive startsidene ble klassifisert som annet.
Eksempler på videoer med denne typen innhold er idrett, musikkvideoer, diverse funfacts om spesifikke temaer, livsfilosofi med mer. Innholdet var med andre ord svært mangfoldig. Mange av videoene vekker umiddelbar oppmerksomhet hos brukeren, uten at det nødvendigvis
foreligger interesse for temaet fra før. To eksempler på dette som er hentet fra startsiden til konto C i analysen: “How Carbon Nanotubes Will Change the World” og “Two TV settings you should change right now”. Videoene sett i eksperimentet burde ikke gi algoritmen noen spesifikk grunn til å anbefale oss informasjon om effekten av nanotuber eller hvilke TV-innstillinger man burde bruke. Likevel utgjorde denne typen tilsynelatende tilfeldige videoer en stor andel av
anbefalingene vi klassifiserte som annet. Ettersom vi ikke har vist interesse for disse anbefalte temaene, men algoritmen fortsatt ønsker å anbefale det til oss, kan dette være en indikasjon på hva som styrer beslutningsprosessen som leder til at brukeren velger å trykke på en video.
VAD-modellen indikerer at overraskelse skal være en signifikant faktor i denne
beslutningsprosessen blant brukere på Youtube. Når vi ser en overraskende tittel som indikerer at en ny innovasjon som du har lite forkunnskap om kommer til å endre verden, er det ikke
unaturlig å bli nysgjerrig (Brooks, 2019).Dette kan forklare hvorfor store deler av anbefalingene vi fant på startsidene til kontoene i analysen ser ut til å omhandle tilsynelatende tilfeldig
informasjon eller funfacts.
2Vi så:Dr. Umar Johnson Speaks On American Racism, Joe Biden's Agenda, Interracial Relationships + More3 ganger i løpet av eksperimentet. Denne videoen hadde en spillelengde på 76 minutter og 24 sekunder, som var en
5.2 Fake news, radikalt, konspiratorisk og ekstremt innhold
Vi fant ingen videoer som kunne klassifiseres som ekstreme eller radikale. Vi kunne heller ikke finne videoer som promoterte falske nyheter eller konspirasjonsteorier. Mangel på
konspiratoriske videoer, samt falske nyheter og informasjon kan muligens forklares av at
Youtube angivelig har gjort endringer i algoritmen for å redusere denne typen innhold (Faddoul, Chaslot, Farid 2020).
Det skal også påpekes at spillelisten brukt i eksperimentet inneholdt allerede høyt anbefalte videoer på YouTube, som kan ha medført at vi ikke kom oss dypt nok inn på temaer der radikalt innhold ofte forekommer.
Til tross for resultatene av eksperimentet ville det likevel være naivt å anta at Youtube gjennom beskrevne tiltak har klart å fullstendig utslette innhold av konspiratorisk, radikal eller
ekstremistisk art. Funnene i eksperimentet er ikke entydige, og det kan tenkes at denne typen innhold hadde blitt anbefalt dersom algoritmen hadde fått mer aktiv input fra brukeren. Det kan også hende at å utføre eksperimentet i større skala ville ha generert andre resultater.
5.3 Andre kommentarer til utførelse av eksperiment og analysering av funn
Vi finner det bemerkelsesverdig at startsidene til kontoene tydeliggjorde at algoritmen hadde en tilbøyelighet til å vise politisk venstreorientert innhold. Dette er spesielt interessant ettersom AlgoTransparency indikerte at den desidert mest anbefalte kanalen på YouTube i
forsøksperioden var Fox News, som har lastet opp videoer vi ofte har klassifisert som høyreorienterte. En mulig forklaring kan være at det er flere høyreorienterte brukere som benytter seg av YouTube som nyhetskilde. Å inneha høyreorienterte politiske holdninger har etter vår erfaring blitt mer skambelagt i dagens politiske klima, og dette kan føre til at personer med politisk høyreorienterte meninger og holdninger trekkes mot diskusjonsplattformer der de opplever å ha en viss grad av anonymitet.
En interessant observasjon vi gjorde da vi lagde spillelister med de mest anbefalte videoene, var at et stort antall av videoene var klipp fra amerikanske nyhetskanaler. Disse kanalene publiserer som regel videoer der det kommenteres på ulike på temaer og historier. Da vi så på videoene for å finne ut om de var politisk høyre- eller venstreorienterte, oppdaget vi at omtrent alle var
partiske eller forutinntatte på et aller annet vis. Som nevnt tidligere var det mange videoer av Fox News og LastWeekTonight, der innholdet i videoene fra Fox News var omtrent alltid
høyreorientert, og innholdet i videoene fra LastWeekTonight ofte var venstreorientert. Disse kanalene omhandler ofte temaer som kritikk av politikere, kommentering på sjokkerende
historier og latterliggjøring av politikere og andre menneskers adferd. Disse videoene spilte ofte på bruk av vitser og tydelig uttrykt frustrasjon for å fremme sine argumenter. Ved å se tilbake til Valence-Arousal-Dominance-modellen er det tydelig at disse populære kanalene prøver å fremheve både glede og sinne blant seerne sine. Et godt eksempel på dette er kanalen
LastWeekTonight med verten John Oliver. Han viser ofte tydelig frustrasjon over temaene han fremstiller og avlaster seeren med humor. Her brukes det en kombinasjon av både glede og sinne for å gjøre innholdet mer interessant. Dette virker støttende til studien gjort av Marco Guerini og Jacopo Staiano, hvor de konkluderte med at disse følelsene har en positiv innvirkning på seertall, når seerne vises narrowcasting. Det er mulig at den psykologiske effekten ved bruk av disse følelsene har medført at disse kanalene har blitt veldig populære på Youtube.
6. Oppsummering/avslutning
Gjennom arbeidet med oppgaven har vi forsøkt å kaste lys over dagens brukeropplevelse på YouTube, og undersøkt om YouTubes algoritme foreslår videoer av en ekstremistisk,
konspiratorisk og/eller radikal art. Ved bruk av AlgoTransparencys verktøy som gir oversikt over de mest anbefalte videoene, har vi kategorisert disse gjennom egne utarbeidede klassifiseringer, og gjennomført et eksperiment med formål om øke vår egen, så vel som leserens bevissthet rundt denne tematikken.
7. Konklusjon
Oppgavens problemstilling er: Vil konsumering av de mest anbefalte politiske videoene på YouTube forårsake anbefaling av falske nyheter eller ekstremt, konspiratorisk og radikalt innhold?
Resultatet av eksperimentet peker på at denne påstanden kan avkreftes.
Det ble ikke gjort noen funn av videoer som kan beskrives av begrepene i problemstillingen.
Tvert imot fant vi at algoritmen tilsynelatende har en tilbøyelighet til å vise brukeren videoer med innhold av en politisk venstreorientert art, selv når brukeren aktivt har oppsøkt videoer med politisk høyreorientert innhold. Dette kan peke på at plattformen tilrettelegger for politisk venstreorienterte ekkokamre, noe vi finner både oppsiktsvekkende og potensielt problematisk.
Grunnet eksperimentets begrensede omfang finner vi ikke grunnlag til å generalisere funnene.
7.1 Begrensninger og tilkortkommenheter ved metoden
Vi ønsker å påpeke at ved å utføre eksperimentet i større skala, ville eksperimentet hatt høyere kvalitet, og funnene ville i større grad kunne generaliseres. Da vi ikke har hatt muligheten til å benytte oss av bots og AI, og har måttet utføre eksperimentet manuelt, har vi vært nødt til å begrense antall sette videoer og eksperimentets omfang.
Selv om vi vektla at kontoene vi opprettet skulle lages på en slik måte at det forelå minimalt med brukerdata som kunne påvirke eksperimentet, er det allikevel noen faktorer man ikke kan
påvirke. Et eksempel på dette er geografisk tilhørighet, som ikke kan påvirkes uten å måtte ty til kompliserte tekniske løsninger. Antagelig ville utfallet av eksperimentet vært noe annerledes dersom brukerprofilene ikke var forankret til geografisk beliggenhet.
Ettersom vi så de høyest anbefalte videoene på dager som kom rett etter hverandre, kom mange av de samme videoene opp flere ganger. Dette gjaldt spesielt videoer fra kanaler som Fox News og LastWeekTonight. Vi håndterte dette ved å se disse videoene like mange ganger som de ble anbefalt. Det er usikkert om det å se populære videoer mange ganger vil bli plukket opp av algoritmen som mistenkelig, men dette kan ikke utelukkes.
Ved innsamling av data fra AlgoTransparency, oppdaget vi at dataene fra 4. mai 2021 av uvisse årsaker var utilgjengelige. Planen var i utgangspunktet å samle inn data om de mest anbefalte videoene i perioden 1. mai til 7. mai 2021, men da dataene for 4. mai ikke var tilgjengelige, løste vi problemet ved å hoppe over denne datoen, og heller forlenge perioden frem til 8. mai.
Litteraturliste
AlgoTransparencyhttps://www.algotransparency.org/
Brooks, Mike,2019.How Does Clickbait Work?Hentet fra:
https://www.psychologytoday.com/us/blog/tech-happy-life/201909/how-does-clickbait-work Lest: 24.05.21
Bryant, Lauren Valentino,2020. The Youtube Algorithm and the Alt-Right Filter Bubble.De Gruyter,8. Juni 2020. Hentet fra:The YouTube Algorithm and the Alt-Right Filter Bubble (degruyter.com)
Counter Extremism Project,2018, 3.THE eGLYPH WEB CRAWLER: ISIS CONTENT ON YOUTUBE.Hentet fra:eGLYPH_web_crawler_white_paper_July_2018.pdf
(counterextremism.com)
Eshoo, Malinowski.(2021)Letter to Sundar Pichai and Susan Wojcicki. Hentet fra:Microsoft Word - Letter to Google_YouTube -- Malinowski_Eshoo_final (house.gov)
Faddoul, Chaslot, Farid.(2020)A longitudinal analysis of YouTube’s promotion of conspiracy videos.Hentet fra:
https://arxiv.org/pdf/2003.03318.pdf?fbclid=IwAR0PY506RdulkdYD_lGhaakqPCF9lmTBu_Mv jK8bbi8MfXfWQNA1xFPlwPw
Google.(2021)Managing your recommendations and search results. Hentet fra:
https://support.google.com/youtube/answer/6342839?co=GENIE.Platform%3DAndroid&hl=en Lest: 03.03.21
Guerini, Staiano.(2015)Deep Feelings: A Massive Cross-Lingual Study on the Relation between Emotions and Virality.Hentet fra:https://arxiv.org/abs/1503.04723
Hamilton, Fiona.(2017)Manchester arena killer Salman Abedi used YouTube to build bomb.
Hentet fra:
https://www.thetimes.co.uk/article/ariana-grande-manchester-concert-killer-salman-abedi-used-y outube-to-build-bomb-qzcbs55s3Lest: 03.05.21
Iansiti, Lakhani.(2020)Competing in the age of AI.
Meyerson, Eric. (2012) YouTube Now: Why We Focus On Watch Time.Hentet fra:
https://blog.youtube/news-and-events/youtube-now-why-we-focus-on-watch-time Lest: 24.05.21
Newton, Casey.(2019)How extremism came to thrive on YouTube.Hentet fra:
https://www.theverge.com/interface/2019/4/3/18293293/youtube-extremism-criticism-bloomberg
?fbclid=IwAR33Q_qnG5vInI3gZ2AvmIv4VJjE8-WpT3AcjI0LplFi3oZxRHkTKvpsGkQLest:
31.01.21
Oxford Learner’s Dictionary.(2021)Clickbait.Hentet fra:
https://www.oxfordlearnersdictionaries.com/definition/english/clickbaitLest: 10.04.21
Vasileva, Konstantina.(2018)Algorithm Nudging: Down the Youtube Rabbit Hole.Hentet fra:
https://medium.com/digital-vault/algorithm-nudging-down-the-youtube-rabbit-hole-42bb4bb927 54Lest: 13.04.21
Wikipedia.(2020)Viral video.Hentet fra:Viral video – WikipediaLesedato: 15.05.21
Youtube.(2021)YouTube for Press.Hentet fra:
https://www.youtube.com/intl/en-GB/about/press/Lest 24.04.2021
Youtube.(2021)How Youtube prevents radicalization.Hentet fra:How YouTube prevents radicalization - How YouTube Works Lest: 05.05.2021
YouTube Team.(2017)Bringing new Redirect Method features to YouTube.Hentet fra:
https://blog.youtube/news-and-events/bringing-new-redirect-method-features
