Bildet som semiotisk system

Kress og van Leeuwens arbeid med visuelle representasjonsformer er basert på et sosialsemiotisk grunnlag, der alle modalitetene i en multimodal tekst er skapt i en sosial kontekst (Kress, 2010, s. 55; Kress & Van Leeuwen, 2006, s. 6). Alle modaliteter uttrykker mening på lik linje med språk. Dermed kan ikke språk lenger sees på som den eneste eller mest dominerende måten å uttrykke mening på, men som en mulighet blant mange (Hellum, 2013, s. 36). Kress og van Leeuwen mener at samme meningspotensial ligger til grunn i både språk og visuell kommunikasjon, men at det kommer til uttrykk på forskjellige måter (Kress & Van Leeuwen, 2006, s. 19). Nettopp dette er det viktig å

sammen med begrepet affordans, modalitetenes muligheter og begrensninger, som vi vil komme tilbake til i kapittel 2.2. Sosialsemiotisk analyse handler dermed om å finne hva slags potensial for å skape mening som ligger i de ulike semiotiske ressursene (Van Leeuwen, 2005, s. 4). Bildet kan egne seg til å uttrykke en ting, mens verbalteksten best kommuniserer noe annet. Det essensielle er da meningen som sammen blir skapt.

Kress og van Leeuwen påpeker at Hallidays tre metafunksjoner også alltid er til stede i alle modaliteter i visuell kommunikasjon. De trekker i den sammenheng særlig frem den tekstuelle metafunksjonen ved at det er sammenheng (kohesjon) mellom modalitetene i teksten, og mellom selve teksten og dens kontekst (Kress & Van Leeuwen, 2006, s. 15). Da det er sammenhengen vi skal se nærmere på i elevtekstene, er det den tekstuelle metafunksjonen denne oppgaven ligger under. Den ideasjonelle og mellompersonlige metafunksjonen vil derfor ikke ha en like stor plass i vår analyse, men som kjent opptrer ikke metafunksjonene alene. Derfor vil enkelte elementer fra de to andre metafunksjonene også være aktuelle å trekke inn.

Begrepet relasjoner, og da den mellompersonlige metafunksjonen, er også nært knyttet til sammenhengen i multimodale tekster. Kress & van Leeuwen presenterer begrepet “conceptual relations“, som forholdet mellom mennesker, sted og ting i bildet (represented participants). Men visuell kommunikasjon kan også bygge relasjon mellom avsender og mottaker (interactive participants). På den måten får vi tre ulike relasjoner:

1) mellom elementene i selve teksten, 2) mellom elementene i teksten og utenforstående deltagere og 3) mellom de utenforstående deltakerne. Det kan for eksempel være mellom bilde og verbaltekst (1), mellom bilde og mottaker (2) og mellom mottaker og avsender (3). Kress og van Leeuwen trekker i den forbindelse frem ulikhetene som kan forekomme i avsender og mottaker sin kontekst og forståelse. Selv om konteksten for produksjon og konteksten for resepsjonen er visuelt svært ulikt uttrykt, har de også elementer felles - nemlig selve teksten og kunnskap om de kommunikative ressursene og om hvordan sosial interaksjon og relasjoner kan formidles gjennom bilde (Kress &

Van Leeuwen, 2006, s. 114-115). Ut fra dette ser vi igjen viktigheten av å gi elevene kunnskap om multimodale tekster.

I relasjonen mellom deltakerne er direkte kontakt med mottakeren et sentralt aspekt som kan skapes gjennom bildet. I hvilken grad personer på bildet for eksempel har blikket rettet mot mottakeren eller ikke, har stor betydning for meningsutvekslingen (Kress & Van Leeuwen, 2006, s. 116). Innenfor den mellompersonlige metafunksjonen kan man blant annet studere språkhandlinger i verbalteksten. På samme måte kan man

studere bildehandlinger i det visuelle. Bildehandlinger er enten krevende eller givende.

Direkte blikkontakt kan være eksempel på en bildehandling som vil kunne fungere som krevende overfor mottakeren. David Machin og Andrea Mayr omtaler blikket som en svært viktig del av analysearbeidet, da meningen som blir skapt i stor grad kan avhenge av nettopp blikket (Machin & Mayr, 2012, s. 70; Skovholt & Veum, 2014, s. 105).

Dette bringer oss over på den tekstuelle meningen i bildet. I en multimodal tekst handler denne metafunksjonen om hvordan de ulike modalitetene og tekstelementene er relatert til hverandre - med andre ord handler det om sammenhengen. Den kan komme til uttrykk gjennom for eksempel fremheving av elementer, og i vårt tilfelle forholdet mellom verbaltekst og bilde. Hvordan dette forholdet kan uttrykkes vil vi komme nærmere inn på når vi skal se på analysekategoriene.

2.2 Multimodalitetsteori

Multimodalitet må sees som et sett av ulike modaliteter som kommuniserer på tvers av hverandre, der ulike modaliteter ikke kun er forbeholdt spesifikke oppgaver (Kress &

Van Leeuwen, 2001, s. 2). Maagerø understreker at hvert av de meningsskapende systemene, modalitetene, i en tekst ikke kan analyseres hver for seg fordi de sammen utgjør en helhet som danner selve teksten (Maagerø, 2005, s. 31). Semiotiske ressurser er et sentralt begrep innenfor sosialsemiotikken og multimodalitetsteori. Van Leeuwen påpeker at det finnes flere typer semiotiske ressurser og definerer begrepet slik:

“[...] the actions and artefacts we use to communicate, whether they are produced physiologically [...] or by means of technologies - with pen, ink and paper; with computer hardware and software; with fabrics, scissors and sewing machines, etc.

Traditionally they were called ‘signs’” (Van Leeuwen, 2005, s. 3).

Alle ressurser vi tar i bruk for å kommunisere er altså semiotiske ressurser. På bakgrunn av dette stiller Maagerø spørsmål ved om det i det hele tatt kan finnes tekster som er monomodale, da faktorer som typografi og papirkvalitet også vil være med på å skape mening (Maagerø, 2005, s. 30-31). Av den grunn er multimodalitet svært sentralt i undervisningen i alle fag.

Elevtekstene vi skal analysere i denne masteroppgaven er som nevnt multimodale tekster i form av reklameplakater. Maagerø trekker frem nettopp reklameannonser som tekster der ulike meningsskapende ressurser er nøye satt sammen

består av semiotiske ressurser som virker sammen, men det trenger ikke alltid være slik at de meningsskapende ressursene arbeider sammen. Noen ganger kan de ulike ressursene ødelegge for hverandre slik at informasjonen blir utydelig. Andre ganger kan det også være meningen at ressursene ikke skal samarbeide, og at den kontrasten som oppstår skaper mening (Maagerø, 2005, s. 32). Kontrasten kan for eksempel ha til hensikt å skape oppmerksomhet rundt en reklame. Kanskje er det hvordan de semiotiske ressursene på reklameplakaten på busstoppet ikke samarbeider som gjør at vi legger merke til den.

Ovenfor har vi forsøkt å klargjøre hva multimodalitetsbegrepet innebærer.

Videre vil vi presentere begrepet modal affordans og deretter modal kohesjon.