Multimodal socialsemiotik

Grundtanken i multimodal socialsemiotik er, at vi, når vi kommunikerer, altid benytter flere semiotiske betydningssystemer samtidigt, fx skrift, billede og grafik. Disse systemer benævnes ofte med den engelske term “modes”. Faktisk kan vi ifølge teorien slet ikke skabe nogen form for tekst, hverken sproglig eller anden, som kommunikerer “monomodalt”, altså med et enkelt betydningssystem. Digitale tekstformer er selvfølgelig oplagte eksempler på meget komplekse samspil mellem modes, men også i fx romangenren benyttes flere forskellige modes: layout, typografi og indbinding mv. (Nørgaard 2012), som også er betydningsbærende. Ligeledes anvendes der i talesproget forskellige modaliteter, når vi kommunikerer med hinanden, såsom intonation, mimik, gestik, stemmens klang (van Leeuwen 1999) osv. Målsætningen inden for den multimodale socialsemiotik er at forstå og beskrive samspillet mellem de forskellige semiotiske ressourcer i alle typer af tekster.

Den tysk-britiske sprogforsker Gunther Kress definerer i Multimodality (2010) et mode som 1) en række ressourcer (valgmuligheder), som anvendes af flere individer i et fællesskab (kultur) på systematisk vis og med en fælles forståelse for betydningen af disse valg, og som 2) havende fuld metafunktionel udstrækning, hvilket vil sige, at det indeholder de tre betydningsniveauer, som indgår i sprogforskeren M.A.K. Hallidays sprogteori: ideationel, interpersonel og tekstuel betydning (se nedenfor). Hvis begge kriterier opfyldes, er der ifølge Kress tale om et mode for det pågældende sociale fællesskab.

Multimodalitet er ikke det samme som multimedialitet, altså samspillet mellem medier, og handler heller ikke direkte om samspillet mellem sansemodaliteter (se Modalitet 2), selvom begge er relaterede emner. Termerne “medie” og “modalitet” forveksles ofte, men har ikke samme betydning. Hvor “medie” dækker over forskellige kommunikationskanaler, dækker “modalitet” over de forskellige semiotiske ressourcer, vi kan anvende, når vi kommunikerer på forskellige medier. Man kan populært sagt sige, at et mode er det, vi med lidt god vilje kan sætte “-sproget” efter, fx “talesproget”, “kropssproget”, “skriftsproget” og “billedsproget ” (af de lidt mindre mundrette, kunne man nævne fx “tøjsproget”, “arkitektursproget”, “rumindretningssproget”, “dansesproget” og “musiksproget”). Tanken er, at vi kan anvende alle disse “sprog” til at skabe betydning i vores kommunikation med hinanden, og derfor skal de alle undersøges netop som sprog. Samtidig skal samspillet mellem disse “sprog” også undersøges, og det er den multimodale socialsemiotiks kerneområde.

Inden for sociale og kulturelle fællesskaber finder man ofte fælles forståelser af, og kendskab til, “typiske” måder, hvorpå man anvender forskellige semiotiske ressourcer til at skabe bestemte betydninger. Sådanne fælles eller almengyldige forståelser for anvendelse af semiotiske ressourcer omtales ofte som “konventionaliserede” eller “normaliserede” modeller for social og sproglig adfærd. Vi kan altså kommunikere med hinanden med meget komplekse virkemidler, fordi vi har nogenlunde samme forståelse for, hvilken betydning de enkelte valg skaber. Inden for socialsemiotikken taler man om en “instantieringsakse” mellem et bagvedliggende semiotisk system (mode/sproget) og den konkrete kommunikative begivenhed (typisk kaldet “tekst”), og denne akse beskriver netop udvælgelsen af ressourcerne (de semiotiske valg). Denne opfattelse peger tilbage til lingvisterne Hjelmslev (1966 [1943]) og Saussure (1916) med den strukturalistiske antagelse af, at vi faktisk forstår et valg på baggrund af de mulige valg, som vi ikke tog – og at vi dermed som semiotiske væsener bevidst eller ubevidst forstår valgets “semiotiske adresse” i systemet (se Strukturalisme). I den multimodale socialsemiotik er tesen, at vi altid vælger fra flere semiotiske systemer samtidigt, når vi sammensætter vores kommunikation. Det socialsemiotiske grammatikbegreb er deskriptivt og funktionelt, idet grammatikken beskriver de typiske valg i en given sociokulturel, funktionel kontekst (og ikke præskriptivt, normativt eller formelt, hvor grammatik er regler for korrekt anvendelse). Ethver mode kan ifølge den multimodale socialsemiotik beskrives grammatisk, sådan som det ses med billeder (Kress & van Leeuwen 2006) og lyd (van Leeuwen 1999) – og samspillet mellem modes ligeså.

Hodge & Kress’ Social Semiotics (1988) kan ses som forløberen for det multimodale socialsemiotiske paradigme, hvor de diskuterer en lang række grundlæggende teoretiske, ideologiske og metodologiske grundtanker, som siden har stået centralt i multimodal socialsemiotik.

Multimodal socialsemiotik har sit udspring i de første forsøg på at anvende teoretiske grundtanker fra Michael Hallidays systemisk funktionelle lingvistik (SFL) på visuel kommunikation. Det var først og fremmest Hallidays generelle semiotiske teorier fx Language as social semiotic (1978) frem for de mere specifikke lingvistiske, som inspirerede. Man videreførte begreber som metafunktioner, instantiering, stratifikation og rang samt den generelle funktionelle og deskriptive tilgang til det semiotiske system (se fx Hestbæk Andersen, Boeriis, Maagerø & Tønnessen 2015 og Hestbæk Andersen & Boeriis 2012).

O’Tooles The Language of Displayed Art (1994) samt Kress & van Leeuwens Reading Images – the grammar of visual design (1996) var skelsættende værker, som havde den ambitiøse målsætning at forstå og beskrive andre former for kommunikation lige så præcist og udtømmende som den sproglige. Multimodal socialsemiotik indskriver sig selv i en række af skoler, som har taget afsæt i lingvistiske teorier i undersøgelsen af andre kommunikationsformer. De mest fremtrædende skoler er Pragerskolen i 1930’erne og begyndelsen af 1940’erne, hvor inspirationen kom fra de russiske formalister (se De russiske formalister) og Pariserskolen i 1960’erne og 1970’erne, som først og fremmest havde afsæt i Saussures ideer (Kress & van Leeuwen 2006: 6). Den multimodale socialsemiotik er en forholdsvis ny skole, som har udviklet sig nærmest eksplosivt siden årtusindeskiftet (Norris 2015), og den vinder stadig større udbredelse inden for forskning og undervisning (Iedema 2003).

De første undersøgelser af visuel kommunikation fra et socialsemiotisk perspektiv inspirerede en lang række nye undersøgelser af andre modes, herunder lyd, film, arkitektur, rumindretning, litteratur, tøjdesign, hårstil, samt undersøgelser inden for interaktionsanalyse, etnografi, literacy og læringsteori, feministisk og kritisk diskursanalyse – bare for at nævne nogle eksempler. I de senere år er udforskningen af stadigt nye modes fortsat, og ikke mindst de sociale medier har fået stadig større opmærksomhed. Gunther Kress og Theo van Leeuwen har været væsentlige drivkræfter i en lang række retninger inden for denne fortsatte udvikling.

I det centrale værk Multimodal Discourse (2001) introducerede Kress & van Leeuwen første gang termen “multimodality” som titel for den nye selvstændige forskningsmæssige retning, og de udstak dermed retningen for udviklingen af den multimodale socialsemiotiske forskning. Udgangspunktet for den nyere forskning står på skuldrene af de indsigter, som er kommet af det multimodale projekt. Det vil sige, at den forståelse, man har fået af at undersøge forskellige modes, bliver grundlaget for stadig nye undersøgelser, hvorved feltet er i konstant teoretisk, deskriptiv, metodologisk og analytisk udvikling. Målsætningen er stadig at nå samme præcision, detaljefokus og systematisk nidkærhed over for alle modes, som lingvistikken har i forhold til sproget. Dette projekt er kun lige påbegyndt, og moderne (digital) kommunikation er i rivende teknologisk og semiotisk udvikling, så der ligger mange års udviklingsarbejde foran forskningen i multimodal socialsemiotik.

Selv om multimodalitetsteorien har dybe rødder i systemisk funktionel lingvistik, tog den faktisk fra begyndelsen et opgør med de verbalsproglige modes’ dominans inden for semiotisk kommunikationsteori og i første omgang ikke mindst inden for de systemisk funktionelle rammer. En del af den oprindelige vision var således at fjerne sproget fra tronen som det til enhver tid vigtigste betydningssystem. Denne mere forskningspolitiske agenda var funderet i en overbevisning om, at den kulturelle og teknologiske udvikling nødvendiggør en sådan gentænkning af kommunikations­formernes hierarki, og Kress argumenterer endda for, at udviklingen gradvis giver den visuelle kommunikation forrang over den sproglige (Kress 2003: 7).

Forskningen i multimodal socialsemiotik har siden skiftet sit fokus til at være rettet mod de udfordringer, det skaber at ville favne den multimodale kompleksitet. Efterhånden som feltet har udviklet sig, er der kommet et øget fokus på en nødvendig grundforskning i multimodal teori i sig selv (Lemke 1991, 2000; Kress & van Leeuwen 2001; O’Halloran 2004; Baldry & Thibault 2006; Bateman 2008; Boeriis & Holsanova 2012; Boeriis 2017). Det har både teoretiske og metodologiske konsekvenser at forsøge at begribe og beskrive de semiotiske mekanismer, som udspilles i og imellem systemer i multimodal kommunikation. I den nyeste forskning er der dermed fokus på, hvilke bagvedliggende semiotiske mekanismer, der fungerer på tværs af modes i kommunikationen.

Begrebet metafunktion har særlig vægt som ramme for forståelsen af andre modes. Metafunktionalitet er et af de teoretiske grundsætninger fra Hallidays systemisk funktionelle lingvistik. Metafunktionerne beskriver, hvordan sprog og andre betydningsskabende enheder udfører tre samtidige kommunikative funktioner, nemlig a) at repræsentere noget fra og om den menneskeligt erfarede verden i teksten (ideationel metafunktion), b) at vælge et bestemt perspektiv eller vinkel på det repræsenterede og dermed forme den sociale relation mellem afsender og modtager (interpersonel metafunktion) og c) at integrere disse to betydninger i en helhed som en strukturelt sammenhængende tekst (tekstuel metafunktion) (Halliday & Matthiessen 2014). Metafunktionerne fungerer inden for alle de semiotiske systemer (modes) og ikke mindst på tværs i samspillet mellem dem i teksterne.

Allerede i Multimodal Discourse (2001) skitserede Kress & van Leeuwen et tema, som gradvist er begyndt at fylde mere inden for multimodal socialsemiotik. De sætter spørgsmålstegn ved om (grammatikker for) adskilte modes i det hele taget eksisterer, sådan som det meste forskning hidtil har antaget (Kress & van Leeuwen 2001: 124). Kress & van Leeuwens hidtidige arbejde var baseret på en implicit antagelse af, at forskellige modes kan beskrives og behandles i deres helhed, før de “kombineres” med input fra de andre modes. Det er fx nemmere at tale om samspillet mellem skriftsprog, billedsprog, typografi, layout og grafik, fordi vi har beskrevet disse hver for sig gennem mange år. Det betones dermed, hvordan adskillelsen af modes er en akademisk konstruktion (Baldry & Thibault 2006: 119), et analytisk greb, som gør kompleksiteten i moderne kommunikation mere håndterbar. Dermed antydes et skifte, hvor konsekvenserne af det multimodale kommunikationssyn bliver, at man måske kun kan beskrive modes i det samspil i den multimodale kontekst, de udspilles i. Dette har været omdrejningspunktet for den seneste udvikling inden for multimodal teori.

Man kan tale om et paradoks mellem den multimodale socialsemiotiks oprindelige og nyere grundtanker. Hvis alle tekster er multimodale, og hvis der ikke findes individuelle modes i den kommunikative praksis, så giver det vel ikke mening i en deskriptiv teori at beskrive samspil mellem modes, som ikke eksisterer. Hvis der ikke findes “mono” kan der ikke være “multi”, så hvis ingen tekster er monomodale, hvorfor så beskrive ressourcerne som om de var i adskilte modes, hvis deskriptionen af ressourcerne skal afspejle praksis? Årsagen til alligevel at fastholde denne analytiske heuristik skal findes i en række forskellige traditioner. Tidligere var forskellige modes i højere grad tilhørende adskilte medier, fx var skriftsproget i mange år forbundet med de trykte medier, og disse adskilte medier krævede højt specialiserede håndværksmæssige kompetencer fra unikke håndværk. Typografi og fotografi var fx ganske forskellige fagligheder, som krævede specialister. Samtidig har der gennem årene været unikke forskningsfelter til forskellige modes, fx lingvistik til beskrivelse af sprog eller kunsthistorie til beskrivelse af billeder. Med den teknologiske og semiotiske udvikling er disse skel blevet gradvist mere udviskede, og i det digitale samfund er enhver person med en telefon og basale tekniske og softwaremæssige færdigheder principielt i stand til selv at producere og distribuere skrift, billeder, grafik, film osv. Det er interessant, at mange forskere til trods for denne udvikling ikke ønsker at give slip på tanken om de adskilte modes. Dette skyldes måske en forståelig bekymring for, at indsigterne fra mange års monomodal forskning vil blive borte som følge af udviklingen. Den multimodale socialsemiotiks målsætning er dog netop at tage udgangspunkt i tidligere forskning og udvikle indsigterne i forhold til en teknologisk, kulturel og semiotisk samtid.

Den multimodale socialsemiotik er i høj grad lykkedes med projektet om at skabe en ny tilgang til forskning i visuel kommunikation – og i forlængelse heraf alle tænkelige former for kommunikation. Der er grundlagt et nyt paradigme, som efterhånden har vokset sig stort og stærkt, og som har fået stor indflydelse og anvendes bl.a. ved mediestuder, designstudier, filmstudier, kritiske studier, diskursstudier, kulturstudier, filologiske studier og litteraturstudier. Væsentlige tidsskrifter, som bringer forskningsartikler om multimodal socialsemiotik er bl.a. Visual Communication (Sage), Social Semiotics (Taylor & Francis), Discourse and Society (Sage) og Multimodal Communication (De Gruyter Mouton). Hvert andet år afholdes den internationale konference om multimodalitet (ICOM) ved forskellige universiteter med et multimodalt forskningsmiljø. De stærkeste miljøer for forskning i multimodal socialsemiotik ligger i skrivende stund ved University of New South Wales (Australien), University of Leeds (Storbritannien), University of London (Storbritannien), Bremen Universität (Tyskland) og Syddansk Universitet (Danmark).

Multimodalitetsteori er under udvikling som en teoretisk og metodologisk tradition, og samler en lang række forskellige forskningsmæssige retninger. Den store succes har i nogle sammenhænge medført en anvendelse af de oprindelige teorier, som ligger langt fra den oprindelige tanke. Theo van Leeuwen har udtalt, at han sommetider er bekymret for, om de har været med til at “skabe et monster” (Hestbæk Andersen & Boeriis 2012: 110). Det bekymrer ham, når de teoretiske og metodologiske overvejelser, som han var med til at præsentere i Reading Images forstås og anvendes af forskere og studerende som endegyldige sandheder – præskriptivt og normativt – til ufleksible analyser og ikke mindst til at afgøre om designs af visuelle tekster er “rigtige” eller “forkerte”. Han understreger, at det er vigtigt, at multimodal socialsemiotik som ethvert sundt paradigme skal udvikle sig i takt med, at de grundlæggende aksiomer afprøves og diskuteres af forskere verden over.

Man kunne frygte, at den multimodale socialsemiotiks inspiration fra den systemisk funktionelle lingvistik (SFL) ville være problematisk, fordi det kunne blive til rigid lingvistisk teoriimperialisme, men trods potentielle problemer og mulige blinde vinkler, har tilgangen ført til indsigter, som næppe kunne have været nået på anden vis. Netop den funktionelle og deskriptive ambition inden for SFL har således været udtalt produktiv, idet den har muliggjort beskrivelsen af, hvordan semiotiske ressourcer bruges til at skabe multimodal betydning i tekster.

(2017)

Forfatter Morten Boeriis
Supplerende læsning

Hestbæk Andersen, Boeriis, Maagerø & Tønnessen 2015, Hestbæk Andersen & Boeriis 2012

Reference

Baldry, Anthony P. & Thibault, Paul J. (2006). Multimodal Transcription and Text Analysis. London: Equinox

Bateman, John A. (2008). Multimodality and Genre: A Foundation for the Systematic Analysis of Multimodal Documents. London: Palgrave

Boeriis, Morten (2017). “Modeling Multimodal Stratification”. I: Siezov, Ognyan & Wildfeuer, Janina (red.). New Studies in Multimodality. Conceptual and Methodological Elaborations. London: Bloomsbury Academic

Boeriis, Morten & Holsanova, Jana (2012). “Tracking visual segmentation: Connecting semiotic and cognitive perspectives”. Visual Communication, 11 (3), s. 259-281

Halliday, M.A.K. (1978). Language as Social Semiotic. London: Edward Arnold

Halliday , M.A.K & Matthiessen, Christian M.I.M. ( 2014 ). Halliday’s Introduction to Functional Grammar. 4. udg. London / New York: Routledge[1.udg. 1985]

Hestbæk Andersen, Thomas & Boeriis, Morten (red.) (2012). Nordisk Socialsemiotik. Pædagogiske, multimodale og sprogvidenskabelige landvindinger. Odense: Syddansk Universitetsforlag

Hestbæk Andersen, Thomas; Boeriis, Morten; Maagerø, Eva & Tønnessen, Elise Seip (2015). Social Semiotics. Key Figures, New Directions. London / New York: Routledge

Hjelmslev, Louis (1966 [1943]). Omkring sprogteoriens grundlæggelse. København: Akademisk Forlag [Opr. udg. 1943 som festskrift fra Københavns Universitet, uændret genoptr. 1966]

Hodge, Roger & Kress, Gunther (1988). Social Semiotics. Cambridge: Polity Press

Iedema, Rick (2003). “Multimodality, resemiotization: extending the analysis of discourse as multi‐semiotic practice.” Visual Communication, 2 (1), s. 29-57

Kress, Gunther (2003). Literacy in the New Media Age. London / New York: Routledge

Kress, Gunther (2010). Multimodality: A Social Semiotic Approach to Contemporary Communication. New York: Routledge

Kress, Gunther & van Leeuwen, Theo (1996 [2006]). Reading Images. The Grammar of Visual Design. London / New York: Routledge

Kress, Gunther & van Leeuwen, Theo (2001). Multimodal Discourse: The Modes and Media of Contemporary Communication. London: Arnold

Lemke, Jay L. (1991). “Text production and dynamic text semantics.”I: Ventola, Eija (red.). Functional and Systemic Linguistics: Approaches and Uses. (Trends in Linguistics: Studies and Monographs 55). Berlin: Mouton de Gruyter, s. 23-38

Lemke, Jay L. (2000). “Multiplying meaning: Visual and verbal semiotics in scientific text.” I: Martin, James R. & Veel, Robert (red.). Reading Science: Critical and Functional Perspectives on Discourses of Science. London: Routledge, s. 87-113

Norris, Sigrid (red.) (2015). Multimodality. London /New York: Routledge

Nørgaard, Nina (2012). “Multimodal stilistik.” I: Hestbæk Andersen, Thomas & Boeriis, Morten (red.). Nordisk socialsemiotik. Pædagogiske, multimodale og sprogvidenskabelige landvindinger. Odense: Syddansk Universitetsforlag, s. 111-130

O’Halloran, Kay L. (red.) (2004). Multimodal Discourse Analysis. Systemic Functional Perspectives (Open Linguistics). London: Continuum

O’Toole, Lawrence M. (1994). The Language of Displayed Art. London: Leicester University Press [2. udg. Routledge, 2010]

Saussure, Ferdinand de (1916). Cours de linguistique générale. Udg. af Charles Bally og Albert Sechehaye, under medvirken af Albert
Riedlinger. Laussanne / Paris : Payot [2.udg. 1922] [Eng. overs. 1959 og 1985]

Saussure, Ferdinand de (1959). Course in General Linguistics. Overs. med indledn. og noter af Wade Baskin. New York: Philosophical Library [Genoptr. 1966 McGraw-Hill]

Saussure, Ferdinand de (1985). Course in General Linguistics. Overs. med indledn. og noter af Roy Harris. London: Duckworth

van Leeuwen, Theo (1999). Speech, Music, Sound. London: Palgrave MacMillan

van Leeuwen, Theo (2005). Introducing Social Semiotics. London / New York: Routledge