Modalitet 3 (semiotik)
Afledt af lat. modus (eng. mode). Ordet modus anvendes inden for semiotikken om de forskellige semiotiske systemer, semiotisk modus (eng. semiotic mode). I denne betydning betones forskellene mellem fx skriftsprog, figurative billeder og abstrakte billeder som tre forskellige semiotiske modi, som alle bruger synlige tegn; de har samme sansemodus (modalitet 2), men forskellig semiotisk modus. Tale, sang, musik og reallyd er på samme måde forskellige semiotiske modi, som anvender hørlige tegn. De semiotiske modi omfatter alle de forskellige tegnformer som naturlige sprog (skrift og tale); tonefald, mimik og gestus; figurative billeder, abstrakte billeder, piktogrammer og andre grafiske former, trafiksignaler, musik, abstrakte lydeffekter, reallyd, osv. osv. Hver af disse kan opfattes som en semiotisk ressource, som er til rådighed for kompleks kommunikation. Multimodal kommunikation er i denne betydning kommunikation som kombinerer flere semiotiske modi.
Tankegangen er især blevet udviklet af Gunther Kress & Theo van Leeuwen med inspiration i Hallidays social semiotics. I forskellige sammenhænge har de undersøgt vilkårene for produktion, analyse og fortolkning af værker og medieformer som kombinerer flere tegnformer, fx tekst med illustrationer; tekst og musik (sang); levende billeder med skrift, tale, musik, lydeffekter og reallyd (film og fjernsyn). Hertil kommer de såkaldte multimedieproduktioner som computerspil og programmer med et didaktisk eller informativt sigte. Med bøgerne Multimodal Discourse (Kress & van Leeuwen 2001) og Introducing Social Semiotics (van Leeuwen 2005) giver de deres bud på en semiotisk tilgang, der ikke ser på de semiotiske ressourcer som adskilte og isolerede systemer, men som integrerede bidrag til en multimodal fremstilling.
Semiotisk modalitet må ikke forveksles med det lingvistiske begreb modalitet som også spiller en vigtig rolle hos Kress og van Leeuwen (modalitet 1). Kress og van Leeuwens væsentligste bidrag til udviklingen af en multimodal semiotik er arbejdet med en overordnet ramme for forståelsen af de multimodale kommunikationsformer. Den består af 4 faser eller strata som groft set følger kommunikationsprocessen fra idé til realisation: 1) Diskurs, 2) Design, 3) Produktion og 4) Distribution.
Modellen kan både forstås processuelt som et forløb, der principielt kan involvere forskellige aktører, og strukturelt som forskellige lag eller strata, der er manifesteret i det multimodale produkt. Hvert trin eller lag indebærer såvel muligheder som begrænsninger i de semiotiske ressourcer.
Diskurs defineres i overensstemmelse med gængs diskursteori som socialt konstrueret viden om (et aspekt af) virkeligheden. Kress og van Leeuwen opererer med en dobbelthed i diskursbegrebet således at diskurser kan eksistere uafhængigt af bestemte realisationsmåder, samtidig med at de realiseres materielt i en eller anden semiotisk modus, hvoraf sproget kun er en af flere mulige. Alle de semiotiske modi der er til rådighed i en given kultur, benyttes også til at artikulere kulturens diskurser. De rådende diskurser bliver således både et afsæt for udformningen af konkret kommunikation og et overordnet lag af betydning, som præger alle de øvrige lag og de valg, som foretages her.
Design er det overordnede formål med kommunikationen og de midler, som skal aktiveres og organiseres for at nå dette mål. En “designer” skal ikke nødvendigvis stå for den praktiske realisation af et design, men kan overlade dette til en eller flere udøvende og udførende instanser. Dette vil ofte være tilfældet i forbindelse med reklamer, film, fjernsynsudsendelser, politiske kampagner o.l. I andre tilfælde, typisk skønlitterære tekster og videnskabelige afhandlinger, er designeren og det udførende led en og samme person. For Kress & van Leeuwen er det en interessant pointe, at overgangen til digitale medier muliggør at komplekse, multimodale værker kan designes, udføres og distribueres af en og samme person ved hjælp af en personlig computer. Men grundlæggende insisterer de på, at design principielt skal holdes adskilt fra udførelsen af designet. Designets typiske manifestationsform er et “script”, en mere eller mindre detaljeret fremstilling af indhold og form, med angivelse af, hvordan det ønskes realiseret. Designet indeholder således de overordnede valg af semiotiske ressourcer og dermed de betydninger som kan realiseres.
Produktion er den materielle realisation af designet i et specifikt medium eller kombination af medier. Det er en fysisk proces, som indebærer maskinelt eller menneskeligt arbejde, herunder manipulation med materialet, hvad enten det er stemmen, kroppen, instrumentet, pigmenterne og lærredet, kameraet og det lysfølsomme materiale, det digitale lagringsmedium mv. med henblik på at nå det forestillede resultat. Produktionen er ikke semiotisk neutral: når stemmen fx skal realisere en dramatisk tekst eller en sang, tilfører den talende eller sangeren en direkte kommunikation med ekstra betydninger, som ikke kan fastlægges i et design. Disse betydninger er ofte svære at beskrive i ord, men de opfattes ikke desto mindre meget præcist og medfører såvel kognitive som følelsesmæssige reaktioner hos modtageren. Produktionen indebærer ofte et samarbejde mellem en lang række specialister med hver sin ekspertise; hver af disse kan tilføre særlige betydningsaspekter som er med til at præge det færdige produkt som møder modtagerne.
Distribution omfatter de praktiske betingelser for spredningen af det realiserede design, fx mangfoldiggørelse, fordeling og salg af en trykt tekst. Men også optagelse og transmission af en performance; optagelse, mangfoldiggørelse, fordeling og salg af en fremførelse af et stykke musik; udlejning og forevisning af en film i en biograf; osv. osv. Både den anvendte teknik og de vilkår, hvorunder produktet møder sit endelige publikum, er med til at aktivere særlige betydninger. Hertil kommer, at teknikken kan bruges til både at bevare og transformere kommunikationen og dermed forlene den med ny betydning. De digitale medier indebærer endvidere helt nye muligheder for interaktiv tilgang til kommunikationen og personlig tilpasning af den.
Kress og van Leeuwen illustrerer modellen med mange eksempler som bl.a. skal vise, at sprog i snæver forstand spiller en begrænset rolle i den multimodale verden som betydningsskabende og betydningsbærende semiotisk modus. Der er mange semiotiske ressourcer til rådighed, og de gør sig gældende i alle modellens lag. Derved anfægtes også den sproglige models typiske skel mellem ikke betydningsbærende formelementer som fonemer og grafemer, og de betydningsbærende som morfemer, leksemer, sætninger og tekstafsnit (det som kaldes for den “dobbelte artikulation”). Et tilsvarende skel gælder ikke for flertallet af de semiotiske ressourcer, og selv for sprogets vedkommende kan de lydlige eller grafiske elementer i sig selv være betydningsdannende (tonefald, typografisk stil). Dette opgør med en lingvistisk orienteret semiotik synes at være et væsentligt formål med analysen. Samtidig viderefører Kress & van Leeuwen dog et andet aspekt af denne orientering, nemlig skellet mellem leksikalske elementer og de grammatiske former som sammen med de leksikalske elementer udgør sprogets egentlige betydningsdannnende udtryk. De opfatter deres analyser i bogen Reading Images (1984) som et foreløbigt bidrag til en multimodal grammatik (syntaks) (billedkonstruktion og betydning). van Leeuwen har arbejdet videre med denne brede opfattelse af semiotikken i Introducing Social Semiotics (2005).
(2013)
