Metaphernanalyse in der multimodalen Kommunikation

1 Einleitung

Die Erforschung der Metapher ist seit der Antike ein Anliegen der Sprachanalyse. Jedoch wurde die Metapher lange Zeit überwiegend als rein rhetorisches Stilmittel betrachtet, bis Lakoff und Johnson (1980) die konzeptuelle Metapherntheorie (CMT) entwickelten. Diese Theorie besagt, dass unser alltägliches Konzeptsystem, nach dem wir sowohl denken als auch handeln, im Kern grundlegend metaphorisch ist (vgl. Lakoff und Johnson 1980: 3). In diesem Sinne gilt die Metapher als verfügbares Mittel in der kognitiven Linguistik, um das Konzeptualisierungsverfahren bzw. die mentalen Prozesse in der menschlichen Kognition zu erforschen. Zudem haben Analysen zu konzeptuellen Metaphern die metaphorischen Wurzelsysteme aufgedeckt, die vielen wissenschaftlichen Bereichen zugrunde liegen, und haben sich als unschätzbares Instrument für WissenschaftlerInnen erwiesen, die sich für Themen wie Erst- und Zweitspracherwerb, pädagogische Praxis, interkulturelle Kommunikation, Werbung und Marketing, Arzt-Patienten-Interaktionen, Psychotherapie, Übersetzungsstudien und Politik interessieren (vgl. Gibbs 2017: 4).

Mit der Entwicklung der modernen Informationstechnologie zeigt sich ein deutlicher Trend: Informationen werden selten nur durch Sprache, sondern vielmehr durch verschiedene Zeichenmodalitäten wie Bilder, Musik, Geräusche und Gesten sowie durch deren Kombinationen verbreitet. Laut Klug und Stöckl (2015: 244) ist die Multimodalität „der natürliche Urzustand unserer kommunikativen Ökologie“. Vor diesem Hintergrund ist es Forceville zufolge unerlässlich zu zeigen, dass und wie die Metaphern sowohl nonverbal und multimodal als auch rein verbal auftreten können (vgl. Forceville 2006: 381).

Das von Forceville eingeführte Konzept der multimodalen Metapher hat große Beachtung gefunden und seither eine Vielzahl empirischer Studien angeregt, die den Einsatz von Metaphern in multimodalen Kontexten untersuchen. Diese Studien konzentrieren sich auf Metaphern in verschiedenen Medien und Genres, wie z. B. in Werbeanzeigen (Forceville 2007; Yu 2009; Urios-Aparisi 2009; Forceville 2013; Pérez-Sobrino 2016), Karikaturen (Yus 2009; Bounegru und Forceville 2011; Zhang und Forceville 2020; Abdel-Raheem 2021), Filmen (Rohdin 2009; Forceville 2016 a; Forceville und Paling 2021; Vermenych 2021), Musikstücken (Zbikowski 2009; Yang und Wang 2013) und Gesten (Mittelberg und Waugh 2009; Müller und Cienki 2009; Lhommet und Marsella 2014; Deng und Wu 2024). Von besonderem Einfluss war in diesem Zusammenhang der Sammelband Multimodal Metaphor von Forceville und Urios-Aparisi (2009), der diese Forschungsfortschritte umfassend thematisiert.

Trotz des reichhaltigen Forschungsmaterials weisen die vorhandenen empirischen Untersuchungen zur multimodalen Metapher jedoch zwei wesentliche Mängel auf. Zum einen herrscht Uneinigkeit darüber, wie eine multimodale Metapher genau definiert werden kann und welche Kriterien erfüllt sein müssen, um eine Metapher als multimodal zu klassifizieren. Diese definitorischen Differenzen führen zu erheblichen Unterschieden in Bezug auf die Auswahl und den Umfang der Untersuchungsobjekte in empirischen Studien. Zum anderen fokussiert sich die Forschung zu multimodalen Metaphern vorwiegend auf zwei Ansätze: Entweder liegt der Schwerpunkt auf der formalen Gestaltung, wobei die Interaktion zwischen verschiedenen Zeichenmodalitäten analysiert wird, oder multimodale Metaphern werden als eine Erweiterung der konzeptuellen Metaphern betrachtet, wobei ihre kognitiven Eigenschaften im Vordergrund stehen. Allerdings fehlt eine integrative Perspektive, die systematisch untersucht, wie die Interaktion zwischen Modalitäten kognitive Assoziationen zwischen verschiedenen Konzepten aktiviert und dadurch metaphorische Bedeutung emergiert.

Um ein besseres Verständnis multimodaler Metaphern zu fördern und eine integrative Perspektive auf bestehende Forschungsansätze zu entwickeln, wird in diesem Beitrag zunächst eine Übersicht über verschiedene Definitionen gegeben und werden deren Stärken sowie Einschränkungen erläutert. Anschließend werden theoretische Ansätze aus der sozialsemiotischen und der kognitionslinguistischen Perspektive verglichen, um ihre Komplementarität in der Metaphernanalyse hervorzuheben: Während die sozialsemiotische Perspektive die Bedeutungskonstitution in semiotischen Repräsentationen untersucht, jedoch die mentalen Prozesse metaphorischer Beziehungen außer Acht lässt, liefert die kognitionslinguistische Perspektive Erklärungsansätze zur kognitiven Konstruktion metaphorischer Verbindungen, ohne jedoch die Rolle der Darstellungsform systematisch zu berücksichtigen.^[1] Aufbauend auf den Stärken beider Perspektiven entwickelt dieser Beitrag das sozialsemiotische Integrationsmodell.

Dieses Modell verfolgt das Ziel, theoretische Erklärung und praktische Anwendung zu vereinen und übernimmt dabei eine doppelte Funktion. Einerseits dient es als Erklärmodell, das die kognitiven Mechanismen multimodaler Metaphern theoretisch erläutert. Andererseits fungiert es als Analysemodell und bietet einen methodischen Leitfaden für die empirische Untersuchung multimodaler Metaphern. Diese beiden Funktionen sind eng miteinander verknüpft: Die theoretischen Erkenntnisse des Modells bilden die Grundlage für die Analyse konkreter Beispiele, während die empirische Anwendung zur Weiterentwicklung und Präzisierung der theoretischen Grundlagen beiträgt. Anhand zweier Beispielkarikaturen wird veranschaulicht, wie das sozialsemiotische Integrationsmodell zur schrittweisen Analyse und Interpretation metaphorischer Strukturen in multimodalen Kommunikationsformen eingesetzt werden kann. Abschließend werden die möglichen Grenzen des Modells sowie die zukünftigen Forschungsrichtungen in der Analyse multimodaler Metaphern diskutiert.

2 Debatte über die Definition multimodaler Metaphern

Laut Lakoff und Johnson (1980) ist die Metapher ein kognitives Phänomen, bei dem ein konzeptueller Bereich (der Zielbereich) systematisch mithilfe eines anderen konzeptuellen Bereichs (des Quellbereichs) verstanden wird, was in der Formulierung A ist B zusammengefasst werden kann. Die Verbindung zweier (oder mehrerer) konzeptueller Bereiche führt häufig zu einem „uneigentlichen Sprechen“, wobei „sich zwischen dem wörtlich Gesagten und dem tatsächlich Gemeinten eine Lücke ergibt, die von den Sprachteilhabern geschlossen werden muss“ (Spieß 2014: 37). Solche semantisch widersprüchlichen Ausdrücke sind dennoch in einem bestimmten Kontext verständlich, da die Kommunizierenden zur Aufrechterhaltung der Kommunikation versuchen, Korrelationen zwischen den beiden Konzepten zu finden (vgl. Spieß 2016: 244).

Ausgehend von der Zeichenmodalität der Quell- und Zielbereiche schlägt Forceville die Unterscheidung zwischen monomodalen und multimodalen Metaphern vor: In einer monomodalen Metapher werden der Quell- und Zielbereich nur oder hauptsächlich in einer Zeichenmodalität wiedergegeben, während sie in einer multimodalen Metapher ausschließlich oder überwiegend in unterschiedlichen Zeichenmodalitäten dargestellt werden (vgl. Forceville 2006: 383–384). Die Einführung des Konzepts der multimodalen Metapher ermöglicht es, den Fokus nicht länger auf die Analyse verbaler Metaphern zu beschränken, sondern verstärkt auch die Verwendung von Metaphern in visuellen, auditiven und gestischen Kontexten zu berücksichtigen.

Allerdings wird der Begriff der multimodalen Metapher, wie viele andere linguistische Termini, kontrovers diskutiert. Ein wesentlicher Grund dafür liegt in der Uneinigkeit über die Konzepte der Multimodalität und der ihr zugrunde liegenden Zeichenmodalität, die laut Wildfeuer (2020: 134) „tatsächlich die Grundlage für jede umfassende und anwendungstaugliche Darstellung von ‚Multimodalität‘ [bildet]“. Die Komplexität des Zeichenmodalitätsbegriffs ergibt sich daraus, dass dieser sowohl eine materielle als auch eine semiotische Dimension umfasst. Die materielle Dimension bezieht sich auf die sensorischen Kanäle, über die Zeichenmodalitäten wahrgenommen werden, während die semiotische Dimension beschreibt, dass das verwendete Material durch seine NutzerInnen mit Bedeutung versehen wird (vgl. Wildfeuer 2020: 135–136). Je nachdem, welcher dieser beiden Aspekte im Vordergrund steht, variieren auch die Kriterien, nach denen eine Darstellung als multimodal gilt. So kann beispielsweise eine sprachliche Äußerung sowohl in schriftlicher als auch in gesprochener Form realisiert werden, was die Frage aufwirft, ob es sich hierbei um verschiedene Zeichenmodalitäten oder lediglich um unterschiedliche Erscheinungsformen derselben Zeichenmodalität handelt. In diesem Zusammenhang unterscheidet Fricke zwischen Multimodalität im engeren und im weiteren Sinne: Während sich die Multimodalität im engeren Sinne auf die Situation bezieht, wo verschiedene Sinnesmodalitäten involviert sind, gelten semiotische Produkte als multimodal im weiteren Sinne, wenn sie mindestens zwei Zeichenmodalitäten aufweisen, die aber nur mit einer Sinnesmodalität realisiert werden können (vgl. Fricke 2012: 47–49).

Selbst wenn man der weit gefassten Definition von Multimodalität folgt, wird Forcevilles Konzept der multimodalen Metapher dennoch dafür kritisiert, dass sie zu eng gefasst sei und daher den Forschungsbereich unnötig einschränke. Gibbons (2011: 81) bezeichnet diese enge Definition als „unnecessarily restrictive“. Auch El Refaie plädiert für eine erweiterte Definition, um sämtliche Fälle einzubeziehen, bei denen der Quell- und Zielbereich ausschließlich, hauptsächlich oder teilweise in unterschiedlichen Zeichenmodalitäten dargestellt werden (vgl. El Refaie 2009: 191). Im diesem Zusammenhang schlagen Eggertsson und Forceville vor, zwischen einer engen und einer erweiterten Definition multimodaler Metaphern zu differenzieren: Eine multimodale Metapher im engeren Sinne präsentiert den Zielbereich in einer Zeichenmodalität und den Quellbereich in einer anderen Zeichenmodalität, während der Quellbereich und/oder der Zielbereich in der multimodalen Metapher im weiteren Sinne gleichzeitig in mehr als einer Zeichenmodalität ausgedrückt werden (vgl. Eggertsson und Forceville 2009: 430). Solche multimodalen Metaphern im engeren Sinne werden nur zu analytischen Zwecken unterschieden, da in der praktischen Anwendung die multimodale Metapher im weiteren Sinne weitaus häufiger anzutreffen ist (vgl. Eggertsson und Forceville 2009: 430).

Obwohl die breitere Definition den Forschungsbereich der Metaphern in der multimodalen Kommunikation erheblich erweitert hat, bleibt deren Verständnis weiterhin umstritten. Schilperoord und Maes argumentieren, dass Metaphern nur dann als multimodal betrachtet werden sollten, wenn die Identifizierung eines metaphorischen Begriffs tatsächlich vom Vorhandensein von Informationen aus unterschiedlichen Zeichenmodalitäten abhängt (vgl. Schilperoord und Maes 2009: 234). Diese Auffassung spiegelt sich auch in der methodischen Herangehensweise von Bounegru und Forceville (2011) zur Unterscheidung zwischen bildlichen und multimodalen Metaphern in politischen Karikaturen wider. Ihrer Strategie zufolge kann man sich vorstellen, dass alle sprachlichen Elemente in der Karikatur entfernt werden, und dann überprüfen, ob der Quell- und Zielbereich noch erkennbar sind – nur wenn die Identifizierung beider konzeptuellen Bereiche unmöglich ist, wird die Metapher als multimodal angesehen (vgl. Bounegru und Forceville 2011: 213).

Eine andere Auffassung vertreten Zhao und Feng, indem sie argumentieren, dass es sich um eine multimodale Metapher im weiteren Sinne handelt, solange mindestens zwei Zeichenmodalitäten an der Konstruktion einer Metapher beteiligt sind (vgl. Zhao 2011: 2; vgl. Feng 2011: 28). Diese Ansicht erweitert den Geltungsbereich multimodaler Metaphern noch weiter. Nach dieser Definition würde eine Metapher auch dann als multimodal gelten, wenn sprachliche Informationen in einer Karikatur nur eine wiederholende oder geringfügig ergänzende Rolle zur Bildinformation spielen und keinen entscheidenden Einfluss auf die Identifikation der Metapher haben.

Im Vergleich zur Auffassung von Schilperoord und Maes könnte die Ausdeutung von Zhao und Feng von forschungspraktischem Nutzen sein, weil die Ansicht von Schilperoord und Maes möglicherweise auf folgende Probleme stoßen könnte. Zunächst ist es umstritten, welche Informationen zur Identifikation von Metaphern notwendig sind. Dabei lässt sich hinterfragen, ob Informationen, die projizierte Merkmale betonen oder emotionale Bedeutungen ausdrücken, erforderlich sind. Stöckl weist z. B. darauf hin, dass selbst im Normalfall einer sprachlich dominierten Sprach-Bild-Verbindung die visuelle Gestaltung zusätzliche Bedeutungsebenen und Assoziationspotenziale schaffen kann, wodurch die Rezeption des Gesamttexts bereichert wird (vgl. Stöckl 2004: 254). Zweitens darf nicht außer Acht gelassen werden, dass Faktoren wie das Weltwissen, Kenntnisse über den Kontext und persönliche Interessen die Einschätzung der Relevanz bestimmter Informationen beeinflussen können (eine ähnliche Ansicht vertritt Forceville [2016b: 254]). Individuelle Einschätzungen können stark variieren, und selbst bei derselben Person können je nach Zeit, Ort und Situation unterschiedliche Informationen für die Metaphernerkennung erforderlich sein.

Diese Probleme führen dazu, dass die Grenze zwischen multimodalen und monomodalen Metaphern in der Auffassung von Schilperoord und Maes fließend bleibt, was wiederum die Überprüfbarkeit von Forschungsergebnissen erschweren kann. Im Gegensatz dazu verlagern Zhao und Feng das Unterscheidungskriterium zwischen monomodalen und multimodalen Metaphern von der Perspektive der InterpretInnen auf die des Produkts. Dies bedeutet, dass allein anhand der Anzahl der Modalitäten, die bei der Darstellung der Metapher verwendet werden, festgelegt werden kann, ob eine Metapher multimodal ist oder nicht.

In Anbetracht der obigen Überlegungen wird in diesem Beitrag die Definition von Zhao und Feng für multimodale Metaphern herangezogen. Diese produktorientierte Auffassung bietet eine objektiv überprüfbare Grundlage für die Analyse und bildet somit die konzeptuelle Basis für die in den folgenden Kapiteln vorgestellten Modelle. Im Anschluss werden verschiedene theoretische Ansätze zur Analyse multimodaler Metaphern vorgestellt und miteinander verglichen, um ihre jeweiligen Stärken und Schwächen aufzuzeigen.

3 Theoretische Ansätze zur Analyse multimodaler Metaphern

3.2 Blending-Theorie

Die Blending-Theorie basiert auf der konzeptuellen Metapherntheorie (Lakoff und Johnson 1980, 1999; Lakoff und Turner 1989) und wird zugleich von der Interaktionstheorie der Metapher (Black 1996 a, 1996b) stark beeinflusst. Das minimierte Modell der Blending-Theorie besteht aus vier mentalen Räumen, die von Fauconnier und Turner als kleine konzeptionelle Pakete definiert werden, die Menschen zum Zweck des lokalen Verständnisses und Handelns beim Denken und Sprechen aufbauen (vgl. Fauconnier und Turner 2002: 40). Diese Räume umfassen zwei Input-Räume, die bei der Erklärung metaphorischer Phänomene jeweils den Quell- und Zielbereich repräsentieren, einen generischer Raum, der aus gemeinsamen Elementen der Input-Räume besteht, und einen Blend-Raum, der durch eine selektive Projektion der Elemente aus den Input-Räumen entsteht. Im Blend können sich neue Elemente (emergent structure) entwickeln, die in den anderen mentalen Räumen nicht vorhanden sind, was in der Abbildung 1 durch das Viereck dargestellt wird.

Abb. 1

Modell der Blending-Theorie (aus Fauconnier und Turner 2002: 46)

Die Blending-Theorie bietet eine prägnante Darstellungsmöglichkeit für die komplexe Interaktion zwischen Konzepten (vgl. Grady et al. 1999: 109). Sie kann nicht nur kognitive Phänomene wie Metaphern und Metonymien erklären, sondern zeichnet sich auch durch ihre hohe Flexibilität und breite Anwendbarkeit aus. Wie zahlreiche Studien (Panther und Radden 1999; Dirven und Pörings 2002; Barcelona 2003) belegen, spielt die Metonymie eine grundlegendere Rolle als die Metapher, da letztere oft auf ersterer aufbaut. Das Blending-Modell ermöglicht in diesem Zusammenhang iterative Prozesse zur Analyse von Metaphern und Metonymien. Durch die temporären und partiellen Strukturen mentaler Räume kann es zudem kreative, kurzlebige Metaphern effektiv verarbeiten. Darüber hinaus erlaubt das Vier-Räume-Minimalmodell die Berücksichtigung mehrerer Input-Räume in der Praxis, wodurch auch Metaphern mit mehreren Quellbereichen analysiert werden können.

3.3 Integrationsmodell multimodaler Metaphern

Obwohl sich das Blending-Modell grundsätzlich als effektives Instrument für die Metaphernanalyse einsetzen lässt, kann die Frage, wie kognitive Vorgänge und semiotische Repräsentationen einer Metapher in multimodalen Kontexten zusammenwirken, nicht allein mit diesem Modell vollständig erfasst werden. Um dieses Zusammenspiel besser zu erläutern, entwickelte Zhao (2013) auf Basis des Blending-Modells und des Integrationsmodells^[2] von Brandt und Brandt (2005) das Integrationsmodell multimodaler Metaphern (siehe Abbildung 2).

Der Ausgangspunkt des Modells ist der semiotische Basisraum, der formale Repräsentationen wie Bilder, Texte, Farben, Layout und Symbolik umfasst. Dies motiviert die Input-Räume, die Metonymien oder grundlegendere Metaphern beinhalten, wobei die Quadrate S (Source) und T (Target) jeweils für ihren Quell- und Zielbereich stehen. Der Relevanzraum umfasst pragmatische Informationen sowie dynamische Schemata und ergänzt metaphorische Bedeutungen im Blend-Raum. Der Bedeutungsraum, der daraus entsteht, beeinflusst wiederum semiotische Darstellungen und bildet so ein vollständiges Modell.

Abb. 2

Integrationsmodell multimodaler Metaphern (aus Zhao 2013: 4)^[3]

Das Integrationsmodell multimodaler Metaphern von Zhao erweitert das Blending-Modell, indem es die Rolle semiotischer Repräsentationen und den Einfluss pragmatischer Faktoren bei der Erklärung von Metaphern berücksichtigt. Wenn man dieses Modell jedoch auf die konkrete Analyse multimodaler Metaphern anwendet, fehlt in Zhaos Modell ein Leitfaden zur Interpretation semiotischer Komponenten, wodurch die Verbindung zwischen formalen Manifestationen und konzeptueller Integration stets unklar bleibt. Besonders bemerkenswert ist dabei, dass dieser Mangel zentrale Themen betrifft, die in soziosemiotischen Ansätzen behandelt werden. Diese Komplementarität unterstreicht das Potenzial für eine weitergehende Optimierung und Vervollständigung des Modells.

4 Synthese: Sozialsemiotisches Integrationsmodell

Obwohl die Komplementarität zwischen der Sozialsemiotik und der kognitiven Linguistik bereits zuvor betont wurde, beispielsweise in den Abhandlungen von Zhao und Su (2010), Zhang und Guo (2013) sowie Feng (2017), bleibt die Frage weiterhin offen, wie diese Komplementarität effektiv genutzt werden kann, um theoretische Modelle weiterzuentwickeln und zu verfeinern. In diesem Kontext schlägt diese Arbeit ein Modell vor, das die sozialsemiotische These über die Metafunktionen von Zeichen in Zhaos Integrationsmodell integriert. Da es sich einerseits auf die konzeptuelle Integration der Metaphern konzentriert und andererseits die Wirkung semiotischer Darstellungen in sozialen Kontexten sowie deren Rolle bei der Konstruktion von Metaphern berücksichtigt, wird es als sozialsemiotisches Integrationsmodell bezeichnet.

Der Ausgangspunkt dieses Modells ist der semiotische Basisraum, der alle vom RezipientInnen wahrgenommenen semiotische Darstellungen, die Bedeutungen oder Funktionen tragen können, umfasst, wie Texte, Bildelemente, Farben und Layouts. Um diese Informationen zu verarbeiten und zu verstehen, fügt das Modell einen Metafunktionsraum zwischen dem semiotischen Basisraum und den Input-Räumen hinzu. Wie Kress und van Leeuwen darauf hinweisen, gelten die von Halliday vorgeschlagenen drei Metafunktionen nicht nur für die geschriebene bzw. gesprochene Sprache, sondern für alle Zeichenmodalitäten (vgl. Kress und van Leeuwen 2006: 41–42). Semiotische Repräsentationen lassen sich hier im Metafunktionsraum aus der Darstellungs-, Interaktions- und Vertextungsebene auslegen. Im Falle visueller Kommunikation ist die visuelle Grammatik als Leitfaden einzusetzen.

Darüber hinaus wird ein Relevanzraum aus dem semiotischen Basisraum motiviert, der pragmatische Faktoren und andere relevante sowie assoziierbare Elemente beinhaltet, wie z. B. Genre, Vorkenntnisse, Hintergrundwissen und Kontext. Diese relevanten Informationen wirken weiterhin auf die Interpretationen im Metafunktionsraum ein, indem sie eine kontextnahe Bedeutungsbildung unterstützen. Daraus werden die Input-Räume (Quell- und Zielbereich) der Metapher identifiziert. Auf Basis der Gemeinsamkeiten der Input-Räume, die den generischen Raum konstruieren, werden die Merkmale der beiden Input-Räume selektiv in den Blend-Raum projiziert, wobei neue Merkmale bzw. Strukturen entstehen könnten. Der Blend-Raum wird zusätzlich durch den Relevanzraum ergänzt und modifiziert, wodurch der Bedeutungsraum entsteht. Dieser Bedeutungsraum umfasst die metaphorischen Bedeutungen sowie ästhetische und emotionale Auswirkungen, die sich aus semiotischen Gestaltungsmitteln wie Layout und Farbwahl ergeben und von den RezipientInnen im Lichte ihrer individuellen und kollektiven Vorerfahrungen wahrgenommen werden. Um diese Bedeutungen auszudrücken, werden entsprechende Darstellungsmittel verwendet, weshalb der Bedeutungsraum schließlich auf den semiotischen Basisraum verweist.

Abb. 3

Sozialsemiotisches Integrationsmodell

Dieses Modell kombiniert die sozialsemiotischen und kognitiven Ansichten und zielt darauf ab, deren jeweilige Einschränkungen bei der Metaphernanalyse zu überwinden. Die drei metafunktionalen Dimensionen – Darstellung, Interaktion und Vertextung – dienen dabei als analytischer Rahmen zur Beschreibung multimodaler Bedeutungsstrukturen. Dieser sozialsemiotisch fundierte Analyseansatz bietet damit eine Grundlage für die Identifizierung und Interpretation von Metaphern. Auf dieser Basis kann das Blending-Modell weiterhin erklären, wie die in diesen semiotischen Darstellungen verkörperten Konzepte miteinander interagieren, um metaphorische Bedeutungen zu erzeugen.

Neben der Erweiterung um den Metafunktionsraum besteht ein weiterer Fortschritt des vorliegenden Modells im Vergleich zu dem von Zhao darin, dass pragmatische Faktoren und andere kontextuell relevante Elemente bereits in die Interpretation formaler Manifestationen einbezogen werden – anstatt metaphorische Bedeutungen zunächst isoliert zu bestimmen und sie anschließend an einen Relevanzraum anzupassen. Diese Ergänzung ermöglicht es den Analysierenden, die Elemente der Input-Räume von Beginn an in authentischen Kontexten zu deuten.

Erwähnenswert ist jedoch, dass das Modell zwar grundsätzlich offen für multimodale Texte ist, die sich aus unterschiedlichen Zeichenmodalitäten zusammensetzen, der vorliegende Beitrag den Fokus jedoch zunächst auf Sprache-Bild-Kommunikation legt. Dies ist darauf zurückzuführen, dass bislang nur begrenzt systematische Untersuchungen zu einzelnen Modalitäten im Hinblick auf die drei metafunktionalen Analyseebenen vorliegen. In diesem Zusammenhang dient die Theorie der visuellen Grammatik als zentrale Bezugsperspektive für die Analyse visueller Bedeutungsaspekte.

Für die Anwendung des Modells als Analyseinstrument in der empirischen Forschung bietet sich dabei das folgende mehrstufige Vorgehen an:

Um das Analyseverfahren zu verdeutlichen, wird im nächsten Kapitel anhand zweier Karikaturen exemplarisch erläutert, wie das sozialsemiotische Integrationsmodell praktisch angewendet wird.

5 Exemplarische Anwendung des sozialsemiotischen Integrationsmodells an zwei Karikaturen

Unter dem Genre der Karikatur versteht Mast eine illustrative Darstellungsform, die durch pointierten Inhalt oder überspitzte Form belustigen, kommentieren oder angreifen will (vgl. Mast 1998: 272). Karikaturen gelten häufig als visueller Kommentar. Um die kommentierten AkteurInnen, Objekte, Sachverhalte oder Phänomene sowie die dazugehörigen Meinungen oder Haltungen präzise darzustellen, bedienen sich Karikaturen jedoch meist nicht nur visueller, sondern auch verbaler Zeichen. Anders gesagt: Karikaturen bestehen meist nicht ausschließlich aus reinen Bildern, sondern stellen eher einen komplexen Verbund sprachlicher und bildlicher Zeichenmodalitäten dar.

Karikaturen sind ideale Forschungsmaterialien für multimodale Metaphern, nicht nur weil ihre Form eine semiotische Grundlage für die Entstehung multimodaler Metaphern bietet, sondern auch weil sie selbst eine Kunstform darstellen, die Metaphern auf besonders effektive Weise einsetzt. Gombrich weist darauf hin, dass die Karikatur ihren Effekt durch den Einsatz von Metaphern erzielt, um auf aktuelle Ereignisse anzuspielen (vgl. Gombrich 1999: 198). Diese Darstellungstechnik richtet sich an ein Publikum, das den humorvollen Vergleich schätzt, welcher eine Situation nicht unbedingt erklärt, sondern vielmehr zusammenfasst (vgl. Gombrich 1999: 198). In diesem Kapitel werden zwei Karikaturen als Fallbeispiele herangezogen, um zu veranschaulichen, wie multimodale Metaphern anhand des sozialsemiotischen Integrationsmodells qualitativ analysiert werden können.

5.1 Fallbeispiel 1

Die Karikatur mit dem Titel KI als Sparringspartner wurde am 20. Februar 2024 von Christian Möller auf der Website Cloud-Science.de veröffentlicht. Zwischen dem Titel und der Karikatur befindet sich eine kurze Anmerkung des Autors, die lautet: In immer mehr Unternehmen wird KI zu einem dynamischen Partner, der mit klugen Analysen und kreativen Ideen zu besseren Geschäftsentscheidungen verhilft.

Abb. 5

Karikatur 1_KI als Sparringspartner^[4]

Auf der Darstellungsebene zeigt diese Karikatur eine Boxszene mit zwei Hauptakteuren: einem Menschen und einem Roboter. Der Mensch trägt einen blauen Boxhelm und -handschuhe, ein Hemd, Anzughose, Lederschuhe und eine Krawatte, während der Roboter rote Boxkleidung, -stiefel und -handschuhe trägt. Der Roboter sitzt verletzt auf einem Hocker in der Ecke des Boxrings und sagt trotz seiner Verletzungen: EF FREUT MICH, DAFF ICH DIR HELFEN KONNTE! Der Mensch steht siegreich, über seinem Kopf ist eine Glühbirne zu sehen, die eine Idee symbolisiert. Er macht einen Schritt, als ob er den Boxring verlassen will. Kombiniert mit der Anmerkung des Autors lässt sich vermuten, dass der Mensch in dem Bereich der Geschäfts- oder Unternehmensführung tätig ist.

Auf der Interaktionsebene lässt sich die Beziehung zwischen dem Menschen und dem Roboter durch Blickrichtung und Körpersprache deutlich erkennen. Der Mensch steht aufrecht, blickt nach vorne und ist bereit, den nächsten Schritt zu machen. Diese Haltung strahlt Selbstbewusstsein und Entschlossenheit aus. Hinter ihm sitzt der beschädigte Roboter, lächelt jedoch und folgt dem Menschen mit dem Blick. Diese Darstellung zeigt eine unterstützende Dynamik: Der Mensch erscheint als aktiver, selbstbewusster Akteur, während der Zustand des Roboters auf eine instrumentelle Nutzung hindeuten kann.

Auf der Vertextungsebene erläutern Kress und van Leeuwen, dass, wenn Bilder oder Layouts die horizontale Achse signifikant nutzen, die Elemente auf der linken Seite als das Gegebene präsentiert werden, während die auf der rechten Seite als das Neue dargestellt werden (vgl. Kress und van Leeuwen 2006: 180–181). In dieser Karikatur steht der Mensch links für das Bekannte oder Vertraute, während der rechts platzierte Roboter das Neue und Innovative verkörpert. Diese Anordnung spiegelt die Einführung von künstlicher Intelligenz in traditionelle Geschäftsprozesse wider. Zudem fungiert der Boxring als Rahmen bzw. visuelle Begrenzung, die die Interaktion zwischen dem Menschen und dem Roboter fokussiert und betont, dass Innovation und Tradition innerhalb eines definierten Rahmens effektiv zusammenwirken können.

Aus dem Metafunktionsraum lassen sich zwei Input-Räume ableiten: der eine bezieht sich auf das Boxsparring, der andere auf das Geschäftsumfeld. Der Input-Raum des Boxsparrings umfasst zwei Boxer, Boxausrüstung und einen Boxring. Hier handelt es sich um ein kämpferisches Training, bei dem das Ziel darin besteht, die Fähigkeiten der Boxer zu verbessern. Im Input-Raum des Geschäftsumfelds sind zwei Metonymien besonders hervorzuheben: Eine geschäftsführende Person repräsentiert Geschäftsführende in vielen Unternehmen, und ein Roboter steht für künstliche Intelligenz. Kombiniert mit der schriftlichen Anmerkung ist zu erkennen, dass dieser Input-Raum vor allem folgende Elemente beinhaltet: Geschäftsführende Personen, KI, Geschäftsumfeld, Handlungen wie Analysieren, Inspirieren und Diskutieren sowie das Ziel, bessere Geschäftsentscheidungen zu treffen.

Da Gemeinsamkeiten zwischen den beiden Input-Räumen zu finden sind, z. B. zwei Teilnehmer, ein festgelegtes Umfeld und eine unterstützende Beschaffenheit, lassen sich metaphorische Verbindungen herstellen. Hierbei wird die geschäftsführende Person als Boxer betrachtet, KI als Sparringspartner und das wettbewerbsintensive Geschäftsumfeld als Boxring. Die geschäftsführende Person nutzt die Unterstützung der KI, ähnlich wie ein Boxer von seinem Sparringspartner profitiert. Ein Boxer verbessert durch das Sparring seine Techniken, Kondition und Strategie, um im eigentlichen Wettkampf erfolgreicher zu sein. Ebenso hilft die KI der geschäftsführenden Person durch kluge Analysen und kreative Ideen, bessere Geschäftsentscheidungen zu treffen und im Markt erfolgreich zu sein.

Abb. 6

Analyse zur Karikatur 1 mit sozialsemiotischem Integrationsmodell

Insgesamt thematisiert die Karikatur die Rolle von künstlicher Intelligenz im Spannungsfeld menschlicher Entscheidungsprozesse im Geschäftsbereich. Die blaue und rote Ausstattung der Figuren bietet nicht nur einen ästhetischen visuellen Reiz, sondern hebt auch die Unterschiede zwischen Mensch und Maschine hervor. Obwohl es unklar ist, ob der Autor bewusst dem Menschen die blaue und dem Roboter die rote Ausrüstung zugewiesen hat, prägen die Farben unterschiedliche Wahrnehmungen. Laut Farbpsychologie wird Blau normalerweise als kühl und Rot als warm wahrgenommen (vgl. Albers 2013: 59). Dies korrespondiert mit dem ruhigen Auftreten des Menschen und dem Verschleiß des Roboters. Darüber hinaus lässt sich die Haltung des Autors zu dem kontroversen Thema der Anwendung von KI im Geschäftsleben wie folgt interpretieren: KI erscheint einerseits als potenziell unterstützendes Instrument für Führungskräfte bei der Entscheidungsfindung, andererseits aber auch als ein System, das an seine funktionalen Grenzen stößt – der Mensch bleibt dabei die zentrale Entscheidungsinstanz.

5.2 Fallbeispiel 2

Im Vergleich zur ersten Beispielkarikatur, die zwei Szenen kombiniert und metaphorische Bedeutungen generiert, konstruiert die nächste Karikatur multimodale Metaphern anhand von drei Input-Räumen. Mit dem Titel Geschlossene Gesellschaft wurde diese Karikatur von Paolo Calleri am 1. September 2021 auf de.toonpool.com veröffentlicht. Die Karikatur zeigt eine Frau im blauen griechischen Gewand. Sie hält in einer Hand einen Hammer und in der anderen die Nägel, während ihre Arme vor der Brust verschränkt sind. Das Gesicht dieser Frau wird von einem blauen Schild verdeckt, die mit einem Nagel an ihrer Stirn befestigt ist. Auf diesem Schild steht WE’RE CLOSED (‚Wir haben geschlossen‘). Hinter der Frau befindet sich ein weißer Stier, der desinteressiert schaut. Auffällig ist, dass die Ohren, Nasenlöcher und der Anus des Stiers mit Korken verschlossen sind.

Unter der Karikatur stehen die zugeordneten Kategorien und relevante Schlagwörter. Es lässt sich ersehen, dass die Illustration thematisch politische und gesellschaftliche Debatten verknüpft, die besonders im Jahr 2021 im Zentrum standen, darunter Europas Umgang mit der Fluchtbewegung aus Afghanistan, die humanitäre Krise und die politische Verantwortung Europas. Schlagwörter wie Europa, Afghanistan, Taliban und Menschlichkeit deuten auf den spezifischen geopolitischen Kontext hin, der die politischen und moralischen Herausforderungen Europas im Umgang mit Flüchtlingen und internationalen Konflikten reflektiert.

Abb. 7

Karikatur 2_ Geschlossene Gesellschaft^[5]

Auf der Darstellungsebene wird der berühmte Mythos von Zeus und Europa mit der modernen politischen Realität verknüpft. Die Deutung der Karikatur als Bezug auf den Mythos von Zeus und Europa setzt spezifisches Hintergrundwissen voraus. Ohne diese Kenntnisse könnten zentrale Bildelemente – etwa das Auftreten eines weißen Stiers oder des griechischen Gewandes – für die RezipientInnen unverständlich bleiben. In solchen Fällen müssten RezipientInnen auf Kontextsignale zurückgreifen und zusätzliche Informationen aktiv suchen, um die tiefere Bedeutung zu erschließen. Der Titel Geschlossene Gesellschaft bezieht sich hier auf das heutige Europa. Das Schlüsselkonzept Europa wird zum einen durch die mythologischen Figuren symbolisiert. Der Name Europa für den Kontinent leitet sich von der phönizischen Prinzessin Europa ab, die laut griechischen Mythos von Zeus in Gestalt eines weißen Stiers entführt wurde. Bemerkenswert ist jedoch, dass die Figuren in dieser Karikatur stark von ihren mythologischen Vorbildern abweichen: Die Europa der Mythologie verkörpert Neugier, Abenteuerlust und Offenheit, während sie hier gleichgültig und verschlossen erscheint. Ebenso erscheint der ursprünglich mächtige weiße Stier hier schwach und gelangweilt. Zum anderen wird Europa durch ein blaues Schild mit zwölf goldenen Sternen symbolisiert, das stark an die EU-Flagge erinnert und bei dem der Sternenkreis den Buchstaben O im Wort CLOSED ersetzt. Darüber hinaus stehen das Schild und der Titel der Karikatur „Geschlossene Gesellschaft“ in einem engen Zusammenhang. „Geschlossene Gesellschaft“ ist eine idiomatische Wendung im Deutschen und bezeichnet eine Situation, in der Restaurants oder Veranstaltungsorte für eine private Gesellschaft reserviert sind und Außenstehende keinen Zutritt haben. Diese Konnotation verstärkt den Eindruck einer abgeschotteten und unzugänglichen Gemeinschaft Europas deutlich.

Auf der Interaktionsebene steht Europa den RezipientInnen dieser Karikatur direkt gegenüber, doch ihr Gesicht wird vollständig von dem Schild verdeckt, sodass kein Augenkontakt möglich ist. Da sie selbst Hammer und Nägel hält, lässt sich schließen, dass diese Abdeckung keine äußere Einwirkung ist, sondern eine bewusste Entscheidung Europas. Mit verschränkten Armen zeigt sie eine abweisende und verteidigende Körpersprache, die ihre Kälte und deutliche Ablehnung gegenüber der Außenwelt symbolisiert. Hinter ihr steht der weiße Stier mit gesenkten Lidern und unfokussierten Augen in ruhender Haltung. Zusammen mit der verschlossenen Haltung Europas entsteht so eine Atmosphäre der Isolation und des Stillstands.

Auf der Vertextungsebene steht Europa zentral im Vordergrund, was ihre dominante Rolle in dieser Situation andeutet. Ihr blaues Gewand bildet nicht nur einen Farbkontrast zum weißen Stier im Hintergrund und hebt sie dadurch hervor, sondern korrespondiert auch mit dem blauen Schild, das der EU-Flagge ähnelt und eine visuelle Kohärenz schafft. Die Textinformation auf dem Schild befindet sich im Mittelpunkt des Bildes und lenkt die Aufmerksamkeit gezielt auf die ablehnende Haltung Europas.

Aus dieser Illustration lassen sich drei Input-Räume für die Konstruktion multimodaler Metaphern identifizieren: die politische Haltung Europas gegenüber Geflüchteten im Jahr 2021 (Input-Raum 1), die Transformation des Mythos von Zeus und Europa (Input-Raum 2) sowie die Alltagsszene geschlossener Gesellschaften in Restaurants (Input-Raum 3). Diese drei Input-Räume weisen eine zentrale Gemeinsamkeit auf: In jedem Szenario wird ein Zugang beschränkt oder blockiert – Europa reguliert den Zugang für Geflüchtete; die Körperöffnungen des weißen Stiers sind durch Korken verschlossen; und das Restaurant ist für alle außer für die Eingeladenen geschlossen. Die Verbindung zwischen Input-Raum 1 und 2 wird durch die gemeinsame Bezeichnung Europa hergestellt. Gleichzeitig ermöglicht die Zuordnung ihrer Rolle als Restaurantmitarbeiterin oder ‑chefin und die Mehrdeutigkeit des Wortes Gesellschaft die Integration des dritten Input-Raums, wodurch alle drei Räume miteinander verschmelzen. Darüber hinaus wird die Verbindung zwischen den drei Input-Räumen durch die gemeinsame blaue Farbe verstärkt – das Blau der EU-Flagge findet sich sowohl auf dem Schild des Ladens als auch auf dem Gewand Europas wieder.

Abb. 8

Analyse zur Karikatur 2 mit sozialsemiotischem Integrationsmodell

Durch die Integration der Elemente aus den drei Input-Räumen entstehen im Blend-Raum metaphorische Bedeutungen, bei denen zwei verschiedene Quellbereiche – der Mythos von Zeus und Europa sowie die Reservierung von Restaurants für Feste und Feiern – gemeinsam den Zielbereich der europäischen Politik gegenüber Geflüchteten formen. Zum einen wird Europa als die mythologische Prinzessin dargestellt, die jedoch im Widerspruch zu ihrer ursprünglichen mythologischen und kulturellen Identität steht. Anstatt als Symbol für Offenheit, Bewegung und Verbindung zu erscheinen, verkörpert Europa in der Karikatur Verschlossenheit, Stillstand und Abgrenzung. Zum anderen wird Europa mit einer geschlossenen Gesellschaft verglichen, die – zum Feiern eingeladen – alleine für sich bleiben (und zum Beispiel nicht teilen) will, was die Kritik an Europas Abschottungspolitik gegenüber Geflüchteten verstärkt. Diese absurde Umkehrung und der starke Kontrast erzeugen eine ironische Wirkung, die die BetrachterInnen dazu anregt, über die Diskrepanz zwischen mythologischer Vergangenheit und politischer Gegenwart nachzudenken.

Zusammenfassend lässt sich feststellen, dass das sozialsemiotische Integrationsmodell ein effektives Instrument zur qualitativen Analyse multimodaler Metaphern darstellt. Die Untersuchung der beiden Fallbeispiele zeigt, dass das Modell nicht nur eine klare Struktur für die Analyse bietet, sondern auch ausreichend flexibel ist, um komplexe und kreative Metaphern, wie beispielsweise solche mit fundamentalen Metonymien oder mehreren Quellbereichen, adäquat zu interpretieren.

6 Diskussion und Schluss

In dieser Arbeit wurden die visuelle Grammatik aus der sozialsemiotischen Perspektive und die Blending-Theorie aus der kognitionslinguistischen Sicht verglichen. Dabei wurde die komplementäre Rolle beider Ansätze bei der Analyse von Metaphern in der visuellen Kommunikation hervorgehoben. Auf Grundlage dieser Erkenntnisse und des Integrationsmodells multimodaler Metaphern wurde ein sozialsemiotisches Integrationsmodell vorgeschlagen.

Ein wesentliches Merkmal des neuen Modells ist die Einführung eines Metafunktionsraums, der Analysierenden hilft, die semiotischen Repräsentationen in multimodalen Texten zu interpretieren. Darüber hinaus wird vorgeschlagen, bei der Interpretation von semiotischen Darstellungen die pragmatischen Faktoren und andere relevante Elemente von Anfang an zu berücksichtigen, anstatt metaphorische Bedeutungen zunächst isoliert zu ermitteln und diese dann dem Relevanzraum anzupassen.

Dieses Modell kann für die qualitative Metaphernanalyse in multimodalen Kontexten eingesetzt werden und ermöglicht so ein präziseres Verständnis der Gesamtbedeutung eines multimodalen Textes. Es eignet sich insbesondere zur Untersuchung der Frage, wie metaphorische Strukturen in multimodalen Texten konstruiert werden, welche Rolle unterschiedliche Zeichenmodalitäten bei der Ausgestaltung solcher Metaphern spielen und wie pragmatische und kontextuelle Faktoren auf die Interpretation solcher Metaphern einwirken.

Ein diskutabler Punkt ist jedoch, dass theoretisch zwar alle Zeichenmodalitäten anhand der drei Metafunktionen – ideationell, interpersonell und textuell – interpretiert werden können, bisher jedoch nur für Sprache und Bild relativ umfassende und systematische Leitlinien zur Interpretation vorliegen (siehe Halliday 1994; Kress und van Leeuwen 1996; Fix und Wellmann 2000; van Leeuwen und Jewitt 2001; Große 2011; Klug und Stöckl 2016). Diese Dominanz von Sprache und Bild zeigt sich auch im Bereich der multimodalen Forschung. Wie Bateman hervorhebt, ist unser Verständnis vieler semiotischer Modalitäten und ihrer Kombinationen trotz des wachsenden Forschungsinteresses noch unzureichend entwickelt (vgl. Bateman 2014: 49). In diesem Zusammenhang bietet die Analyse von Text-Bild-Beziehungen einen besonders geeigneten Einstiegspunkt in das komplexe Feld multimodaler Kommunikation (vgl. Bateman 2014: 49). Für andere Zeichentypen besteht noch erheblicher Forschungsbedarf, um die Beziehungen zwischen Ausdrucksformen und deren Bedeutungen bzw. Funktionen zu klären. Vor diesem Hintergrund muss auch die Anwendbarkeit des neuen Modells durch die Analyse einer breiteren Vielfalt an Genres und einer größeren Menge an Korpora validiert werden.

Darüber hinaus ist anzumerken, dass selbst bei multimodalen Texten, die ausschließlich aus Sprache und Bild bestehen, die Beiträge der visuellen Grammatik sowie Ansätze aus linguistischen Forschungsbereichen wie Semantik, Pragmatik oder Textlinguistik zwar wertvolle, datenbasierte Erkenntnisse liefern können, jedoch in ihrer Reichweite begrenzt bleiben. Diese Ansätze bieten eine nützliche Grundlage für allgemeine Interpretationsleitlinien, sind jedoch nicht in der Lage, als universelles Schema zur Erklärung aller Formen künstlerischer Ausdrucksweise zu fungieren. Dies stellt eine zentrale Herausforderung in der Forschung zur multimodalen Metapher dar, verweist jedoch zugleich auf das kreative und oft unvorhersehbare Potenzial von Kunst und Metapher, das sich einer vollständigen Kategorisierung entzieht und Raum für Innovation und Interpretationsvielfalt lässt.