Introducción

El enfoque multimodal se centra en cómo las personas dan sentido al mundo que las rodea mediante los diversos modos semióticos y recursos disponibles (O’Halloran, 2007). Este enfoque es de especial interés a la hora de pensar el aprendizaje de una lengua extranjera ya que los conceptos multimodales desafían la aproximación tradicional monomodal de la comunicación que se lograría exclusivamente mediante el lenguaje verbal. De este modo, se valida no solo al lenguaje verbal como sistema semiótico, sino a todos aquellos sistemas y modos socialmente organizados, tales como la imagen, el sonido, la mirada, el tono de voz, la cadencia, la gestualidad, la háptica, la proxemia, etc. que se constituyen en recursos para la creación de significados. En cuanto a la enseñanza-aprendizaje de la lengua oral, la interacción es una de las actividades de la lengua que acompaña a la producción, percepción o mediación, según el Marco Común Europeo de Referencia (MCER), y se la considera como una de las actividades más importantes de la comunicación humana en la cual se basa la adquisición de una lengua. Sin embargo, al hablar de interacción, debemos tener presente que las nuevas formas de comunicación social –redes sociales y web 2.0– nos obligan a abordar el estudio del aprendizaje de la lengua oral desde una perspectiva multimodal (Kress y Van Leeuwen, 2001, y Kress, 2010). La comunicación multimodal contempla, dentro de los modos de comunicación, los distintos recursos que se pueden usar, tales como: la imagen, el texto escrito, la disposición de la información, la música, los gestos, la lengua oral, imágenes en movimiento u objetos en 3D, entre otros. Por lo tanto, se cuestiona la idea de que representar algo sea equivalente a ponerlo en un código o codificar, más bien se relaciona con diseñar de manera deliberada la creación de significado (meaning making), es decir, dar forma a un significado mediante los recursos disponibles para los usuarios que toman un rol activo en una tarea creativa más que de simple reproducción. De este modo se propone la creación de un paisaje multimodal en el que la centralidad del lenguaje verbal queda relegada para dar lugar a una experiencia en la que, según expresan Kress y Van Leeuwen (2001) el significado es producido, distribuido, interpretado y (re)aprovechado a través de muchos modos de representación y comunicación.

Un poco de historia

La multimodalidad, línea de investigación que construye sus estudios a partir de las últimas décadas del siglo XX, surge con el desarrollo incipiente de las tecnologías y de los medios de comunicación masiva.

En el siglo pasado se experimenta un avance en la manera en que las personas se comunican y esto trajo aparejada una renovación en la difusión del conocimiento. La oralidad y la escritura parecen insuficientes para reportar la información y el conocimiento, por lo que se hace necesario un giro hacia lo visual.

Esta nueva área de investigación se basó en un principio en la Lingüística Sistémica Funcional (Halliday, 1985). Según esta teoría, las opciones que el lenguaje escrito y oral proporciona a los individuos corresponden a recursos semánticos, léxico-gramaticales y fonológicos fonéticos, los cuales son seleccionados por los sujetos con relación a los factores relevantes de la situación comunicativa específica a la que se ven enfrentados. Posteriormente, Hodge y Kress (1988) reformulan el concepto de semiótica social y postulan que la construcción de significado no sólo se limita al modo lingüístico. Estos autores analizan cómo la cultura, y en especial la ideología, se proyectan a través de distintos sistemas semióticos como las imágenes, los gestos, la mirada, la postura, entre otros que están a disposición de los sujetos y que les permiten construir significados y comunicar en contextos sociales y culturales específicos.

Siguiendo los postulados de Kress y van Leeuwen (2001) se entiende por multimodalidad el uso de sistemas semióticos variados para la construcción de significado y el diseño de productos o eventos semióticos en contextos específicos. Esta definición amplia de multimodalidad abarca una serie de dominios, procesos y productos.

Otro aspecto relevante a tener en cuenta es que el abordaje de la multimodalidad desde la perspectiva de la semiótica social tiene mucho en común con la psicología sociohistórica de Vygostsky (1995) ya que ambos abordajes dan especial relevancia a aspectos tanto sociales como históricos. Vygotsky (1995) considera a los modos semióticos como herramientas que pertenecen a un ámbito externo de representación respecto de las formas de pensar y concebir el mundo en una cultura dada. De este modo, comprender prácticas semióticas de una cultura equivale a estudiar la construcción de la propia mente del ser humano, su forma cultural de representar y comunicar el mundo y pensar y actuar desde esta representación. Debido a esto, se hace necesario redefinir el concepto de alfabetización y especialmente cuando se trata del aprendizaje o “alfabetización” y adquisición de la competencia comunicativa en otras lenguas diferentes a la lengua materna.

Estudios lingüísticos desde la multimodalidad

Como un fenómeno de comunicación humana, la multimodalidad define a la combinación de recursos o “modos” semióticos diferentes tales como la imagen en movimiento o estática, la escritura, el habla, el gesto, proxémica, diseño etc. Como campo de investigación, la multimodalidad se ocupa de desarrollar teorías, herramientas de análisis y descriptores que aborden el estudio de las representaciones y la comunicación tomando a los modos como un principio organizador.

Si bien la lingüística y los estudios de la comunicación tienden a concentrarse en el lenguaje escrito o verbal, dentro de los estudios multimodales (O’Halloran y Smith, 2011), el fenómeno de la multimodalidad se aborda desde diferentes perspectivas que giran en torno a cuatro supuestos clave:

• Toda comunicación es multimodal

• El análisis que solo se centre en la lengua no puede dar cuenta en forma acabada del significado.

• Cada modo o sistema semiótico utilizado para representar y comunicar posee una carga o potencial comunicativo denominado affordances que vendría a ser lo que es posible significar con cada modalidad semiótica (Kress y van Leeuwen, 2001).

• Los modos convergen con un rol específico para la construcción de significado.

En otras palabras, ser conscientes de la relación entre los modos es fundamental para entender cada instancia de comunicación. Como campo de investigación, entonces, entendemos que la comunicación y la representación dependen de una cantidad variable de modos, los cuales se han desarrollado social y culturalmente como recursos concretos de construcción de significados.

Los modos, como los gestos, el sonido, la imagen, el color, la entonación, el diseño etc., se conciben como un conjunto de recursos organizados que las sociedades desarrollan para “construir” significado y dar forma a valores, ideologías y relaciones de poder. También debemos tener en cuenta que cuando se vinculan los modos con la palabra escrita u oral no son mero acompañamiento u ornamentación. Aunque sigamos refiriéndonos a ellos como “paratexto”, o “información no verbal”, todos convergen con una carga funcional específica, original e irreproducible para construir el significado que se busca expresar.

Cada modo en un texto multimodal solo lleva un significado parcial que reviste el mismo estatus que el lenguaje verbal y en algunos casos incluso mayor. En este nuevo panorama cada uno de los sistemas semióticos utilizados para representar y comunicar posee una carga o potencial comunicativo, que, como ya mencionamos más arriba, se denomina affordances, que corresponde a lo que es posible significar con cada modalidad semiótica (Kress y van Leeuwen, 2001, Kress y Mavers, 2005). Podrían ser las “prestaciones” o “potenciales” que cada modo provee a esa instancia de comunicación.

Ya no se habla, entonces, de reglas o códigos sino de prácticas y recursos puesto que estos elementos, lejos de ser fijos y estables, corresponden a recursos multimodales disponibles en la cultura para crear significados, ya sea en los ámbitos de la música, la política, el arte, la publicidad, la educación, etc., que tienen la capacidad de ser llevados a la práctica de varios modos concretos. Podríamos pensar en un único significado que es expresado por medio de recursos semióticos diferentes como la música, la imagen en movimiento, un dibujo, la danza y la escritura o el habla.

La mayoría de las investigaciones de análisis multimodal del discurso amplían la Teoría Lingüística hacia la Teoría Semiótica. De este modo, se asume que todos los sistemas semióticos realizan las tres metafunciones propuestas por la lingüística sistémica funcional (Halliday, 1985):

1. Interpersonal: esta función se enfoca en cómo el lenguaje se utiliza para gestionar y representar las relaciones sociales entre los interlocutores. Se trata de cómo los hablantes o escritores comunican actitudes, roles sociales y relaciones de poder a través de su uso del lenguaje. Por ejemplo, el uso de formas de cortesía, títulos, o el tono de la comunicación (formal o informal) refleja y modula la dinámica entre quienes se comunican.

2. Ideacional: aquí el foco está puesto en cómo el lenguaje se usa para expresar y comunicar contenidos relacionados con hechos, eventos, estados y percepciones. Es la función que permite al hablante transmitir información sobre el mundo, describir situaciones, hacer observaciones, y expresar pensamientos y sentimientos. Por ejemplo, cuando se cuenta una historia o se da una explicación científica, se está utilizando el lenguaje ideacionalmente.

3. Textual: esta función se centra en cómo se organiza el texto para asegurar que el mensaje sea coherente y comprensible, tanto a nivel interno (estructura del texto) como externo (adecuación al contexto). Involucra la forma en que se estructuran los elementos del discurso para que se comprendan adecuadamente dentro de un marco semiótico más amplio. Por ejemplo, la forma en que se organizan los párrafos, se utilizan conectores y se estructura la información afecta la claridad y coherencia del mensaje. (Kress, Leite- García y van Leeuwen, 2001).

Estas funciones son interdependientes y se combinan para hacer que el lenguaje opere de manera tal que la comunicación sea exitosa. De este modo, el abordaje desde la multimodalidad exige también recurrir a un nuevo lenguaje para la descripción semiótica de conceptos, tales como:

1. Medio: se refiere a la sustancia material o el soporte a través del cual se crea y transmite significado. Los medios pueden ser muy diversos, incluyendo sonido (como en la música o el habla), espacio (como en la disposición de los objetos en un entorno), luz (como en la iluminación en una película o una fotografía), entre otros. Los medios son la base material sobre la cual se construyen y expresan los significados culturales.

2. Modo: son los sistemas o recursos específicos que una cultura utiliza para crear y transmitir significados. Los modos incluyen el habla, la escritura, la gestualidad, la imagen, y otros recursos simbólicos que se organizan de manera social y cultural. Cada modo tiene características particulares que afectan la forma en que se produce y se interpreta el significado. Por ejemplo, el modo de la escritura tiene estructuras gramaticales y sintácticas que afectan cómo se presenta la información, mientras que la gestualidad comunica significado a través de movimientos corporales.

3. Materialidad: se refiere a cómo los modos se moldean en torno a las características y limitaciones materiales de los medios que utilizan. Cada medio tiene propiedades físicas y técnicas que influyen en cómo se puede utilizar y qué tipo de significado puede transmitir. Por ejemplo, la materialidad del papel limita la forma en que se puede presentar la información escrita, mientras que los medios digitales permiten una interacción más dinámica y multimedial.

4. Orquestación semiótica: este concepto se refiere al diseño y la combinación de múltiples modos y medios para crear significados complejos. Se trata del proceso mediante el cual diferentes modos de significar se combinan y coordinan para formar un mensaje coherente y significativo. Por ejemplo, un video puede combinar imágenes en movimiento, sonido, texto escrito y música para comunicar un mensaje completo con matices.

En resumen, estos conceptos ayudan a entender cómo se construyen los significados a través de una variedad de recursos materiales y culturales, y cómo estos recursos se combinan para crear experiencias comunicativas complejas.

La multimodalidad en la oralidad

Hemos visto que existen varias maneras de comunicarse, pero, podríamos afirmar que el lenguaje verbal oral (auditivo-vocal) es la forma más representativa en la que se manifiesta esa capacidad cognitiva de la comunicación. Esta modalidad necesita de un código, el lingüístico o verbal, y de un medio, el oral o vocal auditivo. Este lenguaje se inscribe en un medio y para que el ciclo comunicativo se complete es necesaria la fase en la que el receptor decodifica una señal enviada por un emisor que, a su vez, se da en un canal de transmisión que en el caso del mensaje oral serían las ondas sonoras, acompañadas por elementos que se perciben por otros sentidos como la vista, el tacto e incluso el olfato.

Vemos, entonces, que la frontera de lo verbal y lo no verbal es permeable y que la paralingüística vocal, como la intensidad, el timbre, las vocalizaciones, la coloratura, etc. son ineludibles.

Ya Lyons (1972) proponía tomar en consideración varios grados de lingüisticidad más allá del carácter unívoco y categórico de lo lingüístico/verbal y Hinde, como editor, propone un cuadro basado en lo expuesto por Lyons que resulta sumamente ilustrativo:

Figura 1

Gestos que no apoyan la comunicación verbal.

Asimismo, Lyons clasifica ciertos elementos vocales y suprasegmentales del lenguaje en los siguientes grupos:

1. 1. El tono (la frecuencia o altura de una sílaba) y la entonación (el patrón de tonos a lo largo de un discurso).
2. 2. La cantidad (la duración de una sílaba).
3. 3. El acento (una combinación de intensidad, altura y duración).

   En los dos últimos casos, también se puede considerar el ritmo acentual o silábico, que se refiere a la relación regular entre sílabas largas y cortas, así como entre sílabas tónicas y átonas.

   Se toman en cuenta los aspectos vocales paraligüísticos que coconstruyen el sentido del acto de comunicación:

4. 4. El tempo o ritmo de la elocución, que combina elementos verbales y pausas, y es característico del estilo comunicativo del hablante (por ejemplo, en la narración de cuentos o en conversaciones).
5. 5. La intensidad, que varía desde el susurro hasta el grito, y es crucial en situaciones como órdenes, amenazas o advertencias.
6. 6. Las vocalizaciones o sonidos específicos de cada cultura (como silbidos de admiración o rechazo, o señales sonoras para pedir silencio).
7. 7. El timbre o características indexicales de la voz, que permiten reconocer a un hablante conocido y determinar su edad y género.
8. 8. Los elementos vocales que indican el nivel emocional o la implicación o distanciamiento respecto del discurso.

No obstante, es importante recordar que las interpretaciones más amplias de la prosodia a menudo mezclan estos dos grupos de características (1-3 y 4-8), permitiendo la identificación de otros rasgos adicionales. Esto lleva a una mayor flexibilidad en la definición de lo que se considera lingüístico y pone énfasis en lo que resulta ser comunicativo (en el sentido de mensaje consciente y deliberado) o simplemente informativo.

Reflexión final y proyección investigativa

La reflexión que proponemos se centra en las prácticas docentes en la enseñanza de la oralidad en lenguas extranjeras. Pese a que se han hecho esfuerzos por ampliar la perspectiva puramente verbal en la enseñanza y práctica de la comunicación oral, en general se sigue prestando poca atención a los múltiples modos que coconstruyen los significados en la comunicación. Por esta razón, es fundamental entender que los procesos tanto de comprensión como de producción deben abordarse desde una perspectiva multimodal. Estos avances teóricos deberían orientar los futuros trabajos de investigación en esta área y la aplicación de estos postulados en la formación docente.

Podríamos concluir que la complejidad de modos tanto verbales como no verbales deben ser investigados en el ámbito de la enseñanza de la oralidad en lenguas extranjeras. Se pone de relieve además la necesidad de contar con corpus audiovisuales que nos permitan estudiar la relevancia de una visión más integral. De este modo, el estudio de situaciones de clases de español como lengua segunda y extranjera nos proporcionará una enorme cantidad de datos que se desprenden de cada situación que se da en la interacción comunicativa en el contexto de clase.

Entendemos que la comunicación multimodal se añade a la multitextualidad que caracteriza al discurso (como narraciones, descripciones, argumentaciones, instrucciones y exposiciones) y al plurilingüismo, que es común en los hablantes que estudiaremos. Por lo tanto, un corpus natural de habla debería incluir todos estos aspectos, teniendo en cuenta también la variación sociocultural que se encuentra en cualquier comunidad lingüística. Esto permitirá que los análisis resultantes sigan enriqueciendo nuestra comprensión de la complejidad de la comunicación humana.

Referencias

Halliday, M. (1985). An introduction to Functional Grammar. Arnold.

Hodge, B. y Kress, G. (1988). Social Semiotics. Polity.

Kress, G. (2010). Multimodality: A Social Semiotic Approach to Contemporary Communication. Routledge.

Kress, G., Leite-García, R. y van Leeuwen, T. (2001). Semiótica discursiva. En Van Dijk (Comp.), El Discurso como estructura y process (pp. 373-416). Gedisa.

Kress, G. y Selander, S. (2012). Multimodal design, learning and cultures of recognition. The Internet and Higher Education, 15(4), 265-268. http://dx.doi.org/10.1016/j.iheduc.2011.12.003

Kress, G. y van Leeuwen, T. (1996). Reading images: The grammar of visual design. Routledge.

Kress, G. y van Leeuwen, T. (2001). Multimodal Discourse: The Modes and Media of Contemporary Communication. Routledge.

Lyons, J. (1972). Human language. En R. A. Hinde (Ed.), Non-verbal communication (pp. 49-85). Cambridge University Press.

O’Halloran, K. L. (2007). Systemic Functional Multimodal Discourse Analysis (SF-MDA) Approach to Mathematics, Grammar and Literacy. En A. McCabe, M. O’Donnell y R. Whittaker (Eds.), Advances in Language and Education (pp. 75–100). Continuum.

O’Halloran, K. L. y Smith, B. A. (Eds.). (2011). Multimodal Studies: Exploring Issues and Domains. Routledge.

Payrató, L. (2006). Discurso oral y Multimodalidad: aspectos introductorios. Oralia, 9, 259 -275.

Vygotsky, L. S. (1995). Historia del desarrollo de las funciones psíquicas superiores. En Obras Escogidas (Vol. III). Visor.