"A social semiotic approach to multimodality"

Gunter Kress MBE (University College of London)

Abstract: Multimodal approaches make the claim – explicitly or implicitly – that language (whether as speech or writing) is not all there is that requires attention in research around communication / representation / meaning / identity, and so on. That is, multimodality marks out a much expanded frame in which research needs to take place. It does not however constitute a theory of itself: theory is supplied by researchers who come with a theory, and with the questions derived from that.

In my case that theory is Social Semiotics. It brings a focus on meaning and meaning- making (and sign-making), and on all related issues. It regards semiosis as a social process and therefore sees meaning as generated in social (inter-) action. In my talk I will describe some salient notions of Social Semiotics on the one hand – interest, the motivated sign, the issues of rhetoric and design; and of modes and multimodality on the other – affordance, logics, orchestration and ensembles, epistemology, ontology and ideology. Given the focus and themes of the week-long L’école IR Vidéo, two central concepts that I will focus on in the talk will be interest and design seen in the light of multimodality.

Methodologically, the joint approach embedded in a social semiotic multimodal approach poses many questions for research: some quite old and well known, but now appearing in unfamiliar form (e.g. gathering materials; transcription); others entirely new and in need of being explored and defined (e.g. ‘what are the units of analysis?’, questions of how to ‘read’). And so the framing of the talk overall is toward methodologies in general; and to methodologies related to video in particular.

Télécharger cette vidéo

ViSA : un projet d’instrumentation pour la recherche

Andrée Tiberghien (CNRS, UMR ICAR, Université de Lyon)

Le projet ViSA s’inscrit dans le développement de l’instrumentation dans le champ de la recherche en éducation. Dans un premier temps l’histoire de ce développement sera présentée avec la création d’une base de données Vidéo de Situations d’Apprentissage. Les principales caractéristiques de cette base seront discutées en prenant les points de vue du chercheur et de la communauté scientifique, en particulier l’indexation de vidéos prises dans le cadre d’un projet ainsi que la recherche de vidéos de situations d’éducation pour réaliser un projet. Les questions éthiques seront abordées en lien avec la construction et la gestion de la base ViSA. Dans un deuxième temps, l’exposé portera sur les activités scientifiques menées dans le projet ViSA et en particulier dans le cas d’une analyse croisée d’un même corpus constitué principalement d’une vidéo de séance de classe avec des documents associés. Ce projet collectif a été réalisé par des chercheurs en éducation scolaire qui étudient les pratiques d’enseignement-apprentissage en classe avec des horizons théoriques différents. De plus, il a été présenté lors des « journées ViSA » et a ainsi donné lieu à un débat qui a permis de mettre en perspective les analyses réalisées. Il s’agit d’un exemple de pratiques collectives de recherche que visent à développer le projet ViSA.

Lectures conseillées

Tiberghien, A., Chopin, M.-P., Lima, L., Talbot, L., & Zaid, A. (2012). Partager un corpus vidéo dans la recherche en éducation : Analyse et regards pluriels dans la cadre du projet ViSA Education et Didactique, 6(3), 9-17.

voir tous les articles du numéro (analyses croisées et mises en perspective) : Education et Didactique, 6(3)

Tiberghien, A., & Veillard, L. (2012). Le cas de ViSA dans l’instrumentation en sciences humaines et sociales. In L. Veillard & A. Tiberghien (Eds.), Instrumentation de la recherche en Education. Le cas du développement d’une base de vidéos de situation d’enseignement et d’apprentissage ViSA (ch6 :. http://books.openedition.org/editionsmsh/1993). Paris: OpenEdition Books, Editions de la Maison des Sciences de l'Homme.

Télécharger cette vidéo

Quatre ateliers parallèles était proposé aux stagiaires. Pour des détails de contenus de ces ateliers, voir les documents disponibles dans la barre "Documents" à droit de l'écran)

• Transana, un logiciel dʼanalyse pour la transcription et lʼanalyse qualitatives des données Audio et vidéographiques organisé par Jacques Kerneis (CREAD) et Zeynab Badreddine (ICAR)
• Questions Juridiques organisé par D. Forest (CREAD) et A. Tiberghien (ICAR)
• Traitement de corpus organisé par Justine Lascar et Daniel Valéro (UMR ICAR)
• Indexer, conserver et mutualiser ses enregistrements vidéo de recherche avec la base ViSA organisé par Laurent Veillard (UMR ICAR) Jean-Noël Blocher (EA CREAD)

Quatre ateliers parallèles était proposé aux stagiaires. Pour des détails de contenus de ces ateliers, voir les documents disponibles dans la barre "Documents" à droit de l'écran)

• Transana, un logiciel dʼanalyse pour la transcription et lʼanalyse qualitatives des données Audio et vidéographiques organisé par Jacques Kerneis (CREAD) et Zeynab Badreddine (ICAR)
• Questions Juridiques organisé par D. Forest (CREAD) et A. Tiberghien (ICAR)
• Traitement de corpus organisé par Justine Lascar et Daniel Valéro (UMR ICAR)
• Indexer, conserver et mutualiser ses enregistrements vidéo de recherche avec la base ViSA organisé par Laurent Veillard (UMR ICAR) Jean-Noël Blocher (EA CREAD)

Sketching a social semiotic multimodal research methodology

The workshop has two aims. First, there will be time to follow up, explore and clear up issues, questions, comments that have arisen out of the preceding presentation. Wherever possible these will be elucidated and explored through the description and analysis of materials relevant both to the theory and the aims of the L’école IR Vidéo, ie the development of research methodology. Second, the workshop aims at least to sketch, the framework of a social semiotic multimodal methodology – with which to approach video materials of whatever kind. So a question such as: how do I begin with the description of the materials I have, how can they be turned into data, what are the relevant categories for description and analysis, will be at the forefront of this session. To make that possible and meaningful, relevant or applicable, participants are encouraged to think about, before coming to the “Atelier”, and if possible to formulate, the research question which most occupies them at the moment. That might make it possible to see how a social semiotic multimodal methodology might begin to deal with a specific question.

Une perspective interactionnelle et multimodale sur l’activité des tuteurs en formation professionnelle : quelle place des corpus audio-vidéo ?

Laurent Filliettaz (Université de Genève)

L’activité réelle des « tuteurs » ou plus généralement des « formateurs en entreprise » constitue aujourd’hui encore une réalité énigmatique et insuffisamment étudiée. Dans le prolongement de travaux qui, dans le champ de la didactique professionnelle notamment, ont tenté de porter un regard approfondi sur cette question, cette conférence se propose de mieux comprendre comment s’y prennent des éducatrices de l’enfance endossant une fonction de référente professionnelle pour encadrer et accompagner des étudiantes stagiaires au début de leur formation professionnelle. La conférence permettra d’expliciter les orientations théoriques et méthodologiques par lesquelles cette problématique peut être abordée, dans le cadre d’une démarche de recherche inspirée de la perspective interactionnelle et multimodale en linguistique. Sur le plan empirique, les données qui alimenteront cette conférence sont issues d’observations effectuées au printemps 2011 dans trois institutions de la petite enfance du canton de Genève. A partir de matériau empirique audio-vidéo documentant des pratiques de formation en situation de travail, nous proposons de dégager différents traits typiques des interactions tutorales et de contribuer ainsi à une connaissance accrue de l’activité réelle des tuteurs dans le champ de la petite enfance.

Télécharger cette vidéo

Un dispositif original d'observation de classes : Le Centre d'Observation et de Recherche sur l'Enseignement des Mathématiques (COREM)

Denise Greslard-Nedelec et Marie-Hélène Salin

Le Corem a fonctionne de 1972 a 1999, au sein d’un groupe scolaire composé d’une école élémentaire et d’une école maternelle. Il a permis le recueil de très nombreuses observations, de natures diverses, qui ont joue un rôle très important dans le développement de la théorie des situations didactiques.

Dans une première partie, l ́exposé présentera le contexte de la création du COREM par G. Brousseau, son fonctionnement général, ainsi que les différentes composantes du corpus recueilli. Dans une seconde partie, nous décrirons de manière plus détaillée la collaboration entre les enseignants de l’école et les chercheurs, en en montrant les apports et les limites. Nous conclurons par une réflexion sur ce que peut apporter le visionnement des videos « COREM », dans le cadre du dispositif VISA.

Télécharger cette vidéo

Quatre ateliers parallèles était proposé aux stagiaires. Pour des détails de contenus de ces ateliers, voir les documents disponibles dans la barre "Documents" à droit de l'écran)

• Transana, un logiciel dʼanalyse pour la transcription et lʼanalyse qualitatives des données Audio et vidéographiques organisé par Jacques Kerneis (CREAD) et Zeynab Badreddine (ICAR)
• Questions Juridiques organisé par D. Forest (CREAD) et A. Tiberghien (ICAR)
• Traitement de corpus organisé par Justine Lascar et Daniel Valéro (UMR ICAR)
• Indexer, conserver et mutualiser ses enregistrements vidéo de recherche avec la base ViSA organisé par Laurent Veillard (UMR ICAR) Jean-Noël Blocher (EA CREAD)

The productive multivocality project  

Kristine Lund (CNRS, UMR ICAR, Université de Lyon)

Résumé : Le projet « productive multivocality » (2008-2013) a réuni 40 chercheurs du monde entier dans une collaboration où l’objectif était d’analyser plusieurs interactions pédagogiques de groupe, en mobilisant une variété de traditions théoriques et méthodologiques — d’où les « voix multiples ». L’exposé présentera dans un premier temps les motivations de notre projet, son histoire et des stratégies pour soutenir un dialogue polyphonique productif entre chercheurs venant d’approches différentes et lorsqu’ils partagent et analysent un même corpus. Dans un deuxième temps, l’exposé permettra d’une part d’expliciter les pièges à éviter dans une collaboration de ce type et d’autre part de présenter les conséquences possibles de « rencontres d’épistémologies » de chercheurs engagés dans le projet.

Références

Suthers, D. D., Lund, K., Rosé, C. P., & Teplovs, C. (in press). Achieving productive multivocality in the analysis of group interactions. In D. D. Suthers, K. Lund, C. P. Rosé, C. Teplovs & N. Law (Eds.), Productive Multivocality in the Analysis of Group Interactions, Chapter 31. New York: Springer.

Rosé, C.P. & Lund, K. (in press). Methodological Pathways for Avoiding Pitfalls in Multivocality. In D. D. Suthers, K. Lund, C. P. Rosé, C. Teplovs & N. Law (Eds.), Productive Multivocality in the Analysis of Group Interactions, Chapter 32. New York: Springer.

Lund, K., Rosé, C. P., Suthers, D. D., & Baker, M. (in press). Epistemological Encounters in Multivocal Settings. In D. D. Suthers, K. Lund, C. P. Rosé, C. Teplovs & N. Law (Eds.), Productive Multivocality in the Analysis of Group Interactions. Chapter 34. New York: Springer

Télécharger cette vidéo

Concevoir et utiliser des transcriptions multimodales à l’aide du logiciel Transana : une étude de cas

Laurent Filliettaz (Université de Genève)

Un des enjeux méthodologiques importants de l’utilisation des corpus vidéo réside dans la problématique de la transcription des données et plus particulièrement celle de la prise en compte des éléments comportementaux ou environnementaux qui dépassent les stricts aspects verbaux de l’interaction. Ces enjeux ne sont pas sans liens avec les potentialités ou les limites contenues dans les outils logiciels utilisés pour le traitement des données. Dans le cadre de cet atelier, nous proposerons une réflexion de cet ordre en montrant, à partir d’un bref extrait de données audio-vidéo, comment nous avons tenté récemment d’utiliser le logiciel Transana pour transcrire des aspects multimodaux de l’interaction, relevant notamment de la gestualité, de l’orientation corporelle, de l’activité non-verbale et de l’orientation des regards. L’atelier consistera en une présentation des conventions de transcription utilisées et la conduite d’une démarche d’analyse collective de la séquence audio-vidéo retranscrite.

Le film d’étude comme instrument de la compréhension des liens entre apprentissage et enseignement : quelques réflexions 

Gérard Sensevy, Université de Bretagne Occidentale

Dans cet exposé, je voudrais montrer en quoi le film d’étude peut constituer un instrument pour les recherches en éducation, et comment un tel instrument peut être particulièrement propice au développement de théories qui lient organiquement l’apprentissage et l’enseignement, en accordant une place majeure au processus de sémiose (la production et le déchiffrement de « signes »).

Dans une première partie, m’appuyant sur le chapitre 6 de mon livre Le sens du savoir, je décrirai en quoi le film d’étude, dont on peut dire en première approximation qu’il s’agit d’un film documentaire propre à une activité didactique, est particulièrement apte à saisir les relations qui peuvent exister entre l’élève, le professeur, et le savoir. Le film d’étude peut être ainsi conçu comme un instrument spécifique dont une fonction essentielle consiste à donner à voir et à comprendre, dans l’instant et dans la durée, comment s’établissent, au sein de l’activité épistémique, des relations intentionnelles entre personnes, des relations des personnes au(x) milieu(x), et des relations entre personnes à travers le(s) milieu(x). Je montrerai comment le film d’étude appelle des techniques méthodologiques spécifiques (mise en intrigue, production de synopsis, analyse de transcripts, etc.) dont une des fonctions premières consiste à rendre compte du sens de l’action pour l’agent, tout en permettant à l’analyste de construire sa propre appréhension de cette action. Je présenterai enfin quelques arguments relatifs à la manière dont film d’étude peut alimenter une vision de la pratique humaine en général, et de la pratique didactique en particulier, sous le modèle du jeu.

Dans la seconde partie de cet exposé, j’introduirai à une organisation sémiotique rendue possible par le film d’étude, le système hybride texte-image, qui fera ensuite l’objet d’une présentation en atelier.

Télécharger cette vidéo

Instrumentation de la recherche en Education : analyse épistémologique de quelques logiciels dʼaide à lʼanalyse qualitative

Laurent Veillard et Zeynab Badreddine (UMR ICAR)

De plus en plus de chercheurs en éducation recourent à des données audiovisuelles permettant de documenter des pratiques dʼenseignement, de formation et/ou dʼapprentissage. Ils peuvent mobiliser pour cela des outils logiciels particuliers pour transcrire, coder et interpréter ces données. Ces outils présentent des potentialités et des limites liées en particulier aux spécificités des dispositifs expérimentaux de recherche au sein desquels ils ont été créés et aux choix épistémologiques et techniques de leurs concepteurs. Les chercheurs doivent être en mesure de connaître ces choix ainsi que les conséquences sur ce quʼil est possible de faire ou de ne pas faire avec ces outils dans leur propre recherche et dʼen évaluer la cohérence épistémologique avec leur méthodologie. Dans notre présentation, nous présenterons un cadre dʼanalyse permettant dʼétudier et de comparer les caractéristiques de 3 logiciels dʼaide à lʼanalyse vidéo accessibles aux chercheurs en éducation : Chronos Actogram, Transana et Atlas.ti. Ce travail fait partie du projet dʼinstrumentation en cours dans le cadre de la SFR VISA (http://visa.inrp.fr/), en lien avec la Cellule Corpus Complexes de lʼUMR ICAR.

Lectures conseillées

Dumont, V. (2010). Du débat sur la place des logiciels dans l'analyse de données qualitatives. Recherches Qualitatives, Hors Série (9), 1-14.

Habert, B. (2005). Portrait de linguiste (s) à lʼinstrument. Texto, 104. Téléchargeable à : www.revue-texto.net/Corpus/Publications/Habert/Habert_Portrait.html
Lejeune, C. (2010). Montrer, calculer, explorer, analyser. Ce que l'informatique fait (faire) à l'analyse qualitative. Recherches Qualitatives, Hors Série (9), 15-32.

Télécharger cette vidéo

Quatre ateliers parallèles était proposé aux stagiaires. Pour des détails de contenus de ces ateliers, voir les documents disponibles dans la barre "Documents" à droit de l'écran)

• Transana, un logiciel dʼanalyse pour la transcription et lʼanalyse qualitatives des données Audio et vidéographiques organisé par Jacques Kerneis (CREAD) et Zeynab Badreddine (ICAR)
• Questions Juridiques organisé par D. Forest (CREAD) et A. Tiberghien (ICAR)
• Traitement de corpus organisé par Justine Lascar et Daniel Valéro (UMR ICAR)
• Indexer, conserver et mutualiser ses enregistrements vidéo de recherche avec la base ViSA organisé par Laurent Veillard (UMR ICAR) Jean-Noël Blocher (EA CREAD)

Atelier associé au cours 'Le film d’étude comme instrument de la compréhension des liens entre apprentissage et enseignement'

Gérard Sensevy, Dominique Forest, Jean-Noël Blocher Université de Bretagne Occidentale

Dans cet atelier, nous présenterons et ferons fonctionner divers systèmes hybrides texte- image, aux différentes fonctions. Nous préciserons tout d’abord ce que nous entendons par cet objet, en insistant notamment sur les aspects suivants :

• un système hybride texte-image est conçu comme permettant une annotation réciproque, de l’image par le texte, mais aussi du texte par l’image ;
• il doit permettre de jouer sur la dialectique analogique/digital, en liant dépiction (l’analogique) et description (le digital) sous leurs différentes formes, pour l’obtention de meilleures appréhensions de la réalité de la pratique ;
• il constitue ainsi un moyen privilégié de lier l’intelligence intuitive qu’on peut avoir d’un phénomène et son intelligence symbolique.

Nous travaillerons ensuite concrètement divers systèmes hybrides texte-image, en sériant certaines de leurs fonctions, et en appelant les participants à une analyse systématique des intérêts et des limites de tels systèmes.

Quatre ateliers parallèles était proposé aux stagiaires. Pour des détails de contenus de ces ateliers, voir les documents disponibles dans la barre "Documents" à droit de l'écran)

• Transana, un logiciel dʼanalyse pour la transcription et lʼanalyse qualitatives des données Audio et vidéographiques organisé par Jacques Kerneis (CREAD) et Zeynab Badreddine (ICAR)
• Questions Juridiques organisé par D. Forest (CREAD) et A. Tiberghien (ICAR)
• Traitement de corpus organisé par Justine Lascar et Daniel Valéro (UMR ICAR)
• Indexer, conserver et mutualiser ses enregistrements vidéo de recherche avec la base ViSA organisé par Laurent Veillard (UMR ICAR) Jean-Noël Blocher (EA CREAD)

Representing Craftspeople and Analysing Embodied Knowledge

Trevor Marchand (SOAS University of London)

Over the past two decades, anthropological fieldwork has taken me to West Africa, Arabia and East London. My studies with craftspeople have consisted chiefly of training and working alongside masons and carpenters in order to better understand local apprenticeship regimes, social politics, and embodied ways of learning and knowing. Still photography remains an important tool for documenting and representing craftspeople, but video is becoming increasingly central to my work. In 2012 I commenced two new projects that employ video and digital technologies, but in different ways and for different purposes. A discussion of these will be the focus of my presentation. The first project involves the filming and production of four short “talking-head” documentary films about Malian mud-brick masons for a gallery exhibition at the Smithsonian Institution in Washington DC. The second is an in-depth study of embodied learning among a cohort of novice fine-woodwork trainees at London’s Building Crafts College. Video data from the college was used for analysing “problem-solving” strategies that are communicated and negotiated between woodworkers; and for examining the enskilment and embodied learning progress of four trainees during their first year of training.

Problem-Solving in a Carpentry Workshop: analysing multimodal forms of communication in vocational education

Trevor Marchand (University of London)

Following from the presentation, this workshop will explore methods for analysing multimodal forms of communication that take place between carpentry instructors and trainees. In working groups of 4-5 individuals, participants will review a pre- recorded video clip shot at the Building Crafts College. Each working group will collaboratively analyse the problem-solving processes that unfold between instructor and trainee at the workbench, including the ways that spoken language, gesture, activity, demonstration, drawing and the tools-to-hand are employed by either party to communicate and negotiate a way forward with the woodworking task. The core aim of the exercise is to develop effective methodologies for organising recorded data and analysing the dynamics of vocational teaching and learning styles. Working groups will briefly present their analytical methods and findings, and the workshop will conclude with a collective discussion on the potentials and limitations of using video for studying problem-solving strategies and teaching-learning styles in workshop settings.

Discussion animée par Laurent Veillard et Dominique Forest