Dans la première phase ils présentaient une courte séquence vidéo montrant des gestes de mimes d’objets ou mimes d’actions : une paire de lunettes, frapper à la porte, déclencher une photo, visser quelque chose etc….. Chaque séquence était accompagnée d’un mot correspondant au mime de geste, ou bien d’un mot volontairement discordant en vue du test . Il ressort que la présentation du geste joue bien un effet d’amorçage sémantique facilitant la reconnaissance des actions ou des objets . Les temps de réaction exprimés en millisecondes montrent que les gestes iconiques facilitent et accélèrent les représentations mentales en coopération avec les mots . A l’inverse en cas de geste discordant (manipulation du test) avec le mot qui le décrit , il se crée une interférence qui retarde la reconnaissance même du mot.
Puis dans une seconde étape les chercheurs utilisent un système d’analyse électrophysiologique pour mesurer ce qui se passe lorsque des sujets voient les clips vidéo. Ces derniers devaient nommer le mot qui apparaissait très brièvement à l’écran . Tout comme dans l’expérience précédente le geste jouait en cela un effet positif (amorçage) ou négatif (interférence) selon qu’il était concordant ou discordant . Des électrodes ont été placées sur 28 zones stratégiques du cerveau .
L’activité cérébrale était mesurée grâce à l’indice N400 , souvent utilisé en contexte linguistique pour tester comment est intégrée une information sémantique anormale (ex : un mot incongru dans une phrase, un mot discordant ou inattendu pour décrire une image, etc) . Les ondes obtenues après 250 millisecondes de réaction du cerveau au stimulus, montrent alors des indices positifs ou négatifs selon la cohérence de la paire geste-mot .
Avec quels résultats ? Lorsque le mot est précédé par un geste inadéquat l’amplitude du graphe de l’indice N 400 montre une interférence "parasite" statistiquement validée par une analyse de variance ANOVA. Cette interférence reflète alors la difficulté de connexion entre ce geste et la représentation mentale, donc une difficulté d’intégration sémantique . Cet effet N400 est principalement observé dans l’hémisphère gauche , et plutôt au niveau des régions centro-pariétales et antérieures . A l’opposé les ondes obtenues en présentant des paires correctes geste-mot montrent un moindre besoin de traitement, et un moindre effet N400.
Ces résultats conforteraient les théories de Mc Neill qui soutient qu’au cours de la parole le geste suscite des structures de significations qui interagissent avec la pensée du locuteur au niveau conceptuel même. Geste et langage partagent alors une structure cognitive commune au niveau de la production du sens. Selon une seconde hypothèse (Butterworth, Hadar, Krauss ), les gestes ne correspondent pas à des contenus propositionnels dans le cerveau du locuteur , mais chronologiquement ils dérivent du lexique (autrement dit on penserait d’abord les mots avant que des gestes viennent les illustrer). L’expérience soutient plutôt la première hypothèse , pour laquelle le geste représente une forme primitive et préparatoire de l’énonciation, car elle montre que lorsque l’amorçage lexical est concordant, les mots sont formés plus rapidement (intégration sémantique)
On notera toutefois que le caractère expérimental de cette étude impose une certaine segmentation des indices pour les quantifier et les valider . Bien plus complexe encore pour l'expérimentateur serait une étude par EEG qui permettrait , lors de la production de phrases complètes , d'observer de quelle manière le geste coopère dans la multimodalité sémantique . D'autres méthodes ont mis en évidence ces interactions , par exemple lors de situations où le locuteur est autorisé /non autorisé à émettre des gestes . Si on installait alors des électrodes sur leur cerveau on obtiendrait au niveau des ondes cervicales une masse de données considérable mais qui se prêterait difficilement aux exigences de l'analyse statistique, laquelle est censée assigner aux résultats un caractère empirique. Complémentaires avec les analyses de variance , les études plus qualitatives et intra-individuelles, de type phénoménologique, peuvent apporter d'autres indices certes non généralisables, mais tout aussi pertinents dans le débat théorique.
Pour en savoir plus : Behavioural and neurophysiological evidence of semantic
interaction between iconic gestures and words. P. Bernardis ; E. Salillas ; N. Caramelli
Neuropsychology, Volume 25, Issue 7 & 8 October 2008 , pages 1114 – 1128.
Bases électro-physiologiques de la sémantique des objets
http://www.edk.fr/reserve/revues/ms_papier/e-docs/00/00/0A/51/document_article.md
Feyereisen, P. (2006). Further investigation on the mnemonic effect of gestures: Their meaning matters. European Journal of Cognitive Psychology, 18, 185–205.
