Interactions et intelligence artificielle

Jacques Cosnier nous communique les coordonnées de l'appel à communications pour la prochaine conférence sur l'Affective Computing et les interactions liées à l'intelligence artificielle (ACII 2011)

Cette conférence qui se tient tous les deux ans, est le carrefour scientifique de référence des chercheurs qui étudient les modèles des émotions et phénomènes affectifs applicables dans des systèmes artificiels (interaction homme -robot , synthèse de la parole , modélisation de la vision, agents conversationnels, serious games, etc)

Un indice non verbal original, la variation pupillaire: évolution des recherches

Parmi les indices non verbaux relativement méconnus , le comportement de l'oeil et spécialement de la taille de la pupille mérite un petit détour. Certains chercheurs restent assez sceptiques à propos des qualités indicielles de la pupille , peut être en raison de l'aspect 'stimulus-réponse’ d'études marketing orientées sur la motivation sensorielle . Celles-ci proposent que l'oeil peut réagir subtilement à des stimuli sonores ou visuels; les tests ont par exemple consisté à faire écouter des cris d'enfants ou des musiques différentes à des sujets , à leur présenter des photos de plats appétissants, de personnes appréciées ou détestées , de scènes macabres, des œuvres d'art ,etc. Un aspect controversé est d'envisager que les affects agréables déclencheraient une dilatation et les affects désagréables une contraction (Hess & Polt 1964). Dans d'autres cas l'expérience négligeait le fait que l'intensité lumineuse ou colorimétrique d'une diapositive peut exercer un biais sur la variation pupillaire.

Actuellement un corpus considérable de travaux est disponible qui permet de revisiter les expériences des années 80, assisté par des méthodes de mesures sophistiquées telles que le pistage oculaire et particulièrement orienté autour de la notion d'effort cognitif . Dans le domaine linguistique, on a pu observer que la réponse pupillaire était différente selon que le sujet décodait des mots concrets ou abstraits. Beattie (1982) observait que les constructions complexes engendrent une dilatation de la pupilles . Lors de tests de traduction lexicale Honya et al (1995) constatent que les mots les plus difficiles à traduire induisent la même réaction . Le simple fait de s'exprimer dans une langue étrangère, engendre (sauf maitrise linguistique parfaite) le même phénomène .

Une grande variété de tests menés suggèrent que la discontinuité de la taille de la pupille reflète des niveaux d'intensité de traitement de l'information lors de taches de résolution de problèmes, de calcul, de tri, de partage d'attention et complexité . Bailey et Iqbal (2008) ont décomposé l'intensité du phénomène en fonction de la hiérarchie de tâches et sous-taches bureautiques . Oliveira et Russell (2009) rapportent que la pupille se dilate lorsque des internautes découvrent une information pertinente (valeur informationnelle du stimulus élevée) . Hypothèse un peu similaire dans l'expérience de Min Jeong Kang (2008), qui remarque cette même réponse physiologique lorsque des sujets attendent impatiemment la bonne réponse en jouant à à un quiz . Un autre chercheur, Muldner ('2009) utilise d'ailleurs l'indice pupillaire comme indicateur de motivation et satisfaction en apprentissage à distance . Une série d'études avec de l'eye tracking montrent la possibilité d'intégrer l'indice dans un ensemble plus étendu de paramètres relatifs aux mouvements des yeux et plus classiquement étudiés tels que les saccades oculaires , la direction des rotations de l'oeil , la fréquence des clignements , l'abaissement de la paupière supérieure . La mesure de charge cognitive reflétée dans les indices oculaires , permet de décomposer la répartition d'attention . Lors de simulations de conduite , Palinko (2010) remarque que quand le pilote discute en même temps qu'il conduit , la pupille marque des pics d'amplitude au moment du processus de recherche des mots (effort sémantique) .


Une autre voie qu'il serait intéressant d'approfondir est l'apport de l'indice pupillaire à l'intérieur du faisceau de signes corporels et vocaux alloués à la détection du mensonge . Pour mentionner une seule étude Webb & al (2009) ont élaboré l'expérience originale suivante : les sujets avaient reçu comme instruction de voler une petite somme dans le sac à main d'un secrétaire, et de profiter du crédit de connexion d'une ne leur appartenant pas. Ensuite ils devaient essuyer un questionnaire, et on leur promettait une prime s'ils parvenaient à être crédibles , étant prévenus du fait que s'ils voulaient apparaitre de bonne foi il vaudrait mieux répondre le plus rapidement et précisément possible.. . Ainsi placés "sous pression" les sujets révélaient à l'eye tracking des variations d'amplitude pupillaire significatives.



Que pensent de tout ceci les neuropsychologues ? Par l'intermédiaire de l'indice TEPR (task-evoked pupillary response) ils relient cette réaction physiologique au fonctionnement du locus coreulus (région cérébrale ayant partie liée avec le "stress"(Gilzenrat 2003) . De nombreux travaux ont été menés sur des sujets cliniques , on sait également que la a pupille se dilate en réponse à des situations émotionnelles telles que la prise de drogues, de médicaments, la peur, la douleur ... Certaines mesures (Just 1996) ont montré des corrélations entre le TEPR et l'indice PET (imagerie cérébrale) lors de l'activation des structures linguistiques du cerveau (aires de Broca et Wernicke) . D'autres expériences ont montré des liaisons entre le TEPR et des indices comme le rythme cardiaque ou encore la conductivité de la peau, ainsi LIN ( 2008 ) a étudié les réactions pupillaires à un jeu vidéo . Egalement Siegle (2003) a compare les temps de dilatation pupillaire avec celui du signal IRM dans le gyrus frontal moyen lors d'une tache de calcul mental. La variation pupillaire est néanmoins assez complexe à mesurer car elle procède d'un délai plus élevé de réponse au signal (quelques millisecondes) que d'autres indices physiologiques . A noter que cette réaction de constriction/dilatation est de l'ordre de quelques dixièmes de millimètres, donc observable en laboratoire .

Une conférence très intéressante s'est tenue récemment sur le thème Eye tracking Emotion-Arousal - Pupil Dilatation (Uppsala, 27,28 mai 2010) . Les résultats de recherche montrent notamment, que la variation pupillaire relève d'une sémiologie corporelle constatable dès la petite enfance. Dans une étude des nourrissons de 4 mois et davantage, réagissaient à la pupillométrie lorsqu'on approchait de leur bouche une cuillerée alimentaire . Dans une autre expérience on présentait des clips d'acteurs manifestant des émotions, et on obtenait des dilatations pupillaires de la part des nourrirons âgés de 14 mois minimum... . Le prochain évènement scientifique sur ce sujet est la conférence qui aura lieu les 14 et 15 octobre à Lisbonne sur le thème: Eye tracking, Visual Cognition and Emotion. Tous ces travaux sont à suivre avec intérêt, ils participent d'approches originales dans le champ de la communication non verbale et multimodale qui questionnent les fonctionnements cognitifs, mais rompent un petit peu avec les approches de type robot .

Quelques références (lien)

Parution- Le signifiant gestuel: langues des signes et gestualité co-verbale

Jacques Cosnier nous annonce la parution d'une publication qui questionne l'aspect analogique du geste sous une thématique croisée "Le signifiant gestuel: langues des signes et gestualité co-verbale" . Il s'agit du numéro 5 des Cahiers de Linguistique Analogique ( Avril 2010), qui comprend les contributions suivantes:


J. Cosnier: La gestualité conversationnelle des entendants parlants
G. Calbris: Le geste co-verbal, un signe analogique
D. Boutet: Une morphologie de la gestualité: structuration articulatoire
J. Montredon: Espace-temps dans une culture aborigène australienne :une approche à partir d'un récit du temps du rêve et de l'expression gestuelle
G. Girou-Sylla : Description d'une langue des signes micro-communautaire . analyse lexicale du parler gestuel de Mbour (Senegal)
C. Cuxac : Langue des signes et gestuelle co-verbale : pour un programme commun de recherches .

Pour commander cette livraison, http://www.u-bourgogne.fr/ABELL/commande.php

Première université d'été pour le geste (Francfort)

La Société internationale d'études du geste (ISG) annonce sa première école d'été, qui se tiendra du 19 au 24 Juillet 2010, à l'Université européenne Viadrina Francfort , initiative financée par la Fondation Volkswagen . Elle se composera de conférences, de séminaire et présentations techniques sollicitant la contribution de chercheurs de premier plan . L'objectif est d'apporter une introduction aux approches théoriques et méthodologiques de l'étude des gestes. Les conférences porteront sur les fondements théoriques du geste dans les domaines suivants: psychologie du développement, psychologie sociale, psychologie cognitive, analyse conversationnelle, anthropologie linguistique, éthologie et communication multimodale. Parmi les conférenciers: Janet Bavelas , Susan Duncan , Susan Goldin-Meadow , Marianne Gullberg , Adam Kendon, Cornelia Mueller ...

Elle se tiendra juste avant la 4e Conférence de l'ISG : "geste, évolution, cerveau et structures linguistiques http://www.isgs2010.de/

gestes symboliques et langage, quelles intersections dans le cerveau ?

Quelles sont les relations qu’entretiennent dans le cerveau gestes et langage , et dans quelles régions du cerveau ces deux codes sont ils produits ? Ce genre de question intéresse le débat sur l’origine du langage, mais cela concerne aussi la fonction de communication des gestes . En supposant par exemple que nous stimulons par des gestes sémantiques des compétences linguistiques du cerveau, on peut alors penser qu'au niveau des processus mentaux , la parole peut être facilitée par les gestes (hypothèse de co-activation). Bien que l'étude suivante n'ait pas été conduite selon cette hypothèse, elle nous y ramène pourtant naturellement.

Avant de visualiser les phénomènes par des techniques de neuroimagerie (IRM), les auteurs ont sélectionné ce qu’ils ont nommé (par opposition aux gestes involontaires) des gestes « symboliques » : gestes de mimes d’actions et gestes emblèmes (ex. d'emblème: pouce dressé vers le haut en signe de perfection) . Puis ils ont testé les réactions engendrées dans le cerveau par les signaux gestuels et ils ont comparé ces réactions à celles que produisent les équivalents verbaux de ces gestes. Leur objectif étant de savoir quelles sont les aires du cerveau qui traitent ces informations .

Qu’en est-il des résultats ? Deux procédures doivent être distinguées.
1-  dans une première phase les stimuli visuels (geste) et acoustiques (parole) sont traités de manière bilatérale au niveau des zones supérieure et inférieure du gyrus temporal. Celui ci fait partie du lobe temporal ,capable de traiter simultanément des informations visuelles parallèlement à des signaux auditifs (par exemple reconnaître simultanément la voix plus l'expression du visage) . A l’arrivée des signaux , il procède à la caractérisation des stimuli: étape pré-sémantique de tri, d'extraction des caractéristiques saillantes et étiquetage . Cette étape précéde la construction conceptuelle du sens, qui se fera dans les aires du cerveau impliquées plus loin .


Cette figure montre en situation de reconnaissance initiale des stimuli, un modèle interconnecté qui sollicite les deux hémisphères du cerveau et compare des informations sensorielles multimodales

2- Dans le processus suivant , celui des représentations conceptuelles, les chercheurs observent que l’interprétation des stimulis reconnus par la première procédure, s’effectue dans des régions (frontale et postérieure) principalement latéralisées dans l’hémisphère gauche et non plus de type bilatéral . De ce fait, cette région habituellement identifiée comme noyau du système linguistique , pourrait être le nœud d'un plus large réseau sémantique alloué à l’interprétation de l’ensemble des langages symboliques : mots, images, gestes, sons, objets… Elle permet l’accès au stock en mémoire et l’intégration des signes, à des représentations sémantiques existantes.



Au stade du décodage sémantique,gestes et mots activent les mêmes aires de l'hémisphère gauche (frontale et postérieure)

Ces travaux rencontrent donc les thèses de structure cognitive commune au langage et aux gestes co-verbaux et convergent également avec les observations neuropsychologiques sur la gestuelle des malentendants . Des investigations précédentes montraient les connexions entre l'aire de Broca  et les aires motrices contrôlant la main : selon ce modèle le geste active une planification motrice qui stimule les concepts linguistiques. Par contre ces résultats ne doivent pas être généralisées à toutes les classes de gestes : gestes indépendants du langage et gestes involontaires , qui n'étaient pas testés ici. Dans un autre contexte on sait que l'IRM est en mesure d'apporter des informations sur les indices émotionnels éprouvés par le sujet .
En conclusion la thèse explorée en pédagogie et didactique des langues selon laquelle "nos mains nous aident à réfléchir" trouve ici des fondements théoriques intéressants pour la communication interpersonnelle.

références:
Symbolic gestures and spoken language are processed by a common neural system. http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2779203/pdf/zpq20664.pdf. Goldin-Meadow, Susan (2003). Hearing gesture: How our hands help us think. Cambridge, MA: Harvard University Press

voir également l'étude présentée plus bas dans ce blog : Que se passe-t-il dans le cerveau lorsqu'on fait des gestes ?

La Communication non verbale - 5e édition disponible

L'auteur examine de quelle manière certaines modalités corporelles (voix, regard, gestes, postures) peuvent renforcer, réguler, compléter ou contredire le langage. Il envisage les relations entre corps et émotions et les rapports du geste à la parole. Différents exemples de situations d'argumentation y sont également analysés à partir d'exemples médiatiques ou professionnels. Cet ouvrage est complété par des exercices intéressant les formations à la communication interpersonnelle .
La Communication non verbale - Comprendre les gestes : perception et signification . Guy Barrier. janvier 2010. 192 pages, 23 € . Paris : ESF Editeur . Collection Formation Permanente .
Consulter le sommaire

Expression faciale: recherches et projets d’A. Freitas-Magalhaes

Jacques Cosnier nous informe de la préparation d'un nouveau Manuel sur l'expression faciale intitulé "Handbook of Facial Expression - Theory,Assessment and Social Implications", à paraitre en décembre 2010. Cette initiative est proposée par A. Freitas-Magalhães, (université Fernando Pessoa) , auteur de plusieurs ouvrages sur l’epression faciale et les aspects interpersonnels du sourire , travaux dont on aura un aperçu sur sa page personnelle : http://freitas.socialpsychology.org/

L'appel à contribution est disponible sur ce lien:
http://www.socialpsychology.org/forums/listservcenter.htm?from=rss&view=1337

Intelligence artificielle et reconnaissance des émotions

Face Turn est une application issue des recherches en intelligence artificielle sur les avatars conversationnels. Le personnage est capable de modéliser plus de 30 expressions d'émotions, humeurs et états d'âmes (à sélectionner dans le menu déroulant) puis on peut visualiser les configurations de texture qui résultent de ces variations, en faisant pivoter sa tête ou en déclenchant un arrêt de l'image. Pour essayer cette application (aucun téléchargement requis):

http://www.faceturn.com/index.php


A signaler par ailleurs plusieurs conférences qui auront lieu sur le thème de la reconnaissance des affects en modalisation:le 3e workshop international sur les émotions
http://emotion-research.net/sigs/speech-sig/emotion-workshop

ainsi que la 3e conférence internationale sur les communications interpersonnelles homme-robot:
http://hrpr.liacs.nl/

Les émotions et la perception visuelle : comment lisons nous les indices expressifs du visage ?

Les expressions émotionnelles du visage sont-elles interprétées de manière différente en fonction de chaque culture ? Une étude anglaise relance la réflexion à propos de l’hypothèse darwinienne d’universalité , sur laquelle s’est appuyé P. Ekman . Plus exactement cette étude montre que certains filtres culturels peuvent modifier l’interprétation du récepteur . Ces constatations ont été faites à partir de tests eye tracking au cours desquels des sujets britaniques et chinois observaient des photos d’acteurs mimant les « émotions fondamentales » .

Le pistage du regard est effectivement, la méthode la plus adaptée pour contrôler les perceptions visuelles que des interlocuteurs peuvent avoir de nos gestes . Lors de tests que j’ai pu mener grâce au laboratoire Multicom, il apparaissait ceci : pour décoder une émotion (visage sur un écran) le regard du sujet percevant , procède à des allers-retours de quelques millisecondes entre le haut du visage considéré (sourcils, yeux , front ) et la zone inférieure (bouche, menton, joues) pour comprendre le contexte émotionnel . Les tables de fréquence montraient également que le nez de l’interlocuteur est une zone d’attention . Cet organe , le nez, n’offre pourtant a priori aucun intérêt du point de vue de l’expression faciale … Mais son emplacement au centre du visage, permet de d’apercevoir la bouche, les yeux et sourcils en vision parafovéale. La région nasale, au centre de gravité des indices visuels du visage, joue ainsi le rôle de point de transition d’un indice à l’autre lors des parcours oculaires .

Pour en revenir à l’étude mentionnée , elle permet de constater entre les européens et les asiatiques, des manières différentes de regarder le visage des acteurs . Chez les sujets européens , le regard « scanne » l'ensemble du visage, incluant la bouche, tandis que chez les sujets asiatiques il se focalise plutôt sur les éléments supérieurs du visage. En raison de cette lecture sélective des photos, les sujets asiatiques caractérisent avec plus d’erreurs que les sujets européens les expressions de peur et de dégout , qui impliquent beaucoup le bas du visage .

Cette recherche ne discute donc pas véritablement les théories relatives à l’expression universelle des émotions ; elle questionne plus exactement la perception universelle ou non, des émotions . On peut la rapprocher d'une autre étude interculturelle,qui montre que la reconnaissance émotionnelle est plus précise quand les sujets évaluent les affets visuels sur des sujets de même ethnie qu'eux (Koda & al.)

références: -Cultural Confusions Show that Facial Expressions Are Not Universal. Caldara & al. Current Biology, 19/18, 1543-1548, 2009.
-Gestes performatifs, expression faciale et partage attentionnel: analyse de la poursuite oculaire à partir d'une scène conversationnelle. Barrier, Sémiotica 152 (1/4), 217-233, 2004.
-Avatar culture: cross-cultural evaluations of avatar facial expressions.
http://mm-werkstatt.informatik.uni-augsburg.de/projects/cube-g/publications/pdf/koda_etal_aisoc2009.pdf

Gongrès de la Société Internationale pour l'Etude du Geste

L'évènement de l'année dans le domaine de l'étude du geste, sera en juillet 2010 la conference de la Société Internationale pour l'Etude du Geste, qui portera sur le thème: aspects du geste dans l'évolution et le développement, structures cérébrales et linguistiques et aura lieu près de Berlin. plus d'informations:
http://www.isgs2010.de/

Détection du mensonges et micro-expressions, nouvelles tendances

L’intérêt des américains pour la détection du mensonge ne date pas d’aujourd’hui . D’une part il y a le test Polygraph , dont la fiabilité a alimenté des controverses faisant l’objet d’une littérature considérable . Et puis il y a Paul Ekman: un demi-siècle d’expertise dans le domaine de la reconnaissance émotionnelle , qui est maintenant sollicité dans la formation à la sécurité aux aéroports et en criminologie. Mais aujourd’hui cet engouement est au zénith, avec le succès de l’émission Lie to Me, dont il est le conseiller scientifique et qui a atteint le vieux continent .

Entre temps Ekman a élaboré à partir de ses recherches des supports pour la formation, qui intéressent aussi bien les compagnies d’assurances, organismes de crédits, professions de sûreté, de police et de justice . Son site internet propose des modules de training interactifs en ligne. Le METT, version grand public du FACS (Facial action coding system) propose d’apprendre à détecter les signes de masquage qu’utilisent les personnes pour dissimuler ou réprimer un état émotionnel.

Ex-collaborateur de Ekman, Matsumoto propose une méthode similaire . Une macro-expression (l'indice visible) explique-t-il, dure entre une demi-seconde et 5 secondes environ, tandis qu’une micro-expression peut durer 1/25e de seconde ou encore moins.Alors comment apprendre à les reconnaitre ? A partir d’un jeu de diapositives l’apprenant peut paramétrer, selon son acuité visuelle, le temps d’apparition du stimulus (micro-expression) qui se présente de façon pour ainsi dire « subliminale » , en tous cas au dessous du seuil conscient de peception . Il développerait ainsi sa capacité à détecter les indices de peur, joie, dégoût, surprise ,etc, qui se cacheraient souvent derrière les macro-émotions .


Un dispositif particulièrement intéressant sur le plan pédagogique, et d’utilisation agréable, certes . Mais il n'est pas évident que l'utilisateur lambda pourra dans sa vie quotidienne, mettre en application cette compétence de déchiffrement de « message à l’intérieur du message » : par exemple détecter le dégoût dans l'expression de colère, la surprise incrustée dans la tristesse ... Quelles sont au delà de la théorie , les combinatoires d'affects réalistes?

Au demeurant d’autres codes moins infinitésimaux permettent à l’œil averti d’identifier des ruptures de cohérence dans les indices corporels: détournement du regard, rotation de la pupille, ruptures de cohérence entre verbal et non-verbal , faux sourire , masquage partiel du visage, raclement de gorge , expiration en form de soupir, fréquence de clignements, marques vocales d’hésitation (micro-répétitions, éléments phatiques …) A tout le moins, les produits pédagogiques d'Ekman et Matsumoto peuvent être pris comme des 'serious games', didacticiels hauts de game qui peuvent être très utiles aux formations à la CNV .

En tous cas, le mensonge n’étant pas la chose la plus rare dans un monde de turbulence , les technologies viennent relayer les méthodes d’apprentissage. Le classique Polygraph est concurrencé par des systèmes de détection vocale , plus faciles à utiliser , mais dont la validité n’est pas davantage établie . Le Layered Voice Analysis, extrait plus de 120 paramètres émotionnels de chaque segment de la voix puis les soumet à des procédures de filtre et comparaison. Les autorités russes utilisent de la détection vocale aux contrôles de douanes et des frontières , le Royaume Uni a engagé la chasse aux fraudeurs d’allocations avec le Voice Risk Analysis via le téléphone.

Pourtant, une étude de validation tout récemment publiée par le Journal of Forensic Sciences soulève des doutes sur la fiabilité du système , qui semble plus faible même que la base électrophysiologique deja largement contestée du Polygraphe ...

Journée sur les émotions le 17 octobre 09 (Paris)

Elles nous comblent, nous trahissent, nous révèlent, nous troublent… Peut-on vraiment les contrôler ? On les refoule ou on les partage. Est-ce parce qu’on les juge négatives ou positives ? Longtemps considérées comme les ennemies de la raison et classées au registre de la passion, les émotions ont aujourd’hui dépassé cette traditionnelle opposition. Depuis une dizaine d’années, sous l’éclairage convergent des neurosciences, des sciences cognitives et de la psychologie, s’impose l’idée que les émotions jouent un rôle important dans le processus de raisonnement et de décision. Elles seraient même un “excellent compagnon de l’intelligence” !

C'est sous ce thème que La cité des Sciences propose le samedi 17 octobre un programme original, dédié aux recherches interdisciplinaire sur les émotions.

Que se passe-t-il dans le cerveau lorsqu'on fait des gestes ?

Une catégorie intéressante dans la communication est celle des gestes référentiels (dits aussi propositionnels ), qui englobe notamment les gestes de mimes d’objets ou d’action (ex : on se téléphone) , les gestes iconiques (grand comme ça) , spatiographes (la 3e à droite) ou métaphoriques. Quelques recherches neuropsychlogiques sur la compréhension de ces gestes (notamment Feyereisen) viennent apporter un éclairage intéressant sur les relations entre geste et parole qui sont entretenues au niveau des structures de la signification du cerveau . Plus récemment des chercheurs italiens (Bernardis et col.) ont mené une nouvelle expérience à partir de gestes de mime .
Dans la première phase ils présentaient une courte séquence vidéo montrant des gestes de mimes d’objets ou mimes d’actions : une paire de lunettes, frapper à la porte, déclencher une photo, visser quelque chose etc….. Chaque séquence était accompagnée d’un mot correspondant au mime de geste, ou bien d’un mot volontairement discordant en vue du test . Il ressort que la présentation du geste joue bien un effet d’amorçage sémantique facilitant la reconnaissance des actions ou des objets . Les temps de réaction exprimés en millisecondes montrent que les gestes iconiques facilitent et accélèrent les représentations mentales en coopération avec les mots . A l’inverse en cas de geste discordant (manipulation du test) avec le mot qui le décrit , il se crée une interférence qui retarde la reconnaissance même du mot.

Puis dans une seconde étape les chercheurs utilisent un système d’analyse électrophysiologique pour mesurer ce qui se passe lorsque des sujets voient les clips vidéo. Ces derniers devaient nommer le mot qui apparaissait très brièvement à l’écran . Tout comme dans l’expérience précédente le geste jouait en cela un effet positif (amorçage) ou négatif (interférence) selon qu’il était concordant ou discordant . Des électrodes ont été placées sur 28 zones stratégiques du cerveau .

L’activité cérébrale était mesurée grâce à l’indice N400 , souvent utilisé en contexte linguistique pour tester comment est intégrée une information sémantique anormale (ex : un mot incongru dans une phrase, un mot discordant ou inattendu pour décrire une image, etc) . Les ondes obtenues après 250 millisecondes de réaction du cerveau au stimulus, montrent alors des indices positifs ou négatifs selon la cohérence de la paire geste-mot .

Les graphes (extrait) montrent l'intensité du N400 en cas de geste discordant . source: Bernardis & al (op.cit.)

Avec quels résultats ? Lorsque le mot est précédé par un geste inadéquat l’amplitude du graphe de l’indice N 400 montre une interférence "parasite" statistiquement validée par une analyse de variance ANOVA. Cette interférence reflète alors la difficulté de connexion entre ce geste et la représentation mentale, donc une difficulté d’intégration sémantique . Cet effet N400 est principalement observé dans l’hémisphère gauche , et plutôt au niveau des régions centro-pariétales et antérieures . A l’opposé les ondes obtenues en présentant des paires correctes geste-mot montrent un moindre besoin de traitement, et un moindre effet N400.
Ces résultats conforteraient les théories de Mc Neill qui soutient qu’au cours de la parole le geste suscite des structures de significations qui interagissent avec la pensée du locuteur au niveau conceptuel même. Geste et langage partagent alors une structure cognitive commune au niveau de la production du sens. Selon une seconde hypothèse (Butterworth, Hadar, Krauss ), les gestes ne correspondent pas à des contenus propositionnels dans le cerveau du locuteur , mais chronologiquement ils dérivent du lexique (autrement dit on penserait d’abord les mots avant que des gestes viennent les illustrer). L’expérience soutient plutôt la première hypothèse , pour laquelle le geste représente une forme primitive et préparatoire de l’énonciation, car elle montre que lorsque l’amorçage lexical est concordant, les mots sont formés plus rapidement (intégration sémantique)

On notera toutefois que le caractère expérimental de cette étude impose une certaine segmentation des indices pour les quantifier et les valider . Bien plus complexe encore pour l'expérimentateur serait une étude par EEG qui permettrait , lors de la production de phrases complètes , d'observer de quelle manière le geste coopère dans la multimodalité sémantique . D'autres méthodes ont mis en évidence ces interactions , par exemple lors de situations où le locuteur est autorisé /non autorisé à émettre des gestes . Si on installait alors des électrodes sur leur cerveau on obtiendrait au niveau des ondes cervicales une masse de données considérable mais qui se prêterait difficilement aux exigences de l'analyse statistique, laquelle est censée assigner aux résultats un caractère empirique. Complémentaires avec les analyses de variance , les études plus qualitatives et intra-individuelles, de type phénoménologique, peuvent apporter d'autres indices certes non généralisables, mais tout aussi pertinents dans le débat théorique.

Pour en savoir plus : Behavioural and neurophysiological evidence of semantic
interaction between iconic gestures and words. P. Bernardis ; E. Salillas ; N. Caramelli
Neuropsychology, Volume 25, Issue 7 & 8 October 2008 , pages 1114 – 1128.
Bases électro-physiologiques de la sémantique des objets
http://www.edk.fr/reserve/revues/ms_papier/e-docs/00/00/0A/51/document_article.md
Feyereisen, P. (2006). Further investigation on the mnemonic effect of gestures: Their meaning matters. European Journal of Cognitive Psychology, 18, 185–205.

Les langues signées, recherches et échanges à l'international

Le 18 Août dernier avait lieu à Cologne un colloque sur les Langues des Signes en Afrique dans le cadre du Congrès Mondial de Linguistique Africaine .Celui-ci a permis d'observer les propriétés communes mais aussi ls variations entre langues signées de différents pays d'afrique francophone. On sait que par exemple la LSF et l'ASL nord américain ont près de la moitié de signes analogues et qu'il y a des possibilités d'intercompréhension sur une partie du répertoire entre plusieurs langues "nationales" des sourds. Un autre évènement aura lieu prochainement : le Colloque international sur les langues des signes,du 16 au 20 novembre 2009 à l'université de Namur.

décryptages gestuels tous azimuts, "arrêtons de décoder"

Vaste objet de recherches, la gestuelle fait aussi l’objet de dérives interprétatives, qui intéressent d’ailleurs pas mal le monde de l’édition . En feuilletant en kiosque de gare certains de ces ouvrages à la limite de la parapsychologie , vous apprendrez ainsi que chaque geste que vous entreprenez (se pincer le lobe auriculaire gauche avec la main droite par exemple) , est fortement chargé de symbolisme : c’est à coup sûr, un signe qui vous qualifie ou vous disqualifie dans votre vie sociale . Dans une interview télévisée l’un de ces exégètes , Joseph Messinger, révèle par exemple que si Nicolas Sarkozy se frotte les sourcils c’est qu’il révèle alors un signe positif d’appartenance aux individus tribaux-créatifs (une illustration parmi d’autres de sa lecture des gestes présidentiels, décryptés un peu à la manière dont l’inconscient vagabonde et bavarde devant un test projectif) .
Ces discours aux postulats expéditifs ,posent question . En effet le " sens caché " du non verbal fait l’objet d’une fascination mêlée d’inquiétude dans le grand public : et si nous étions jugés en quelques instants grâce à quelques clefs secrètes au vu de notre expression non verbale, réputée plus authentique et moins falsifiable que les mots ? Comment se protéger alors si ce n’est en apprenant ces codes redoutables que certains livres , tels une méthode de langue étrangère, révèlent au public ?
Certains chercheurs mettent les pieds dans le plat ; on se souvient des critiques d’Yves Winkin à l’égard de la PNL. Pascal Lardellier professeur en SIC est l’auteur d’un ouvrage dont le sous-titre évocateur veut tirer la sonnette d’alarme : Pour en finir avec les gourous de la communication , arrêtez de décoder. Pascal Lardellier, L’HÈBE, 2008 .

colloque Ecritures du Corps

Le colloque international ÉCRITURES DU CORPS se tiendra les 18-20 novembre 2010 à l’ Université Paris 13 . Les écritures du corps y seront envisagées sous trois aspects :
1. Littérature : écritures et représentations littéraires du corps, perspectives comparatistes et interculturelles, corporalité de la lecture et du corps.
2. Langue, texte, discours : écritures corporelles (tatouages, stigmates, etc.), dimension corporelle de la production verbale (mimo-gestuelle, posturale, environnementale), biologie du sens, dimensions psychiques et cognitives (questions de la perception, de la métaphore spatiale, de la mémoire sémantique et discursive, du corps comme texte psychique, du symptôme comme texte).
3. Sémiotiques non verbales ou multimodales : le corps comme élément de la production langagière, dans l’interaction, es arts plastiques, les arts du spectacle , l’art comme discours social, culturel, voire politique sur le corps.

L'intonation vocale à la radio, une affaire de morale communicationnelle

Quelque chose ne va pas dans la prosodie vocale des présentateurs radio . Sans doute avez vous remarqué que l’intonation des animateurs de la " bande fm " était plus frétillante sur des radios musicales comme Skyrock , que par exemple sur France culture où le ton est plus posé, l’articulation plus lente, les crêtes d’intensité plus modérées , certains diraient que le ton sur France Culture est plus académique . Donc c'est un choix de registre.
On apprend aux conseillers en phoning à sourire au téléphone . L’intention du message, l’émotion de son auteur, passent par la prosodie vocale, et d’une voix souriante on peut inférer que le locuteur sourit.
Mais alors que devrait-on penser d’un speaker qui sourirait , mimiquement ou vocalement en annonçant un drame ? Il n’est pas rare sur certaines fréquences d’entrendre l’annonce successive d’une victoire sportive, puis l’enlèvement d’une fillette à peu près sur le même ton enjoué, avant que le plateau n'envoie entre deux badinages le jingle musical (elle est pas belle la vie ?) .

On imagine mal à la TV un présentateur qui annoncerait un tremblement de terre avec le sourire . Mais à la radio aussi , il y a du sens dans le non verbal quand bien même il est non visuel : quand apprendra-t-on aux journalistes en formation, qu'à la radio leur expression non verbale transparait de leurs intonations ?
Ce jeudi, j’écoutais France info , qui tout de même n’est pas Rire et Chansons. La présentatrice , peut être émoustillée par l’annonce du week end ensoleillé , semblait en pleine forme , et sur un ton plein d’entrain , d'annoncer à son auditoire les titres à venir : direction Roland Garros, la " couleur du ciel " , puis sans discontinuer dans la mélodie vocale : " et enfin, cap sur le Brésil où les opérations récupération de débris de l'avion ont commencé " .

Passons sur le langage (cap sur … , on se croirait à Fort Boyard) , reste le paralangage : un minimum de solennité semblerait de circonstance . Certes cette journaliste , qui annonce chaque jour bonnes et mauvaises nouvelles ,doit être un peu blindée . Mais sans parler de solennité à outrance un mimimum d’empathie dans la voix , à quelques jours d'une catastrophe aérienne pour de telles circonstances, paraitrait plus décent et discréditerait moins l’image de professionalisme que l’on attend de son journal . On n'annonce pas les titres d'une telle actualité comme un menu aguichant. Le langage verbal s'apprend à l'école mais pas le paraverbal; par contre dans des écoles de communication telles que les instituts de journalisme , l'accent devrait être mis davantage sur cette dimension , quelque part morale, du paralangage.

Communiquer virtuellement sans visibilité réciproque: quels signes supplétifs?

La communication synchrone par chatrooms a toujours soulevé des problèmes intéressants sur le plan de l’alternance des tours de parole, en raison de la non visibilité réciproque des acteurs . Lorsqu’un participant adresse un message à la cantonade sur le chat où des habitués se retrouvent pour papoter, aucune règle ne décrit à qui est-ce le tour de s’exprimer . Eventuellement c’est le plus habile au clavier qui l’emportera .
En situation non virtuelle certains indices permettent de définir implicitement qui veut parler à son tour , ou bien à qui on passe la parole , grâce à des indices comme : regard circulaire ou préférentiel, invitation du menton, lever le doigt dans une réunion, etc . (cf. Cosnier: Grands tours et petits tours , Echanges sur la conversation, CNRS éditions 88)
Si ces indices sociaux font donc défaut dans les sessions de chat, d’autres signes non verbaux, les smileys, permettent à tout le moins d’exprimer avec quelle intention ou émet ou on reçoit une phrase , par exemple de gérer l'ironie, le clin d'oeil complice ,etc . Mais cette signalétique ne couvre que partiellement les besoins liés à la tendance high tech de l'époque: communiquer par avatars virtuels interposés dans des environnements immersifs. Dans Second Life, les corps virtuels peuvent être animés par certains gestes et variations posturales faisant partie d’une bibliothèque de gestes (rire, applaudir , danser …) Ces gestes sont plus limités que ceux qui entrent dans les compétences des agents intelligents conversationnels utilisés sur certains portails web .
La limite technique des possibilités d’expression gestuelle par avatar interposés induit donc certains problèmes communicationnels non résolus. Par exemple lors d’un cours sur tel campus numérique, les élèves virtuels installés sur un parterre ensoleillé écoutent le professeur puis interviennent pour poser des questions ou se répondre mutuellement . Nos humanoides peuvent alors se regrouper par affinités pour échanger des idées et créer un sous-groupe de chat , ou collaborer tous ensemble à un projet commun … Dans toutes ces situations se rencontrent un peu les mêmes obstacles conversationnels : parfois tout le monde parle à la fois , on ne sait pas trop si telle remarque est dite avec humour ou controverse, etc… La panoplie de signes non verbaux demeure pour le moment insuffisante (quoique certains gestes puissent être achetés au même titre qu'un tatouage ou des plumes , sur Second Life ...).
Certains chercheurs dont ceux du consortium MyBlog3D se sont attelés à ce difficile problème : comment gérer sur des avatars la direction du regard , les expressions de visage, rendre congruentes l’expression de voix d’un intervenant et l’expression faciale de son avatar, comment reconstituer des signes de passation de parole, d’acquiescement, de désapprobation, etc…

Le support expérimental de ce projet audacieux est actuellement basé sur des simulations d’entretien de recrutement par avatars interposés. Un avant gout du modèle de société qui nous attend d'ici une paire d'années ?

Pour un aperçu des travaux en cours (projet Myblog 3D):
http://pperes.wordpress.com/2008/10/16/myblog3d-realite-virtuelle-et-ihm-multimodale/

Puis, une conférence en ligne pointant des questions sur l'univers Sd Life:

http://php.bm-lyon.fr/video_conf/detail.php?id=235

Journées d'étude APOGESTE sur l'oculométrie en analyse gestuelle

Les secondes journées d’étude Apogeste ont eu lieu sur le site de MultiCom les 22 et 23 janvier 09, présentées par Jean Caelen, Anne Pellegrin et Brigitte Meillon . Elles ont permis de dresser un état de l’art des techniques oculométriques puis de mettre le projecteur sur l’application de ces techniques en SHS, en ergonomie (cf. les études menées par Multicom dans le domaine de la gestion de l’attention en contrôle aérien ou bien lors de gestes chirurgicaux ). Ces présentations d’expérimentations ont fortement suscité l’intérêt des chercheurs qui ont envisagé à la suite des perspectives d’études novatrices assistées par eye tracking au sein du réseau Apogeste. Entre autres a été discuté l’apport que constituerait cet outil de mesure pour analyser les ancrages du regard en langue des signes . A cet égard les participants ont été spécialement intéressés par les applications offertes par le matériel Mobile Eye ASL en situation embarquée .

Conférence N. Sarkozy , Alain Duhamel et les télescopages du questionnement

Est-ce que ce soir là le président Sarkozy avait une dent contre Alain Duhamel , venait il de lire son dernier ouvrage La marche consulaire ? De leur côté, ses confrères entendaient ils dans le sillage du Parisien Libéré, contester qu'il fût l'interviewer le mieux placé au sein de RTL ? Le journaliste a eu du mal à " en placer une " selon sa propre formule : Sarkozy se tournait vers les autres journalistes chaque fois que Duhamel le questionnait ... et David Pujadas interceptait chaque question de Duhamel en la reformulant vers le chef d'Etat , suivi en la matière par Laurence Ferrari . Ceci ayant parfois pour effet de décaler légèrement le sujet et en tous cas, de frustrer Duhamel de la réponse qui lui était due .

Stratégie d’autant plus frustrante pour le journaliste invité, que dans la phase précédente de la conférence de presse Guy Lagache, avait posé ses marques assez ostensiblement sur le plateau à grand renfort de gestes aériens à la Jean-François Kahn . Interrompre à tout bout de champ n'est pas , en présence du 'premier des français' tout à fait d'usage, mais les journalistes cultivent une autre méthode: rebondir sur un mot comme s'il faisait tilt , saisir les places transitionnelles légitimes ou non, pour placer l’amorce canonique " alors : justement Monsieur le Président … " et asséner un point final à ce qui vient d'être dit . Les pauses séparant les phrases de l’interviewé sont une opportunité légitime d’interruption puisqu’elles peuvent être interprétées comme une intention de céder la place aux questions. Plus discourtoise et moins discrète, l’interruption pendant une pause intra-phrase (délai de réflexion, respiration entre groupes de mots ) peut être renforcée par un marquage visuel en guise de séparateur : changement de posture de l’interrupteur , déploiement soudain d’un geste de cloture , doigt pointé vers l’invité .

Pour sa part, lorsqu'il entre en scène après avoir attendu sagement son tour pendant que Lagache s'efforçait de parer sa prestation du plus bel éclat, Duhamel se trouve aux côtés d’un Président qui souvent l’ignore du regard, tandis que ses confrères du plateau (D. Pujadas, L. Ferrari) lui font de l'ombre en venant se greffer inopinément sur ses questions , d'où divers télescopages conversationnels dont il se serait bien dispensé et qui redistribuaient la donne de l'interlocuteur légitime.

fragment 1

N. Sarkozy : " J’avais imposé aux Etats Unis le sommet de Washington pour refondre l’ordre mondial financier … "
A. Duhamel tente d’interrompre suite à ce qu'il voit comme une dérive à l'endroit de sa question précédente : " on va y revenir mais … " (Sarkozy n'en a rien à faire et poursuit, refusant sans détour le recadrage)
fragment 2

N. Sarkozy : " Les agences de notation américaines ont fait un travail détestable " (il développe)
A. Duhamel tente de couper : " qu’est ce que vous proposez " ? Pendant que Sarkozy inspire pour répondre, D.Pujadas interpose une toute autre question " Elles se sont trompées ou elles étaient complices ? ". Détournement parfaitement réussi, Sarkozy se tourne vers le journaliste de France 2 : " En tout état de cause elles n’ont pas joué leur rôle car " ... Duhamel interrompt et ramène l’attention vers lui , comme pour rappeler sa présence : " et puis en tout état de cause.. " Cafouillage à deux voix puis Duhamel réussit tant bien que mal, à se re-positionner en fin de phrase : " et en tout état de cause c’est les banques qui payent les agences de notation ".

fragment 3

N. Sarkozy : " Les anglais ont choisi la relance par la consommation, avec la baisse de la TVA, et …. "
A. Duhamel (soudain) " Alors : justement ! … " il tente d’interrompre mais sans succès ; son geste prosodique reste suspendu en l’air de façon un peu pataude.
Sarkozy ignore la césure et poursuit : " ça n’a amené aucun progrès " L. Ferrari essaye d’interrompre, Duhamel neutralise son intention et justifie sa tentative avortée en rebondissant sur le verbe 'amener' : " ça a au moins amené la question que je voulais vous poser car c’était justement là dessus ..."(il développe)

fragment 4
Sarkozy : " Sur la règle que j’ai fixée du non remplacement d’un fonctionnaire sur deux … ( L. Ferrari tente de l'interrompre)
Duhamel , outré: " Mais mais mais ! ! ! eh Eh eh ! ! ! Si vous permettez !! (rotations de la tête ) euh , tout ça c’est … " Il tente d'intervenir mais excédé par la situation, semble avoir perdu le fil de sa pensée . Pujadas , plutôt amusé qu'intimidé , profite de la confusion : " Alain pardon" et confisque à Duhamel son tour de parole en accentue par un geste iconique sur le mot plafond : " vous vous fixez un plafond pour la dette publique ? "
N.Sarkozy répond à D. Pujadas , et à nouveau ignore du regard A. Duhamel.

fragment 5 (toujours à propos des fonctionnaires , Sarkozy ) : " et je n’ai pas souvenir que la France ait été sous administrée " . L. Ferrari tente d’intervenir . Duhamel coupe court par un geste de régulation bimanuel (aperçu)

" Non mais attendez, attendez je voudrais placer un mot la- dessus " . A nouveau pas de chance, c'est vers Laurence Ferrari que le président se tourne : "et ce serait au détriment des fonctionnaires ?" enchaîne-t-elle encore . A. Duhamel tente à nouveau de quitter l'arrière-scène : "alors! sur, sur les emplois publics..." . Echec et mat : "non, poursuit Sarkozy à l'adresse de la journaliste , pas au détriment des fonctionnaires" et de poursuivre en omettant d'entendre une fois de plus celui dont la prose l'a inscrit dans le bonapartisme.

revoir l'extrait :

http://www.youtube.com/watch?v=6MduJ1qNTuo&feature=related