Non verbal , empathie et non dit dans la relation médecin patient

La relation entre patient et médecin , est souvent le lieu de projections  inconscientes : asymétrie de la relation ,  représentations floues de son discours expert ,  indices de présence corporelle ambivalents .  Envisageons  quelques aspects de cette relation non pas dans le contexte des soins courants, mais dans des situations où le caractère anxiogène de la maladie amène le patient à amplifier le sens perçu des dits et des non-dits de son médecin . Au delà de l'anxiété  la dépression est fréquente , le transfert vers le médecin peut alterner entre des ressentis positifs ou de désespoir. Sa capacité d’écoute et d’implication est  fortement évaluée par le patient grâce à ce qu'il perçoit des attitudes non verbales . Les signes corporels prennent nécessairement  une place plus importante lorsque l’information verbale est difficile à décoder, ou incomplète (ex : absence des analyses ou radiographies indispensables au diagnostic ). Le malade peut alors en inférer plusieurs voies d'interprétation, ou compenser l'insuffisance d'informations reçue par ses propres impressions induites par le contexte non verbal.


Le regard comme geste de confiance 
Une recherche sur la question (suivre ce lien) souligne l'importance du regard perçu par le patient, en tant que critère d'implication et de présence dans la communication . Les médecins ne sont pas toujours conscients du fait que lorsqu'ils orientent longuement  leur attention visuelle vers le dossier médical ou vers l’ écran d’ordinateur , ceci peut être diversement vécu par le patient. Lorsque ce patient s’efforce de décrire ses symptômes les frappes au clavier peuvent engendrer des interruptions , suivies de tentatives de reprises (je ne sais plus où j'en étais..., donc, je vous disais..) .  Parfois le regard du médecin reste orienté vers son écran même lorsqu’il n’en a plus besoin , la triangulation de la relation par l’ordinateur (dit magic box par des auteurs anglo-saxons) permet éventuellement de  maîtriser temps thérapeutique et parole d'autrui.

Dans une perspective différente, pour ne pas rompre la ligne de communication,  le praticien peut entretenir un contact intermittent , visuel ou acoustique (acquiescement, reformulation) . La médiation de  l’interface ,autrefois signe de compétence,  peut être perçue comme une façon de se dérober à la relation, ou de canaliser la durée de l'entretien .  Les patients répondant à l' étude,  indiquent qu’ils apprécient parmi les  médecins ceux qui sont  expressifs , verbalement et corporellement ; ces patients  ressentent  positivement les hochements de tête , les manifestations de sourire .  L’attention à l’égard des modulations vocales est plus forte que d'ordinaire ; dans l'attente de mots réconfortants , des voix atones ou  monotones peuvent avoir une connotation grave ou  solennelle . Ils disent préfèrer une moindre distance interpersonnelle et le fait que le médecin s'approche ou se  penche vers eux , buste avancé dans l'axe du dialogue plutôt qu'en retrait au fond du siège ou décalé latéralement . Plus ambivalent , le toucher amical est perçu soit comme positif , soit comme surprotecteur  et signe annonciateur d'aléas.

 S'il existe de larges ressources de formation  en matière d'entretien pour des conseillers commerciaux, des travailleurs sociaux ou des enseignants, etc,  les références prétendant guider le médecin dans sa relation interpersonnelle  sont plus rares , de source francophone en tous cas . Un article  de M. Vannotti  montre comment un travail sur les émotions permet au médecin de cadrer la relation autrement , avec une attitude empathique ce qui suppose non seulement des techniques corporelles mais une sensibilité  à la fois authentique et contrôlée , à la souffrance d'autrui .

Aspects non verbaux de l'empathie 
On sait que l’empathie est cette attitude bienveillante d’écoute et de résonance aux affects et à la souffrance d’autrui. Corporellement cela se manifeste  par des hochements de tête, reformulations, régulateurs verbaux d'écoute,  postures en miroir ou synchronie des attitudes , mais les modalités expressives peuvent varier selon le mode d'empathie . Davis distingue un mode plutôt affectif et un mode empathique plutôt cognitif . Dans le premier cas l’individu modélise en partie les émotions de la source (il peut partager par exemple, sa colère contre une injustice) . Dans le second   mode il surmonte  cognitivement cette émotion  .

 Il serait en tous cas intéressant de mieux analyser les aspects non verbaux  de l’empathie ainsi que les perceptions non contrôlées qu’elle peut induire chez un interlocuteur . En effet pour en revenir au contexte médical quelles peuvent être les connotations secondaires dans la tête du patient en cas d'empathie affective  ? Exemple: une apparence "solennelle" dans l'expression du médecin semblera peut être révéler au patient un non-dit  inquiétant .
Face à un patient triste et inquiet , le médecin peut refléter inconsciemment une attitude empathique dans laquelle sera lue une sous-dominante visuelle évoquant légèrement la tristesse. Autrement dit si on replace l'intersubjectivité au milieu du dispositif :
-le médecin fait écho empathiquement à l'expression inquiète du patient  . Il ne s'inquiéte pas dans l'immédiat de son dossier, mais fait légèrement résonnance à l'inquiétude actuelle de son patient (*)
- le patient  décrypte les indices expressifs du médecin (un sourire de compassion) comme pouvant être de mauvais augure à long cours

Figures de l'empathie 
Au dela de la situation soignant-malade abordée ici,  quelles sont finalement, les  figures visuelles de  l'empathie  ?  Question à laquelle sont d’ailleurs confrontés les concepteurs d’agents intelligents conversationnels  pour rendre ces derniers plus communicants. Le paramétrage d’émotion mélangées (Pelachaud & col.)  permet par exemple d'attribuer au haut du visage de l'avatar GRETA  une expression triste et au bas du visage une expression discrète de joie.

Contrairement aux émotions qui ont été codifiées en unités d'actions faciales , l’expression d' empathie n'a guère de représentation canonique. Une piste est offerte par l'iconographie religieuse , qui révèle des images de l'empathie "affective" ou de compassion, continuuum visuel entre un message d'espoir et d' échoisation de la souffrance d' autrui.

Dans les représentations des saints ou de la Vierge,  les traits caractéristiques sont souvent un sourire de très faible intensité auquel sont mêlés quelques formants visuels de la tristesse , avec légère flexion des sourcils,  flexion latérale de la tête . Selon les icônes, la composante visuelle "espoir" peut prédominer sur "écho de la souffrance" ou l'inverse. Et selon nos propres dispositions à l'empathie , sans que nous y pensions nos neurones miroir sont activées par l'expression qui nous fait face  si nous nous laissons aller à la contemplation. Sans doute est-ce aussi une fonction rhétorique de ces oeuvres sacrées ...


* Le corps du récepteur entre en résonance avec celui de l'émetteur et cet analyseur corporel permet d'attribuer à autrui des états mentaux (Cosnier 2008)

avatars conversationnels: du robot parlant à l’humanoïde réactif et sensible

Un évènement de fin d'année dans le domaine du motion design  est l'élection du meilleur chaterbot ,  intitulée MissClient 2011 . Il s'agira pour le jury  de départager une vingtaine de robots parlants (dont 3 messieurs seulement  ...)   selon des critères d'ergonomie  mais aussi de présence sociale .  Evènement intéressant car il démontre que ces artefacts  engendrent des impressions de qualité variable en fonction de leurs compétences dialogique et de leur réalisme expressif. Ces questions de qualité communicationnelle  constituent  d’ailleurs un thème de recherche parallèle à la modélisation des avatars intelligents, dont on mesure parfois les effets cognitifs et sociaux.

Rappelons que depuis une dizaine d’années les études scientifiques sur le non verbal sont fortement  (et financièrement) déterminées par un axe qui a encore un bel avenir , celui de la conception d’avatars conversationnels. Ces recherches sont importantes pour la connaissance du geste humain car elles permettent à des experts en CNV de collaborer avec des spécialistes d’intelligence artificielle . De telles synergies restimulent régulièrement les réflexions et théories dans le champ de l’expression des gestes et des émotions. Elles ouvrent vers des questionnements originaux tels que  : comment modéliser sur un visage des émotions mélangées. Par exemple joie + déception (nous pouvons ressentir simultanément des inclinations différentes devant tel évènement, ou être amenés socialement à masquer une émotion par une autre ).

Des machines à dialoguer… et à négocier

Souvent utilisés comme métaphore d'une hôtesse d'accueil, d'un formateur , d'un guide... les agents virtuels sont théoriquement capables de comprendre le langage écrit et d’engager le dialogue en temps réel avec un être humain . L’internaute qui visite un site, entend soudain un « bonjour ! »  venu d’un coin de l’écran ( ce qui parfois peut faire sursauter ) puis voit s’afficher une créature  aguichante qui met discrètement le pied dans la porte: " puis-je vous aider ?"   L'utilisateur peut ou non accepter le dialogue, souvent l'avatar est chahuté ou on teste ses connaissances.

Petit exemple d’un chatbot volubile , qui n’appartient pas à la catégorie des agents émotionnels autonomes, mais a un certain sens de la réplique  (relativement à ses concurrents) :

http://www.jeanneton.blueinfos.com/

A minima l’effet de curiosité permet donc au personnage d'engager le dialogue,   de manière semi-directive:  certains prototypes sont dotés de procédures de négociation héritées des théories des actes de langage, et sous-tendues par des arbres de décision qui se resserrent progressivement vers des actions incitatives .  En clair, le premier objectif de l’agent virtuel sur un site commercial est d'éviter l’abandon du panier.

Mais ces personnages ludiques sont ils systématiquement acceptés ?  Avant  d'examiner plus loin les perceptions de leur gestuelle , se pose le problème de leur utilisabilité. En raison de leurs  compétences sémantiques parfois décevantes , ils peuvent agacer l’utilisateur lorsqu’ils bloquent devant une question simple ou répondent « je ne vous comprends pas, je suis jeune stagiaire ». Frustration compréhensible car ils  sont conçus pour gérer des requêtes en langage naturel et ne devraient pas lui demander plus de temps qu’une requête menée sur  un moteur . La présence d'un tel avatar est-elle alors justifiée sur le portail d'accueil ? Autrement dit s'agit-il d'afficher un faire-valoir communicationnel , ou bien de privilégier la pertinence en  recherche d'information ? 

Les agents conversationnels animés , une sémiologie des effets produits

Un autre objectif des concepteurs est le réalisme de l’ expression corporelle  . Ceci est alors le domaine des Agents conversationnels animés (ACA)  à côté desquels les chatbots , plutôt forts en verbe, font figure de "cartoon" basique.  L’ apparence humaine des ACA est toujours contrôlée par le programme même lorsqu’ils sont silencieux , à l’écoute : posture , mouvements de tête légèrement animés, clignements…  Ensuite les séquences de gestes doivent s’enchainer de manière cohérente et non discontinue afin de  ne  pas desservir la parole mais l’illustrer , et exercer une  redondance visuelle pour capter l’attention .  Certaines catégories gestuelles sont plus  complexes à modéliser que d’autres : les pointeurs directionnels, clignements des yeux, gestes de repos et autocentrés, mouvements de tête, soulèvent moins de problèmes que la connexion d’un geste métaphorique avec le mot  qu’il doit illustrer (mais certains agents savent faire) .

Autre type d'enjeu, synchroniser  sur les pics d’intonation,  les gestes prosodiques adéquats.  On évalue à ce genre de problème la difficulté de modéliser le pathos et la vibration infime qui font la trame sensible de la parole humaine.  En contrepartie certains ACA révèlent des émotions « robustes » au niveau du visage  : les unités faciales peuvent être très finement paramétrées grâce à des modèles de logique floue .  Un sourire franc saura être  modélisé différemment d’un sourire de politesse ou d’embarras (par sa symétrie, intensité...) . En outre lors d’une émotion toutes les unités faciales caractéristiques de celle-ci ne sont pas activées avec la même intensité au même moment  car c'est un continuum (ex degrés de froncement du sourcil , ouverture de la bouche ) : des graphes  permettent de visualiser les pourcentages paramétriques de l’émotion dans son déroulement temporel pour extraire de cette segmentation en micro-expressions, le pattern le plus typique .

Puis n'oublions pas dans le ressenti relationnel , que la voix d'un tel personnage va rapidement « sauter aux oreilles» : une  voix synthétisée avec une fréquence fondamentale constante, est perçue comme artificielle , métallique, et fait encore plus  ‘robot’  lorsque l'articulation des lèvres suscite une perception désynchronisée. .

Le regard  , enfin, est un paramètre d’impression très élevé . Parvenir à restituer une expression des yeux 100% naturelle de la part d’une créature synthétique relèverait  du prodige . Le regard de certains avatars dégage des impressions d’étrangeté, de « regard fixe, vide, hagard, vague … »  . La représentation graphique de la pupille , sa taille , sa motilité,  modifient fortement les perceptions. Autres impressions à contrôler: la programmation directionnelle de ce regard peut induire l’impression qu’il est trop insistant ( regard frontal trop prolongé) ou à l’inverse fuyant (oblique, vers le bas…)

 

L'analyse fine des connotations de toutes ces variables expressives devrait être idéalement, toujours menée en parallèle de la conception. Le réalisme  du paraverbal est un élément important pour que fonctionne l’interactivité entre l’ACA et l’utilisateur .


A ce sujet un nouveau prototype , Sensitive Artificial Listener a pour objectif de modéliser fidèlement l'interaction  avec l'humain (ce qui est autrement complexe que de répondre à des frappes de clavier). Il devra être capable d’interpréter les signes émotionnels fournis par l’utilisateur via une webcam intelligente (voix, regard, visage...) afin d’adapter son propre comportement et d’entretenir le plus naturellement  une synchronie dans le dialogue. Un objectif ambitieux, qui commence à révéler des résultats.  Pour en savoir plus:  :http://www.semaine-project.eu/

Damasio et ses « nouvelles cartes du cerveau » , une interview en ligne

Une interview intéressante à écouter en ligne, est celle d'Antonio Damasio qui permet d'appréhender ses récentes découvertes du côté des fondements biologiques ou corporels de la conscience et des émotions . Il s'agit en effet de son dernier ouvrage "L'autre moi-même -nouvelles cartes du cerveau, de la conscience et des émotions "(éd. Odile Jacob) présenté au cours de cette émission : http://www.universcience.fr/fr/conferences-du-college/programme/c/1248111427568/-/p/1248108924842/

Puis pour poursuivre la réflexion, ce point de vue critique de Jean Marie Lacrosse qui émet que l’expérimentation en neurophénoménologie , quelle que soit la présomption de pertinence absolue qui l’entoure, ne peut tout régler de la discussion autour des théories de l'esprit :
http://ceppecs.blogspot.com/2009/05/lerreur-de-damasio.html

Point de vue qui nous ramène à cette inclination parfois du neurocognitivisme à trouver insolite ou obsolète tout ce qui relève de l’inter-phénomène : intersubjectivité, interaction, émotion, interlocution, inter-personnel, expression, médiation, communication …
On relira à cet égard l’ouvrage agréablement argumenté de Jacques Cosnier *, qui commente l’origine de la « révolution » cognitiviste, née pour partie du crach du behaviorisme ayant ouvert en grand la boite noire du mentalisme . Epoque où l’émergence de l’intelligence artificielle, des méthodes high tech d’exploration du cerveau etc, semblaient impliquer pour certains , de regarder avec condescendance l’observation naturelle ou de terrain . Pour Cosnier il ne s’agit pas d’opposer l’inter -individuel de "l’intra" , dont il étaye de part et d’autre la pertinence, mais de proposer que « ni les neurosciences, ni les sciences cliniques, ni les sciences sociales ne peuvent répondre à tout ».

*http://www.decitre.fr/livres/LE-RETOUR-DE-PSYCHE.aspx/9782220042299

l'entretien de recrutement sur second life , des modalités de communication plus discriminatoires ?

De plus en plus de sociétés relevant des “ grands comptes ” achètent des îles sur Second Life (SL) pour y implanter des pavillons de recrutement et procéder à des pré-sélections de candidats à des postes de haut niveau . Sur le plan des interactions cette forme de communication désincarnée redistribue bon nombre de paramètres . Rappelons que dans l’interface SL les utilisateurs utilisent un avatar animé qui est leur représentation graphique, et dont ils définissent l’apparence: âge, sexe, couleur, vêtements, bijoux, tatouages … Cet avatar peut être le plus fidèle possible à l'identité de l'internaute ou lui permettre à l'inverse de se créer une tout autre personnalité (par exemple taille, musculature, apparence ethnique... ).

L’entretien peut être individuel ou, afin de tester l’adaptation du candidat au groupe, se présenter comme une parodie des classiques entretiens collectifs. Il regroupe alors des candidats sans limite géographique ou de frontière , ce qui reproduit des commodités de la vidéoconférence (pas de frais ni de stress liés au déplacement). Un tel entretien débute avec l'arrivée de chaque candidat qui est invité a occuper un siège libre autour de la table.

Théoriquement Second Life permet à chacun de dialoguer soit par la parole, soit sous forme de dialogue au clavier (chat). Le problème des échanges oraux est que comme les utilisateurs ne se voient pas réellement (et comme leur avatar ne lève pas le doigt pour prendre la parole...), la cacophonie l’emporte généralement au niveau des tours de parole (cf. post sur ce blog du 13 avril 2009) . L’échange par chat permet une meilleure discipline des échanges. Les messages de chaque intervenant sont archivés avec son accord , ce qui permet des comparaisons de candidats a posteriori.

Intérêt de cette interface ? Pour des entretiens de groupe SL permet, par rapport a un chat classique, de pouvoir échanger dans un lieu virtuellement visualisable ce qui suggère aux candidats le sentiment d’“ être ici et ensemble ” . Pour sa part le recruteur peut organiser à sa manière les paramètres de son entretien , il peut simuler une tache en situation, lancer un jeu de rôle entre candidats ou serious game , tester leur réaction en situation d’urgence, les déplacer vers certains lieux stratégiques.. Sur le plan ergonomique, l’univers SL permet au candidat, à distance , de manipuler des objets en 3 dimensions , notamment s’il postule à un emploi d'ingénieur, graphiste, designer, paysagiste .

Mais que peut on penser des modalités de communication en dehors des a priori technophobes ou technophiles?
Les chasseurs de tête sur SL défendent que lors des entretiens collectifs les candidats se révèlent mieux sous leur vrai jour en raison de l’anonymat que leur offre l’avatar, alors qu’en temps ordinaire ils peuvent s’autocensurer (biais de désirabilité sociale ). On "se lâche" donc plus facilement déguisé en personnage fantasmatique que si on était encravaté pour un véritable entretien. Ce contexte crée une proximité assez inattendue entre le recruteur et le candidat postulant, il entretient le sentiment un peu empathique de partager une même expérience ludique et immersive . Avantage : une moins grande asymétrie des rôles, inconvénient: une baisse de l'autocontrôle qui peut conduire à lâcher des informations irréfléchies.

Compte tenu de la difficulté de converser à plusieurs par micro, l'écriture par chat se substitue donc à l'expression multimodale , qui en temps normal intègre: le contenu verbal, les composantes vocales, les impressions corporelles, les regards.... Le candidat n'a donc pas à se préoccuper de son élocution, exit le stress du face à face . Sur le plan interactif, l'écrit est plus asynchrone que la voix et offre davantage de temps pour la réflexion " ce qui neutralise les réactions spontanées" regrettent des DRH. Le niveau de langage est plus familier qu'en entretien réel, il tolère les abréviations , les phrases courtes ou nominales, .... Donc des habiletés expressives qui avantageront certains mais ne conviendront pas forcément aux candidats charismatiques à l'oral: il n'y a plus de feed back visuel corporel, l'incarnation vocale est absente, les émotions sont remplacées par des expressions faciales très basiques des avatars , ou par des smileys.

Souvent les chasseurs de tête estiment que ces nouveaux syles de recrutement occultent tous les indices de présentation , de gestuelle et d'expression caractérologique qui permettent d'évaluer l'épaisseur humaine, les affects du candidat. On cite volontiers le fait que le paraverbal recèlerait 70% du sens (en s'appuyant sur cette célèbre et bien réductrice extrapolation d'une expérience de Merhabian ... )
Mais soyons juste: le décodage à outrance du "langage corporel" comporte aussi quelque chose de normatif qui fait la part belle aux intuitions de l'évaluateur . Intuitions et projections trop souvent au détriment de la valeur intrinsèque du candidat, de son CV et des commentaires qu'il formule pendant que son apparence et ses infimes réactions sont scannées au grand complet...

Difficile en contrepartie de plaider que le postulant se révèlerait sous sa véritable identité par l'entremise de cette métaphore corporelle sensoriellement limitée qu'est l'avatar (quid de la richesse du contact humain?)

Pas facile en résumé, de jeter un jugement définitif sur ces plates formes de recrutement 'high tech' qui peuvent faire le succès des uns , alors que les autres reviendront à la case départ ... mais auront pu s'entrainer sans bourse délier .

Micro-indices: garder un oeil sur le comportement oculaire

Revenons sur quelques études relatives aux mouvements de yeux. On sait qu’en psychologie des interactions le contact du regard est un indice qui reflète l'attention portée à l'interlocuteur, mais aussi un signal subtil dans la rotation des tours de parole . Autre trace comportementale du regard, celle de la charge cognitive. Les indices de travail mental procurés alors par les yeux sont très multimodaux : à la variation du diamètre pupillaire s’ajoute le clignement des yeux, les micro- et macro- mouvements oculaires . Ces différents « gestes de l'œil » peuvent être mesurés fidèlement par de l'eye tracking et trouvent leur origine selon leur espèce dans une trentaine de régions différentes du cerveau.

Desengagement visuel

Pour illustrer cette notion : une étude du MIT a consisté à caractériser formellement trois types de regard , afin que des avatars virtuels puissent les reconnaître en dialoguant avec des humains: regard de contact vers l'interlocuteur , regard déictique pour pointer vers une personne ou un objet, et enfin regard détourné ( averted gaze) . Ce dernier type de regard est non directionnel mais plutôt diffus, peu intentionnel , il survient typiquement lorsque on interrompt l'interaction.

En psychologie cognitive il a été montré que cette modalité de regard , averted gaze, permet un désengagement attentionnel de l'information visuelle présente , ou de l'interaction , en faveur de la tâche. Glenberg suggère que le retrait du regard, en aidant la personne à se désengager des stimulations du champ visuel immédiat, peut améliorer l'efficacité du travail mental.

Spécialiste du stress des leaders politiques , le psychologue américain Tecce mesure la charge cognitive des orateurs (Obama, Clinton, …) selon plusieurs critères tels que le clignement mais aussi le nombre de fois où le regard glisse vers le bas .

Déviation saccadique

On sait que pendant des phases d’intensité de travail mental, les trajectoires oculaires sont plus instables . Elles peuvent être activées par l'imagerie et l'évocation en mémoire d'objets absents lors de la construction d'image mentales. Ces mouvements ont la forme de fixations oculaires , parfois de même structure spatiale que l’objet imaginé. Autre chose est le phénomène plus « sporadique », de déviation saccadique .

Les saccades sont des mouvements très brefs (20 ms minimum) effectués par l’œil entre deux fixations (points de transition ou d’arrêt de l’œil). On parle de déviations saccadiques à propos de mouvements de plus large amplitude qui n'ont rien à voir avec les fixations du regard, mais surviennent environ 0.5 s. après la mobilisation mentale. Ces indices intéressent classiquement les cliniciens, mais des études sur le sujet normal montrent leur corrélation avec la recherche d’attention .

Variation pupillaire

Un large aperçu des recherches autour de cet indice est proposée dans notre article de juin . Phénomène curieux, il existe une reconnaissance à un niveau non conscient, de la variation pupillaire d’autrui. C’est ce que montre une analyse par IRM faite à l’université de Darmouth sur des sujets à qui on présentait des photos de visages avec pupille contractée ou dilatée. La trace observée par IRM montrait bien une sensibilité de l'amygdale à la taille de la pupille d’autrui , bien que les sujets n’aient pas déclaré avoir discriminé deux tailles de pupille . Les effets de cette perception infra-consciente ne sont pas analysés dans l'immédiat . On sait néanmoins que le siège cortical de cette reconnaissance visuelle est le même que celui qui commande la dilatation/ contriction de la pupille d'un individu.


Clignement des yeux
Diverses études ont montré qu'un leader politique clignait jusqu'à 2 fois plus des paupières face à une caméra de presse , qu'en situation habituelle. Et lorsqu’un problème plus sensible est abordé au cours de l’interview, la fréquence de battements est plus forte. La différence entre orateurs peut être élevée, lors d’un débat Obama révélait  67 battements minute contre 112 pour Mc Cain . La mesure des moments de "charge cognitive" doit être intra-individuelle puisque la différence entre deux personnes peut être élevée a priori.



En laboratoire le battement de paupière et la dilatation de pupille sont deux indices apportant des informations complémentaires mais non redondantes. Une seule étude a permis de récupérer simultanément les deux indices lors de taches de calcul mental, et de différencier ainsi les propriétés de ces indices. Elle montre que le clignement se manifeste souvent en anticipation de l’effort cognitif , puis après cet effort (comme une sorte de récupération) . Comparativement la contriction/dilatation pupillaire  est décalée d'un léger délai (une demi seconde ) par rapport au stimulus déclencheur .

Le clignement des yeux révèle des particularités que ne partage pas la variation pupillaire, ainsi le clignement sera facilement activé par l'anxiété .

Au regard de tous ces indices oculaires, particulièrement intéressant est le cas du mensonge , car ils peuvent tous entrer en scène: clignements , détournement de regard vers le bas ou latéral, diamètre pupillaire (si le mensonge sollicite un surcontrôle) , microsaccades inconscientes (crainte d’être démystifié). Indices auxquels s’ajoutent des micro-expressions faciales mais aussi des battements de doigts, de pieds et autres gestes autocentrés.
références 

Abadi, RV, Characteristics of saccadic intrusions. Vision Research 44/23,  2004, 2675-2690
Tokuda, S, Using saccadic eye movements to measure mental workload .  Journal of Vision.  2008 8(17): 86; doi:10.1167/8.17.86
Siegle, G & al .Blink before and after you think: Blinks occur prior to and following cognitive load ndexed by pupillary responses.. Psychophysiology, 45 (2008), 679–687.
Glenberg, A. M. & al. Averting the gaze disengages the environment and facilitates remembering.  Vol 26(4), Jul 1998. pp. 651-658.
Recognizing Gaze Aversion Gestures in Embodied Conversational Discourse ; http://groups.csail.mit.edu/vision/vip/papers/morency_icmi06.pdf
Lorenceau, J.,  Pupille & Cognition: une brève revue & des données récentes.
http://reseau.risc.cnrs.fr/fichiers/affi_fichier.php?ID=8
Demos KE , Human amygdala sensitivity to the pupil size of others.  Cereb Cortex. 2008 Dec;18(12):2729-34. Epub 2008 Mar 27.

Charisme , discours politique et CNV

Plusieurs posts sur ce blog ont été consacrés à la place du geste dans la communication politique . Une conférence internationale autour de ce thème passionnant (mais peu analysé en tant que tel) se tiendra les 11 et 12 novembre à l'université de Rome . Parmi les thèmes de l'appel à projet on retrouve les questions suivantes :

Y at-il des signaux corporels typiques du discours politique , et plus généralement des signaux dotés d'intentions spécifique de persuasion , et suivis d'effets de persuasion ?
Relève-t-on des contours intonatifs , ou marques de la prosodie vocale qui seraient typiques de l'argumentation ?
Quels sont les signaux acoustiques et visuels liés aux émotions et aux impressions dans le discours politique?
Peut-on formaliser le "charisme" d'un orateur , et où sont les indices de charisme dans le discours politique?
Quelles sont les différences entre le discours politique et d'autres types de discours persuasif , entre le discours et le débat , entre un échange idéologique privé et le discours public ?
Est-ce que des systèmes automatiques seraient capables de reconnaître et interpréter les signaux d' accord et de désaccord , des indices de dominance, d'intention persuasive, de manipulation ?

Le comité d'organisation est présidé notamment par Isabella Poggi. Le texte de l'appel et les modalités de participation peuvent être consultées ici.
http://sspnet.eu/2010/05/political-speech-il-parlo-politico/

Interactions et intelligence artificielle

Jacques Cosnier nous communique les coordonnées de l'appel à communications pour la prochaine conférence sur l'Affective Computing et les interactions liées à l'intelligence artificielle (ACII 2011)

Cette conférence qui se tient tous les deux ans, est le carrefour scientifique de référence des chercheurs qui étudient les modèles des émotions et phénomènes affectifs applicables dans des systèmes artificiels (interaction homme -robot , synthèse de la parole , modélisation de la vision, agents conversationnels, serious games, etc)

Un indice non verbal original, la variation pupillaire: évolution des recherches

Parmi les indices non verbaux relativement méconnus , le comportement de l'oeil et spécialement de la taille de la pupille mérite un petit détour. Certains chercheurs restent assez sceptiques à propos des qualités indicielles de la pupille , peut être en raison de l'aspect 'stimulus-réponse’ d'études marketing orientées sur la motivation sensorielle . Celles-ci proposent que l'oeil peut réagir subtilement à des stimuli sonores ou visuels; les tests ont par exemple consisté à faire écouter des cris d'enfants ou des musiques différentes à des sujets , à leur présenter des photos de plats appétissants, de personnes appréciées ou détestées , de scènes macabres, des œuvres d'art ,etc. Un aspect controversé est d'envisager que les affects agréables déclencheraient une dilatation et les affects désagréables une contraction (Hess & Polt 1964). Dans d'autres cas l'expérience négligeait le fait que l'intensité lumineuse ou colorimétrique d'une diapositive peut exercer un biais sur la variation pupillaire.

Actuellement un corpus considérable de travaux est disponible qui permet de revisiter les expériences des années 80, assisté par des méthodes de mesures sophistiquées telles que le pistage oculaire et particulièrement orienté autour de la notion d'effort cognitif . Dans le domaine linguistique, on a pu observer que la réponse pupillaire était différente selon que le sujet décodait des mots concrets ou abstraits. Beattie (1982) observait que les constructions complexes engendrent une dilatation de la pupilles . Lors de tests de traduction lexicale Honya et al (1995) constatent que les mots les plus difficiles à traduire induisent la même réaction . Le simple fait de s'exprimer dans une langue étrangère, engendre (sauf maitrise linguistique parfaite) le même phénomène .

Une grande variété de tests menés suggèrent que la discontinuité de la taille de la pupille reflète des niveaux d'intensité de traitement de l'information lors de taches de résolution de problèmes, de calcul, de tri, de partage d'attention et complexité . Bailey et Iqbal (2008) ont décomposé l'intensité du phénomène en fonction de la hiérarchie de tâches et sous-taches bureautiques . Oliveira et Russell (2009) rapportent que la pupille se dilate lorsque des internautes découvrent une information pertinente (valeur informationnelle du stimulus élevée) . Hypothèse un peu similaire dans l'expérience de Min Jeong Kang (2008), qui remarque cette même réponse physiologique lorsque des sujets attendent impatiemment la bonne réponse en jouant à à un quiz . Un autre chercheur, Muldner ('2009) utilise d'ailleurs l'indice pupillaire comme indicateur de motivation et satisfaction en apprentissage à distance . Une série d'études avec de l'eye tracking montrent la possibilité d'intégrer l'indice dans un ensemble plus étendu de paramètres relatifs aux mouvements des yeux et plus classiquement étudiés tels que les saccades oculaires , la direction des rotations de l'oeil , la fréquence des clignements , l'abaissement de la paupière supérieure . La mesure de charge cognitive reflétée dans les indices oculaires , permet de décomposer la répartition d'attention . Lors de simulations de conduite , Palinko (2010) remarque que quand le pilote discute en même temps qu'il conduit , la pupille marque des pics d'amplitude au moment du processus de recherche des mots (effort sémantique) .


Une autre voie qu'il serait intéressant d'approfondir est l'apport de l'indice pupillaire à l'intérieur du faisceau de signes corporels et vocaux alloués à la détection du mensonge . Pour mentionner une seule étude Webb & al (2009) ont élaboré l'expérience originale suivante : les sujets avaient reçu comme instruction de voler une petite somme dans le sac à main d'un secrétaire, et de profiter du crédit de connexion d'une ne leur appartenant pas. Ensuite ils devaient essuyer un questionnaire, et on leur promettait une prime s'ils parvenaient à être crédibles , étant prévenus du fait que s'ils voulaient apparaitre de bonne foi il vaudrait mieux répondre le plus rapidement et précisément possible.. . Ainsi placés "sous pression" les sujets révélaient à l'eye tracking des variations d'amplitude pupillaire significatives.



Que pensent de tout ceci les neuropsychologues ? Par l'intermédiaire de l'indice TEPR (task-evoked pupillary response) ils relient cette réaction physiologique au fonctionnement du locus coreulus (région cérébrale ayant partie liée avec le "stress"(Gilzenrat 2003) . De nombreux travaux ont été menés sur des sujets cliniques , on sait également que la a pupille se dilate en réponse à des situations émotionnelles telles que la prise de drogues, de médicaments, la peur, la douleur ... Certaines mesures (Just 1996) ont montré des corrélations entre le TEPR et l'indice PET (imagerie cérébrale) lors de l'activation des structures linguistiques du cerveau (aires de Broca et Wernicke) . D'autres expériences ont montré des liaisons entre le TEPR et des indices comme le rythme cardiaque ou encore la conductivité de la peau, ainsi LIN ( 2008 ) a étudié les réactions pupillaires à un jeu vidéo . Egalement Siegle (2003) a compare les temps de dilatation pupillaire avec celui du signal IRM dans le gyrus frontal moyen lors d'une tache de calcul mental. La variation pupillaire est néanmoins assez complexe à mesurer car elle procède d'un délai plus élevé de réponse au signal (quelques millisecondes) que d'autres indices physiologiques . A noter que cette réaction de constriction/dilatation est de l'ordre de quelques dixièmes de millimètres, donc observable en laboratoire .

Une conférence très intéressante s'est tenue récemment sur le thème Eye tracking Emotion-Arousal - Pupil Dilatation (Uppsala, 27,28 mai 2010) . Les résultats de recherche montrent notamment, que la variation pupillaire relève d'une sémiologie corporelle constatable dès la petite enfance. Dans une étude des nourrissons de 4 mois et davantage, réagissaient à la pupillométrie lorsqu'on approchait de leur bouche une cuillerée alimentaire . Dans une autre expérience on présentait des clips d'acteurs manifestant des émotions, et on obtenait des dilatations pupillaires de la part des nourrirons âgés de 14 mois minimum... . Le prochain évènement scientifique sur ce sujet est la conférence qui aura lieu les 14 et 15 octobre à Lisbonne sur le thème: Eye tracking, Visual Cognition and Emotion. Tous ces travaux sont à suivre avec intérêt, ils participent d'approches originales dans le champ de la communication non verbale et multimodale qui questionnent les fonctionnements cognitifs, mais rompent un petit peu avec les approches de type robot .

Quelques références (lien)

Parution- Le signifiant gestuel: langues des signes et gestualité co-verbale

Jacques Cosnier nous annonce la parution d'une publication qui questionne l'aspect analogique du geste sous une thématique croisée "Le signifiant gestuel: langues des signes et gestualité co-verbale" . Il s'agit du numéro 5 des Cahiers de Linguistique Analogique ( Avril 2010), qui comprend les contributions suivantes:


J. Cosnier: La gestualité conversationnelle des entendants parlants
G. Calbris: Le geste co-verbal, un signe analogique
D. Boutet: Une morphologie de la gestualité: structuration articulatoire
J. Montredon: Espace-temps dans une culture aborigène australienne :une approche à partir d'un récit du temps du rêve et de l'expression gestuelle
G. Girou-Sylla : Description d'une langue des signes micro-communautaire . analyse lexicale du parler gestuel de Mbour (Senegal)
C. Cuxac : Langue des signes et gestuelle co-verbale : pour un programme commun de recherches .

Pour commander cette livraison, http://www.u-bourgogne.fr/ABELL/commande.php

Première université d'été pour le geste (Francfort)

La Société internationale d'études du geste (ISG) annonce sa première école d'été, qui se tiendra du 19 au 24 Juillet 2010, à l'Université européenne Viadrina Francfort , initiative financée par la Fondation Volkswagen . Elle se composera de conférences, de séminaire et présentations techniques sollicitant la contribution de chercheurs de premier plan . L'objectif est d'apporter une introduction aux approches théoriques et méthodologiques de l'étude des gestes. Les conférences porteront sur les fondements théoriques du geste dans les domaines suivants: psychologie du développement, psychologie sociale, psychologie cognitive, analyse conversationnelle, anthropologie linguistique, éthologie et communication multimodale. Parmi les conférenciers: Janet Bavelas , Susan Duncan , Susan Goldin-Meadow , Marianne Gullberg , Adam Kendon, Cornelia Mueller ...

Elle se tiendra juste avant la 4e Conférence de l'ISG : "geste, évolution, cerveau et structures linguistiques http://www.isgs2010.de/

gestes symboliques et langage, quelles intersections dans le cerveau ?

Quelles sont les relations qu’entretiennent dans le cerveau gestes et langage , et dans quelles régions du cerveau ces deux codes sont ils produits ? Ce genre de question intéresse le débat sur l’origine du langage, mais cela concerne aussi la fonction de communication des gestes . En supposant par exemple que nous stimulons par des gestes sémantiques des compétences linguistiques du cerveau, on peut alors penser qu'au niveau des processus mentaux , la parole peut être facilitée par les gestes (hypothèse de co-activation). Bien que l'étude suivante n'ait pas été conduite selon cette hypothèse, elle nous y ramène pourtant naturellement.

Avant de visualiser les phénomènes par des techniques de neuroimagerie (IRM), les auteurs ont sélectionné ce qu’ils ont nommé (par opposition aux gestes involontaires) des gestes « symboliques » : gestes de mimes d’actions et gestes emblèmes (ex. d'emblème: pouce dressé vers le haut en signe de perfection) . Puis ils ont testé les réactions engendrées dans le cerveau par les signaux gestuels et ils ont comparé ces réactions à celles que produisent les équivalents verbaux de ces gestes. Leur objectif étant de savoir quelles sont les aires du cerveau qui traitent ces informations .

Qu’en est-il des résultats ? Deux procédures doivent être distinguées.
1-  dans une première phase les stimuli visuels (geste) et acoustiques (parole) sont traités de manière bilatérale au niveau des zones supérieure et inférieure du gyrus temporal. Celui ci fait partie du lobe temporal ,capable de traiter simultanément des informations visuelles parallèlement à des signaux auditifs (par exemple reconnaître simultanément la voix plus l'expression du visage) . A l’arrivée des signaux , il procède à la caractérisation des stimuli: étape pré-sémantique de tri, d'extraction des caractéristiques saillantes et étiquetage . Cette étape précéde la construction conceptuelle du sens, qui se fera dans les aires du cerveau impliquées plus loin .


Cette figure montre en situation de reconnaissance initiale des stimuli, un modèle interconnecté qui sollicite les deux hémisphères du cerveau et compare des informations sensorielles multimodales

2- Dans le processus suivant , celui des représentations conceptuelles, les chercheurs observent que l’interprétation des stimulis reconnus par la première procédure, s’effectue dans des régions (frontale et postérieure) principalement latéralisées dans l’hémisphère gauche et non plus de type bilatéral . De ce fait, cette région habituellement identifiée comme noyau du système linguistique , pourrait être le nœud d'un plus large réseau sémantique alloué à l’interprétation de l’ensemble des langages symboliques : mots, images, gestes, sons, objets… Elle permet l’accès au stock en mémoire et l’intégration des signes, à des représentations sémantiques existantes.



Au stade du décodage sémantique,gestes et mots activent les mêmes aires de l'hémisphère gauche (frontale et postérieure)

Ces travaux rencontrent donc les thèses de structure cognitive commune au langage et aux gestes co-verbaux et convergent également avec les observations neuropsychologiques sur la gestuelle des malentendants . Des investigations précédentes montraient les connexions entre l'aire de Broca  et les aires motrices contrôlant la main : selon ce modèle le geste active une planification motrice qui stimule les concepts linguistiques. Par contre ces résultats ne doivent pas être généralisées à toutes les classes de gestes : gestes indépendants du langage et gestes involontaires , qui n'étaient pas testés ici. Dans un autre contexte on sait que l'IRM est en mesure d'apporter des informations sur les indices émotionnels éprouvés par le sujet .
En conclusion la thèse explorée en pédagogie et didactique des langues selon laquelle "nos mains nous aident à réfléchir" trouve ici des fondements théoriques intéressants pour la communication interpersonnelle.

références:
Symbolic gestures and spoken language are processed by a common neural system. http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2779203/pdf/zpq20664.pdf. Goldin-Meadow, Susan (2003). Hearing gesture: How our hands help us think. Cambridge, MA: Harvard University Press

voir également l'étude présentée plus bas dans ce blog : Que se passe-t-il dans le cerveau lorsqu'on fait des gestes ?

La Communication non verbale - 5e édition disponible

L'auteur examine de quelle manière certaines modalités corporelles (voix, regard, gestes, postures) peuvent renforcer, réguler, compléter ou contredire le langage. Il envisage les relations entre corps et émotions et les rapports du geste à la parole. Différents exemples de situations d'argumentation y sont également analysés à partir d'exemples médiatiques ou professionnels. Cet ouvrage est complété par des exercices intéressant les formations à la communication interpersonnelle .
La Communication non verbale - Comprendre les gestes : perception et signification . Guy Barrier. janvier 2010. 192 pages, 23 € . Paris : ESF Editeur . Collection Formation Permanente .
Consulter le sommaire

Expression faciale: recherches et projets d’A. Freitas-Magalhaes

Jacques Cosnier nous informe de la préparation d'un nouveau Manuel sur l'expression faciale intitulé "Handbook of Facial Expression - Theory,Assessment and Social Implications", à paraitre en décembre 2010. Cette initiative est proposée par A. Freitas-Magalhães, (université Fernando Pessoa) , auteur de plusieurs ouvrages sur l’epression faciale et les aspects interpersonnels du sourire , travaux dont on aura un aperçu sur sa page personnelle : http://freitas.socialpsychology.org/

L'appel à contribution est disponible sur ce lien:
http://www.socialpsychology.org/forums/listservcenter.htm?from=rss&view=1337

Intelligence artificielle et reconnaissance des émotions

Face Turn est une application issue des recherches en intelligence artificielle sur les avatars conversationnels. Le personnage est capable de modéliser plus de 30 expressions d'émotions, humeurs et états d'âmes (à sélectionner dans le menu déroulant) puis on peut visualiser les configurations de texture qui résultent de ces variations, en faisant pivoter sa tête ou en déclenchant un arrêt de l'image. Pour essayer cette application (aucun téléchargement requis):

http://www.faceturn.com/index.php


A signaler par ailleurs plusieurs conférences qui auront lieu sur le thème de la reconnaissance des affects en modalisation:le 3e workshop international sur les émotions
http://emotion-research.net/sigs/speech-sig/emotion-workshop

ainsi que la 3e conférence internationale sur les communications interpersonnelles homme-robot:
http://hrpr.liacs.nl/

Les émotions et la perception visuelle : comment lisons nous les indices expressifs du visage ?

Les expressions émotionnelles du visage sont-elles interprétées de manière différente en fonction de chaque culture ? Une étude anglaise relance la réflexion à propos de l’hypothèse darwinienne d’universalité , sur laquelle s’est appuyé P. Ekman . Plus exactement cette étude montre que certains filtres culturels peuvent modifier l’interprétation du récepteur . Ces constatations ont été faites à partir de tests eye tracking au cours desquels des sujets britaniques et chinois observaient des photos d’acteurs mimant les « émotions fondamentales » .

Le pistage du regard est effectivement, la méthode la plus adaptée pour contrôler les perceptions visuelles que des interlocuteurs peuvent avoir de nos gestes . Lors de tests que j’ai pu mener grâce au laboratoire Multicom, il apparaissait ceci : pour décoder une émotion (visage sur un écran) le regard du sujet percevant , procède à des allers-retours de quelques millisecondes entre le haut du visage considéré (sourcils, yeux , front ) et la zone inférieure (bouche, menton, joues) pour comprendre le contexte émotionnel . Les tables de fréquence montraient également que le nez de l’interlocuteur est une zone d’attention . Cet organe , le nez, n’offre pourtant a priori aucun intérêt du point de vue de l’expression faciale … Mais son emplacement au centre du visage, permet de d’apercevoir la bouche, les yeux et sourcils en vision parafovéale. La région nasale, au centre de gravité des indices visuels du visage, joue ainsi le rôle de point de transition d’un indice à l’autre lors des parcours oculaires .

Pour en revenir à l’étude mentionnée , elle permet de constater entre les européens et les asiatiques, des manières différentes de regarder le visage des acteurs . Chez les sujets européens , le regard « scanne » l'ensemble du visage, incluant la bouche, tandis que chez les sujets asiatiques il se focalise plutôt sur les éléments supérieurs du visage. En raison de cette lecture sélective des photos, les sujets asiatiques caractérisent avec plus d’erreurs que les sujets européens les expressions de peur et de dégout , qui impliquent beaucoup le bas du visage .

Cette recherche ne discute donc pas véritablement les théories relatives à l’expression universelle des émotions ; elle questionne plus exactement la perception universelle ou non, des émotions . On peut la rapprocher d'une autre étude interculturelle,qui montre que la reconnaissance émotionnelle est plus précise quand les sujets évaluent les affets visuels sur des sujets de même ethnie qu'eux (Koda & al.)

références: -Cultural Confusions Show that Facial Expressions Are Not Universal. Caldara & al. Current Biology, 19/18, 1543-1548, 2009.
-Gestes performatifs, expression faciale et partage attentionnel: analyse de la poursuite oculaire à partir d'une scène conversationnelle. Barrier, Sémiotica 152 (1/4), 217-233, 2004.
-Avatar culture: cross-cultural evaluations of avatar facial expressions.
http://mm-werkstatt.informatik.uni-augsburg.de/projects/cube-g/publications/pdf/koda_etal_aisoc2009.pdf