Une téléphonie mobile et visuelle pour les malentendants

Mis au point par l'université de Washington, le logiciel MobileASL permet aux sourds muets de discuter en langage des signes sur leur téléphone mobile de façon plus interactive que par SMS. Ce système de communication vidéo permet aux deux interlocuteurs de se voir simultanément, grâce à la caméra et l'écran intégrés. Un verrou technique, celui de la bande passante et de la dégradation du signal , a pu être résolu par une partition de l'écran en zones d'intérêt prioritaire et secondaire.
Afin d'en arriver là, un système de capteurs a permis de remarquer que le regard des locuteurs, tandis qu'ils parlaient en langage des signes , était dirigé principalement vers le visage de leur interlocuteur (ce qu'on remarque d'ailleurs entre locuteurs non malentendants, cf. notamment les études eye tracking de Barrier, Caelen & al. ) .
Forts de ce constat , les auteurs de ce projet piloté par Eve Riskin , ont élaboré un dispositif qui restitue en haute résolution l'image des mains et du visage des interlocuteurs, alors que le reste de l'image est en basse résolution. Mais mieux encore , afin d'optimiser les performances de transmission des données, ils étudient un protocole qui affichera les mains des interlocuteurs en haute résolution seulement lorsqu'elles sont en mouvement, ceci afin d'économiser de la batterie.

Le rôle du geste dans l'apprentissage linguistique

Différents travaux francophones ont montré la fonction décisive du geste dans l'apprentissage d'une langue seconde. A l'international, les travaux de Goldin-Meadow à Chicago font également référence dans ce domaine . Un nouvel ouvrage aux Etats Unis est dédié à l'utilisation et la compréhension du geste comme aspect de la communication , et montre l'importance des indices gestuels lors de l'acquisition langagière, aussi bien en situation classe qu'en situation réelle, par exemple lorsqu'on sollicite le renfort de l'image mentale pour lever une ambiguité en cas de difficulté lexicale.

Cet ouvrage de 304 pages est disponible notamment sur les boutiques d'ouvrage en ligne, aux alentours de 36 euros.

Gesture: Second Language Acquisition and Classroom Research. Steven G. McCafferty and Gale Stam . 2008 New York.Routledge

3eme Workshop français sur les Agents Conversationnels Animes

L'objectif du workshop WACA'2008 (PARIS 27 - 28 novembre 2008 ) est de recenser et de reunir les travaux deja en cours sur les ACA afin que les chercheurs des trois communautes scientifiques concernees puissent echanger leurs outils et leurs methodes. Les soumissions d'articles sur les thèmes particulièrement émergents de "Agents Rationnels & Emotionnels" et "Agents Sociaux" sont encouragées. Les themes suggérés couvrent cependant l'essentiel du domaine :

Modeles :

- Representation des connaissances et raisonnement des agents, - Interaction multimodale,

- Emotion et communication

- Systemes conversationnels

Architectures et Outils :

- Architectures logicielles pour le deploiement des agents dans les applications,

- Architectures d'integration des modalites necessaires aux agents, - Architectures et technologies d'animation des agents

Applications et Evaluations :

- Methodologies d'evaluation

- Construction et traitement de corpus d'interactions

- Plateformes d'experimentation

- Applications et retours d'experience

WACA'2008 est co-organise par les laboratoires LIMSI-CNRS et LIP6.

Le sens de la danse. Urbino (14 septembre 08)

Le sens de la danse - Dance research et pratiques transmediales -

Discours de la danse, analyse textuelle, notation, sont autant de mots-clé de ce colloque. Dans beaucoup de danses contemporaines , il semble que le moment du spectacle vivant ne soit pas tellement différent du spectacle de danse technologiquement réalisé dans ses diverses déclinations vidéos ou digitales. Cela remet en jeu des notions telles que énonciation et énoncé, à partir de corps mouvants " lourds ", ou bien " légers ", virtuels et technologiques. Parmi la multitude de visions du corps proposées par la danse, il y a notamment celle d’un corps contenant des identités et porteur de subjectivités même multiples, mais il y a aussi celle d’un corps qui est essentiellement substance somatique du mouvement, caractérisée par la plasticité figurale, altérable et souvent altérée quand elle rencontre les technologies manipulatoires .
Notre intention est celle d’ouvrir ce colloque aux contributions de différentes disciplines dans le but quelle puissent se confronter sur ces thèmes essentiels pour la recherche sémiotique contemporaine. Les recherches anthropologique, aussi bien que celles dans les differents domaines de la danse et des média, pourront nous aider à aller plus au fond dans l’exploration des textes chorégraphiques, essentiellement syncrétiques et poli-sensoriels, en mettant en évidence leurs relations sémiotiques et intersémiotiques ; ce qui permettra de définir chaque fois, pour chacun d’eux, le sens de la danse.

Centro Internazionale di Semiotica e LinguisticaUniversità degli Studi di Urbino "Carlo Bo" 14 septembre 2008. Coordinateurs: Nicola Dusi (Università di Modena e Reggio Emilia), Cristina Righi (Università di Bologna), Kathleen Delaney (ATCA, Amsterdam)

La langue des signes sera enseignée à l'école dès la rentrée

Pour la première fois cette année, 200 lycéens, malentendants ou non, présentent à l’oral du baccalauréat l’épreuve facultative «langue des signes. La langue des signes française (LSF) sera désormais enseignée aux élèves sourds des écoles maternelles et élémentaires dont les parents auront fait le choix d'un enseignement en mode bilingue (français et LSF).

une courte vidéo: http://www.leparisien.fr/home/info/vivremieux/articles/LA-LANGUE-DES-SIGNES-VA-S-APPRENDRE-A-L-ECOLE_298561309

Congrès : geste, concrétisation et abstraction (Stuttgart, oct 08)

Jacques Cosnier nous signale l'appel à contributions du 12e congrès interational de la société allemande de sémiotique German Society for Semiotics sur le thème: "le concret comme signe" à Stuttgart, du 9 au 12 octobre 08. http://www.linguistlist.org/issues/19/19-1566.html

Presentations des journées Apogeste

Les diaporamas des communications des premières journées d'étude APOGESTE (Paris, salle INRIA Montparnasse 22-23 mai 08) commencent à être consultables sur le site du groupe de travail, sous la rubrique "Archives des premières journées d'étude APOGESTE ". Le thème général de ces journées portait sur les méthodes d'annotation gestuelle dans l'analyse des données multimodales , et les effets attentionnels des gestes.

http://www.apogeste.cafewiki.org/

Parutions récentes

Geneviève Calbris nous signale la parution d'un article qu'elle a publié dans la revue Mots : "La tête de Nicolas Sarkozy, ou les fonctions des gestes de la tête durant l'énonciation". Cet article a pour but de montrer que les fonctions communicatives et énonciatives généralement effectuées au sein de la parole par l’ensemble des mouvements du corps peuvent l’être par les seuls mouvements de tête. Autrement dit, la communication non verbale visuelle passe déjà en gros plan. Cet article traite de la fonction référentielle des mouvements de la tête analogue à celle des mouvements des bras, observés lors d'une interview télévisée. Mots: Les langages du politique 86: 99-118 . Site de la revue :

http://icar.univ-lyon2.fr/revue_mots/

Genevieve Calbris nous signale également la parution de "Metaphor and Gesture" chez Benjamins, auquel a également participé Jacques Montredon :

http://www.benjamins.com/cgi-bin/t_bookview.cgi?bookid=GS%20
et dans l'année, la parution d'un nouveau numéro de la revue Cahiers de Linguistique Analogique consacré à "Gestuelle co-verbale et langue des signes", ed Christian Cuxac & Dominique Boutet

Premières journées d'étude APOGESTE

Le programme APOGESTE (Attention portée aux gestes) est un projet francophone soutenu par l'ISCC du CNRS. Les premières journées d'études du groupe de travail auront lieu les 22 et 23 mai 2008 à Paris. Au programme de ces journées:
Jeudi 22 mai 2008 -
14h Un exemple de corpus multimodal : une base de données de gestes conventionnels chez le jeune enfant, discussion autour de quelques pistes d'analyse", Michelle Guidetti
14h45 L’annotation gestuelle au service de l’étude du développement du langage : des objectifs aux options méthodologiques , Jean-Marc Colletta
15h30 Le CID: un corpus multimodal en construction Gaëlle Ferré
16h30 Corpus vidéo pour l'étude de l'expression et de la perception multimodale des émotions , Jean-Claude Martin
17h15 Gestes chirurgicaux : vers un lexique sémantique , Jean Caelen
Vendredi 23 mai 2008 -
9h30 Amplitude et intensité du geste: quels effets?, Guy Barrier
10h15 L'attention portée au geste : quand ça cafouille , Marion Tellier, Claire Maury-Rouan
11h-11h30 Premiers résultats d'une base de données du lexique de la LSF : physiologie et structuration formelles des signes , Dominique Boutet
12h15 Représentation des caractéristiques gestuelles pour un agent conversationnel animé, Catherine Pelachaud

contact: pelachaud@iut.univ-paris8.fr ou barrier.g@aliceadsl.fr

Une approche de modélisation gestuelle originale à l'université de Rennes

Au sein du laboratoire LPBEM (Laboratoire de physiologie et de biomécanique de l'exercice musculaire) , Franck Multon propose des travaux originaux sur la modélisation et la simulation du mouvement humain. Parmi les expériences en cours l'une d'entre elles portant sur le sur le comportement de foule, consiste grâce à des marqueurs à enregistrer la démarche et le comportement d'un groupe de piétons.

http://www.irisa.fr/activites/new/007/simulationmouvementhumain

Article scientifique relatif:

http://robea2006.robot.jussieu.fr/actes/sgibet-HuGEx.pdf

Du même laboratoire: quand les chercheurs modélisent les mouvements de sportifs:

http://www.espace-sciences.org/jsp/fiche_article.jsp?STNAV=&RUBNAV=&CODE=1190726045215&LANGUE=0&RH=MAGAZINE

Etude sur la perception des gestes de personnages virtuels

Ce mémoire de Maîtrise de Psychologie réalisé par Fabien BAJEOT sous la direction de Marion Wolff (Laboratoire d’Ergonomie Informatique) et de Stéphanie Buisine (LIMSI-CNRS) avait pour objectif de tester l’influence du comportement verbal et non verbal d’Agents Conversationnels Animés sur la qualité de la communication. Trois exposés techniques (concernant un logiciel, une télécommande et un photocopieur) présentés par 3 Agents différents utilisant 3 stratégies multimodales différentes ont été soumis à des étudiants. Ces 3 stratégies étaient relatives à:
• la redondance : répétition d’informations entre la parole et les gestes des
mains ;
• la complémentarité : chaque modalité produit une partie du message et les éléments doivent être fusionnés pour être compris ;
• la spécialisation par la parole : toutes les informations sont produites par une seule modalité (parole).
Les variables mesurées étaient une tâche de rappel (graphique et écrit) et des variables subjectives (qualité des explications, évaluation de la sympathie et de l’expressivité des agents). De même, un test de personnalité (EPI) a été administré en fin de séance afin de connaître la personnalité des sujets.

Lien vers le document:

http://www.limsi.fr/Individu/buisine/publis/Memoire-Fabien-Bajeot.pdf

Nice Gesture, un portail sur l'étude du geste

Jeroen Arandsen, chercheur à l'université néerlandaise de Delft , propose un site très bien documenté à propos des problématiques gestuelles. On y trouvera des ressources dans des domaines tels que l'utilisation du geste dans le graphisme, les modes de l'éloquence corporelle, la danse, les langages signés, les indices émotionnels, le geste technique, la gestuelle des politiques, et une foule de thématiques tout aussi passionnantes. Un espace de réflexion original renseigné et illustré avec talent , à découvrir sans attendre:

http://jeroenarendsen.nl/category/gesture-semiotics/

Wiksign,un nouveau dictionnaire en LSF interactif et collaboratif

Wiksign est né dans l'espoir de rendre la LSF -Langue des Signes Française- accessible sur Internet, et de permettre aux personnes intéressées de trouver les signes qu'elles recherchent. Ce dictionnaire interactif est donc améliorable en continu par ses visiteurs , il comporte des illustrations et descriptions associées, afin d'avoir une perception précise du signe dans tous ses détails . Certains conseils mnémotechniques permettent également de mieux retenir les signes, une section "ne pas confondre" permet de distinguer des formes contigues. ) La fonction zoom permet également de visualiser les configurations de mains . Enfin, MultiDico permet de faire des recherches transversales sur un signe ou de comparer les différentes façons de le signer . Enfin ce wiki dont l'initiative mérite fortement d'être saluée, comporte une liste de liens relatifs aux langues signées. Suivre le lien: http://www.wiksign.org/

Rappelons également l'existence de l'excellent portail :http://asso.proxiland.fr/sitcom/default.asp?a=592

La production de la parole , Alain Marchal (Lavoisier éditions)

Quoi de plus simple et de plus facile aparemment que de parler. Et pourtant: il n’existe pas d’organe spécifique dédié à cette tâche. L’homme, pour parler, emprunte l’usage de systèmes biologiques et physiologiques dont la fonction première est toute autre : assurer la respiration (poumons,
trachée, larynx, voies aériennes supérieures), permettre l’absorption et la mastication des aliments (lèvres, dents, langue) et assurer la déglutition (pharynx, épiglotte). Sont mobilisés pour la production des voyelles, des consonnes et de la prosodie plus de 200 muscles.
Cet ouvrage offre une vision pluridisciplinaire de la parole qui va de l’anatomie à la linguistique. Il montre de manière complète et accessible comment les possibilités phoniques de l’homme sont exploitées par les langues du monde.
Alain Marchal, directeur de recherche au CNRS, est un spécialiste de la production de la parole. Ses travaux portent à la fois sur la mise au point de nouvelles méthodes d’observation de l’activité linguale et sur l’étude comparée des phénomènes de coarticulation dans plusieurs langues.
60 euros • 256 pages • 16 x 24 • 2007 • ISBN : 978-2-7462-1830-7

Le flou des marques du discours est-il un inconvénient ? Vers la notion de "leurre discursif"

L’approche linguistique des discours oraux observés au sein de l’interaction amène à s’interroger sur l’interprétation fonctionnelle de certaines formes et configurations verbales, notamment dans le cas de certaines formes d’auto-corrections, autoreformulations et approximations successives, ou encore devant les occurrences de particules ou connecteurs comme enfin, bon, quoi, alors, ben.. « petits mots » du discours dont le caractère sémantiquement flou et polyfonctionnel a été souligné par la plupart des descripteurs, quel que soit le type de corpus ou le point de vue adopté. En effet, les locuteurs semblent avoir recours à ce même ces mêmes formes alors même qu’ils construisent des activités langagières bien différentes : typiquement, on trouvera les auto-reformulations, ou les « petits mots » déjà évoqués aussi bien comme éléments du maillage de l’organisation discursive que comme marques explicites des articulations de l’interaction ; on va voir que ces mêmes formes se retrouvent au service de démarches interactives d’amadouage développées dans la co-construction du sens, la modulation et l’hypocorrection ; elles peuvent enfin constituer les symptômes d’authentiques phases de difficulté de mise en mots traversées par le locuteur.
L’évocation, même incomplète, de l’éparpillement de ces emplois conforte, dans le cas des « petits mots », une réputation d’éléments linguistiques difficiles à cerner et rebelles aux tentatives de classement. lire la suite:

http://www.cairn.info/resume.php?ID_ARTICLE=SM_056_0043

Un article de Claire Maury-Rouan à (re)découvrir. Source: Marges Linguistiques -

Espace, interaction, discours : 12-14 nov. 2008 (Aalbord, Danemark)

Un champ émergent et interdisciplinaire est l'étude de la manière dont les acteurs réels ou virtuels interagissent et coordonnent leurs activités dans des environnements multimodaux. Cette conférence internationale restimule les problématiques de la proxémie , de la médiation de l'espace , du mouvement et du corps dans les interactions.

Plus d'information:

http://www.placeme.hum.aau.dk/conf2008

Corpus et recherches sur les émotions et les affects

"Corpus et recherches sur les émotions et les affects" est le thème d'un journée de travail organisée en workhop le 26 mai 2008 à Marrakech en liaison avec la 5ème Conférence Internationale : Langue Ressources et Évaluation . en savoir plus:

http://emotion-research.net/workshops_folder/workshop.2006-03-10

Corporéité multimodale, des modèles d'interaction aux applicatifs

Tel est le thème d'un workshop organisé le 27 May 2008 à Marrakech .

en savoir plus: http://www.lrec-conf.org/lrec2008/

Langue des sourds: le projet Websign

L'école Supérieure des Sciences et Techniques de Tunis est l'auteur d'un logiciel de traduction de la langue parlée vers la langue des signes tunisienne qui permet de visualiser les signes traduits par l'intermédiaire d'un avatar. Par exemple un e-mail peut être écrit en langue naturelle et sera visualisé sous forme gestuelle par son destinataire . L'originalité de l'approche tunisienne est de faire appel à l'usage afin de recenser par le web et de façon collaborative, des formes gestuelles idiosyncrasiques appartenant à des micro communautés linguistiques . De fait l'administrateur des forums qui est un expert, joue un rôle normatif de validation ou rejet des signes qui lui sont proposés avant de les intégrer dans le répertoire relatif. Une autre application permet d'adresser des messages sous forme visuelle soit sur un salon de chat, soit vers un écran de téléphone portable, ce qui permet une accessibilité aux signeurs analphabète.
Certains d'entre nous se demandent comment apprendre en ligne la langue des signes. L'offre est multiforme car cette formation est un marché à part entière. Rares sont les sites comme http://mellerin.free.fr/ qui proposent un enseignement non payant avec de nombreuses illustrations , ainsi qu'un chat avec webcam, un dictionnaire et de nombreuses ressources. Une excellente adresse .

Empathie et agents relationnels

magalie.ochs@free.fr nous annonce la soutenance de sa thèse intitulée "Modélisation, formalisation et mise en œuvre d'un agent rationnel dialoguant émotionnel empathique"le 7 décembre 07 à Issy les Moulineaux.

Plusieurs recherches récentes tendent à montrer que les agents virtuels capables d'exprimer des émotions d'empathie permettent d'améliorer l'interaction humain-machine. De tels agents doivent connaître dans quelles circonstances quelles émotions peuvent apparaître durant l'interaction. Pour ce faire, une analyse exploratoire de situations de dialogues réels humain-machine ayant amené l'utilisateur à exprimer des émotions a été réalisée. Les résultats obtenus ont été examinés à la lumière des descriptions théoriques des émotions en psychologie cognitive afin d'identifier les types d'émotions pouvant apparaître durant un dialogue humain-machine et leurs conditions de déclenchement. A partir de ces informations un modèle formel des émotions d'un agent rationnel dialoguant a été construit. Les émotions y sont définies par leurs conditions de déclenchement représentées par des états mentaux particuliers, i.e. des combinaisons de croyances, d'incertitudes et d'intentions. L'intensité de ces émotions est calculée à partir de ces mêmes attitudes mentales. Cette formalisation permet à un agent rationnel dialoguant de déterminer dans une situation donnée l'émotion d'empathie qu'il devrait exprimer. Ce modèle formel d'émotions a été implémenté sous la forme d'un module de gestion des émotions pour des agents rationnels dialoguants. Une évaluation auprès d'un panel de personnes a permis de mettre en évidence l'amélioration de la perception qu'a l'utilisateur de l'agent lorsque celui-ci exprime des émotions d'empathie.