PlugIt "Animation lip sync"

Le PlugIT Animation lip sync permet de restituer les animations labiales (mouvement des lèvres et de la langue) d'un personnage virtuel de manière cohérente par rapport à la teneur sonore de son discours. Il se base sur le concept de "visème" ("visual phoneme"), concept qui correspond à la position de l'ensemble lèvre/langue/machoire lors de la prononciation d'un phonème, une même visème pouvant être utilisé par plusieurs phonèmes (par exemple, "M", "B" et "P" provoquent les même mouvements labiaux en Anglais).

	Paramètres
1	Indique le temps que mettra une animation de visème pour passer d'un poids "0" à un poids "1". Si le personnage parle rapidement, il peut être necessaire de baisser ce paramètre (et inversement, le monter s'il parle rapidement).
2	Sélection du jeu de visèmes. Seul le jeu de visèmes Anglaises est disponible à l'heure actuelle (mais il suffit en général à obtenir un effet convaincant même pour un autre langue). Ce jeu de visème est composé de 21 visèmes, et d'une animation de référence nommée "silence" (animation "au repos"). Il est à noter qu'il est possible d'ajouter un jeu de visème spécifique (autre langue par example) en éditant le fichier "visemelist.pkg".
3	Tableau des associations visèmes/animations. Sélectionnez ici l'animation de type pose qui correspond à la position des lèvres de votre personnage pour un visème donné.

	Action
Inject viseme	Indique au module de synchronisation labiale qu'il doit jouer l'animation correspondant au visème donné en paramètre. Ce dernier correspond au numéro du visème (c'est le numéro suivant le préfixe "VIS_"). Le jeu de visème Anglais est configuré par défaut pour être compatible avec les informations de visème fournies en sortie du PlugIt "Speech".

Informations complémentaires concernant les visèmes.

Il serait complexe pour les animateurs 3D de modéliser l’ensemble des visèmes, et partiellement inutile du fait que certaines visèmes ont un aspect visuel très proches les unes des autres (par exemple, "VIS_15" et "VIS_17" pour l'Anglais).

Il est donc d’usage de n’utiliser que 10 animations (en comptant celle pour le "silence") comme cela se fait dans les dessins animés par exemple, et de faire correspondre la liste des 21 visèmes en entrée à cette liste réduite d'animations. Le tableau suivant illustre les poses labiales de ces 10 animations (nommées arbitrairement de "ANIM_0" à "ANIM_9"):

Nom de l'animation	Visualisation (réaliste/cartoon)
ANIM_0
ANIM_1
ANIM_2
ANIM_3
ANIM_4
ANIM_5
ANIM_6
ANIM_7
ANIM_8
ANIM_9

Enfin, voici un tableau qui permets d'associer nos 10 animations de référence aux 22 visèmes (21 plus le silence) Anglaises. Pour un meilleur résultat, n'hésitez pas à modifier une ou plusieurs des associations selon le modèle 3D. La liste disponible ci-dessous n'est pas figée, elle est fournie à titre indicative, et vous permets d'avoir une synchronisation labiale générique à partir de cette liste restreinte de 10 animations.

Code visème	Code animation
VIS_0	ANIM_0
VIS_1	ANIM_1
VIS_2	ANIM_1
VIS_3	ANIM_3
VIS_4	ANIM_2
VIS_5	ANIM_2
VIS_6	ANIM_1
VIS_7	ANIM_6
VIS_8	ANIM_3
VIS_9	ANIM_3
VIS_10	ANIM_6
VIS_11	ANIM_1
VIS_12	ANIM_5
VIS_13	ANIM_5
VIS_14	ANIM_8
VIS_15	ANIM_5
VIS_16	ANIM_5
VIS_17	ANIM_5
VIS_18	ANIM_9
VIS_19	ANIM_5
VIS_20	ANIM_5
VIS_21	ANIM_7