L’objectif
L’objectif est de reconnaître une activité et de la localiser dans le temps. Le CEA applique cette technologie dans le cadre du Smart Home où les cas d’usages sont diverses. En effet, la reconnaissance d’activités est utile à l’assistance des personnes âgées à domicile. Grâce à cette technologie, il est possible de repérer les activités quotidienne d’une personne. Le fait qu’elle ne fasse plus telle ou telle activité qui lui était habituelle peut dévoiler une perte d’autonomie. La reconnaissance d’activités est aussi utilisée dans un contexte de domotique pour améliorer le confort des habitants. Cela se traduit par une adaptation de l’ambiance lumineuse et sonore à l’activité de la personne.

La base de données utilisée
Le CEA a créé le dataset DAHLIA (Daily Home Life Activity) composé de vidéos où des personnes réalisent les sept activités suivantes : cuisiner, mettre la table, manger, débarrasser, faire le ménage, faire la vaisselle et travailler. Les vidéos ont étés enregistrées par trois caméras Kinect dans l’espace cuisine de la plateforme Mobile Mii. Le dataset DAHLIA est publique et téléchargeable à cette adresse : www-mobilemii.cea.fr

Les challenges
La principale difficulté liée à la reconnaissance d’activités est la grande variabilité pour réaliser une même activité. Par exemple, « cuisiner » est composé d’une multitude de sous-actions qui peuvent être réalisées dans un ordre différent d’une personne à une autre. Il est aussi possible de confondre certaines activités si la fenêtre temporelle d’observation n’est pas assez grande. C’est également difficile de délimiter strictement le début et la fin d’une activité. Enfin, nous souhaitons que la technologie développée soit indépendante du point de vue de la caméra pour être fonctionnelle dans n’importe quel appartement.

Solution proposée
Pour traiter ce problème, le CEA a mis en place l’algorithme DOHT qui permet de reconnaître l’activité des personnes dans la scène à partir de leurs mouvements. L’algorithme a besoin en entrée de l’estimation de la pose 3D de la personne à chaque instant. Le DOHT estime ensuite un score de confiance sur chaque classe d’activité selon les trajectoires des articulations du squelette observées sur une certaine fenêtre temporelle.
Le taux de reconnaissance du DOHT sur le dataset DAHLIA est de 70%.

La vidéo présente la reconnaissance d’activités appliquée au suivi des personnes à domicile.
En bas de la vidéo sont représentées les activités de la personne enregistrées pendant 28 minutes, il est possible de les visualiser en cliquant sur la barre temporelle.
L’utilisateur visualise alors la séquence avec les scores associés à chaque activités. Le score le plus élevé étant considéré comme l’activité réalisée.