previous arrownext arrow
Localisation en environnement inconnu


Objectif
Le but est de localiser en temps réel un système dans un environnement inconnu, sans aucun a priori ni instrumentation, en extérieur et en intérieur.


Système et méthode
Système multi-caméras, capteur inertiel et GPS + algorithme MSCKF pour assurer une localisation indoor/outdoor en temps réel en environnement inconnu et sans GPS, couplé à un algorithme SLAM pour la reconstruction 3D de l’environnement.






















Localisation robuste en environnementconnu

LOCALISATION INDOOR / OUTDOOR






















Localisation d'objets 3D dans un nuage de points


Objectif
L'objectif est de trouver une ou plusieurs instances d'un ou plusieurs objet(s) connu(s) dans une scène inconnue capturée par un capteur 3D.


Les applications

  • Saisie robotique d'objets
  • Dévracage, dépalettisation
  • Contrôle de défauts


Les challenges
Les principales difficultés de la localisation 3D sont de garantir des temps de cycles rapides tout en préservant la robustesse du processus (fiabilité supérieure à 99% - toute erreur entrainant un arrêt de ligne industrielle). Le fort niveau de bruit des capteurs 3D, ainsi que les caractéristiques physiques des pièces industrielles (absence de texture, spécularités…) rendent cette robustesse d'autant plus difficile à garantir.


Solution proposée
Pour traiter ce problème, le CEA a mis en place une chaîne algorithmique basée sur un nouveau descripteur de forme locale ainsi qu'une analyse de poses multi-dimensionnelles, le tout faisant l'objet de plusieurs brevets. Cette chaîne est accélérée sur GPU pour garantir des temps de cycles optimaux.
Cette solution est déployée en industrie par le partenaire TRIDIMEO.


Travaux en cours
Les travaus en cours s'articulent autour des pièces essentiellement symétriques ainsi que de l'intégration avec des approches de préhension robotique pluridigitales.

Détection automatique de ruptures de symétries





Amélioration du temps de calcul par rapport aux approches existantes pour différentes tailles de nuages de points


recalage sur nuage de points peu dense




Recalage sur nuage de points moyennement dense




Recalage sur nuage de points très dense




Accélération du raffinement



Localisation et suivi d'objet 3D dans une image



Le CEA LIST s'intéresse à la problématique de localisation et de suivi d'objet 3D temps réel, c'est à dire à l'estimation de la position 3D et de l'orientation 3D d'un objet connu a priori.


Dans ce contexte, les études menées s'intéressent particulièrement aux problématiques suivantes:
- la localisation et le suivi d'un objet avec le maillage 3D de ce dernier pour seule connaissance a priori disponible;
- la localisation et le suivi d'un objet partiellement visible ( occultations, objet plus large que le champ de la caméra)
- la localisation et le suivi d'objets complexes (eg. moteur d'avion, ...)
- la localisation d'objet de grand volume (eg. localisation par rapport au modèle 3D d'une usine)
- l’estimation de la configuration 3D d’un objet (eg. position des parties mobiles de l’objet)


Les approches étudiées couvrent à la fois les approches dites géométriques (model-based tracking, SLAM contraint à un modèle 3D), les approches basées sur l’apprentissage (deep learning), mais aussi la combinaison de ces deux types d'approches.


Domaines d’application: Robotique guidée par vision, Réalité Augmentée






















Contrôle de défauts



Contrôle en ligne sur chaine de production






















Imagerie Multispectrale























Reconstruction 3D























GCN: Generative Collaborative Networks


Développement d'un nouveau framework pour la génération de données utilisant l’apprentissage de réseaux de neurones profonds


Ce framework qui porte le nom de GCN pour Generative Collaborative Networks permet de généraliser les méthodes existantes pour le problème d’apprentissage d’un mapping entre deux domaines (approches génératives). Ce problème est particulièrement dépendant du choix de la fonction de coût.


L’idée du framework GCN est de réaliser l'optimisation du mapping dans l'espace des caractéristiques d'un autre réseau dont le rôle est justement d’extraire des caractéristiques pertinentes. En pratique, ce framework consiste à proposer une fonction de coût qui combine deux réseaux qui collaborent mutuellement, c’est-à-dire un réseau qui construit les caractéristiques et le réseau principal qui apprend le mapping désiré en utilisant ces caractéristiques.


Nous avons montré, dans le cas particulier du problème de la super résolution d’image [Seddik20], qu’apprendre mutuellement ces deux réseaux est une stratégie très efficace qui surpasse les méthodes existantes. Plus généralement, le cadre du GCN offre une vision globale de la grande variété des fonctions de coût utilisées dans la littérature sur les problèmes d'apprentissage pour la génération de données (la super-résolution, la complétion d’images, le transfert de style artistique, etc.).


Il est important de noter que l’apport de ce framework est accentué dans le cas où l’on a peu de données d’apprentissage ou que le domaine des données adressé est bien différent du domaine des bases de données standards (e.g. ImageNet).


Par conséquent, l’apport du GCN semble naturel dans les contextes industriels pour lesquels nous disposons généralement de peu de données et d’apparences très spécifiques.



Référence :
[Seddik20] Seddik, MEA, Tamaazousti, M., & Lin, J. “Generative collaborative networks for single image super-resolution”, Neurocomputing Volume 398, 20 July 2020, Pages 293-303

Compression des réseaux de neurones

Les algorithmes d’apprentissage profond basés sur l’implémentation des réseaux de neurones artificiels ont démontré leurs performances exceptionnelles à traiter différents problèmes d’apprentissage machine en particulier dans le domaine de vision par ordinateur (classification d’images, détection d’objets, segmentation).


Ces algorithmes apprennent à partir d’une base de données d’apprentissage un ensemble de millions voire de milliards de paramètres, rendant ainsi leur implémentation sur des unités de calcul faibles en ressources (stockage et computationnelles) une étape particulièrement critique.


En revanche, plusieurs techniques de compression de ces réseaux ont été développées dans la littérature afin de les rendre implémentable sur de telles unités embarquées. Ces techniques se décomposent en deux familles qui se basent soit sur des méthodes de sparsification, soit sur des techniques de réduction de dimensions (pour les réseaux denses).


Nous avons développé une nouvelle méthode de compression basée sur une approche non-supervisée de réduction de dimension dont le brevet est en cours de dépôt.

previous arrowprevious arrow
next arrownext arrow
Slider