Localisation en environnement inconnu
Garantir une localisation précise d’une personne, d’un robot ou d’un drone, en temps réel, dans un environnement inconnu, avec ou sans GPS, en indoor comme en outdoor, et sans aucun équipement extérieur au système porté, exige la mise en œuvre de plusieurs technologies performantes.
Nous travaillons activement à développer ces technologies, et apporter de nouvelles innovations, en particulier sur les domaines suivant :
- La fusion de capteurs : Caméras, centrale inertielle, magnétomètre, odomètre, GPS, LIDAR… nous disposons en particulier de deux algorithmes majeurs développés en interne, SLAM multi-capteurs et MSCKF.
- La reconnaissance de lieux, notamment pour déployer une fermeture de boucle efficace
- L’analyse sémantique de scènes couplée aux algorithmes de vision pour en accroître la robustesse
Nous disposons aujourd’hui de systèmes composés de 1 à 4 caméras couplées à une centrale inertielle et permettant un suivi de la localisation à 30Hz, pouvant être aisément porté par une personne ou intégrés sur un robot mobile ou un drone, et assurant une précision de 0,01% (mesure de la dérive par rapport à la distance parcourue).
En associant ces méthodes à des techniques de reconstruction 3D, enrichies de l’analyse sémantique, nous pouvons également fournir des cartographies des sites ainsi visités.
Localisation robuste en environnement connu
Les systèmes de localisation dans des environnements pour lesquels une cartographie, un modèle BIM ou encore un plan 2D peuvent être disponibles, permettre de développer, entre autres, des systèmes de guidage dans cet environnement, ou encore de référencer et géolocaliser des relevés (inspections, mesures de gaz ou radiométriques…).
Nous développons de telles applications, opérationnelles sur de grands environnements et nous appuyons sur nos résultats de recherche pour en accroître sans cesse les performances en précision et en robustesse
Localisation d'objets 3D dans un nuage de points
Objectif
L'objectif est de trouver une ou plusieurs instances d'un ou plusieurs objet(s) connu(s) dans une scène inconnue capturée par un capteur 3D.
Les applications
- Saisie robotique d'objets
- Dévracage, dépalettisation
- Contrôle de défauts
Les challenges
Les principales difficultés de la localisation 3D sont de garantir des temps de cycles rapides tout en préservant la robustesse du processus (fiabilité supérieure à 99% - toute erreur entrainant un arrêt de ligne industrielle). Le fort niveau de bruit des capteurs 3D, ainsi que les caractéristiques physiques des pièces industrielles (absence de texture, spécularités…) rendent cette robustesse d'autant plus difficile à garantir.
Solution proposée
Pour traiter ce problème, le CEA a mis en place une chaîne algorithmique basée sur un nouveau descripteur de forme locale ainsi qu'une analyse de poses multi-dimensionnelles, le tout faisant l'objet de plusieurs brevets. Cette chaîne est accélérée sur GPU pour garantir des temps de cycles optimaux.
Cette solution est déployée en industrie par le partenaire TRIDIMEO.
Travaux en cours
Les travaus en cours s'articulent autour des pièces essentiellement symétriques ainsi que de l'intégration avec des approches de préhension robotique pluridigitales.
Détection automatique de ruptures de symétries
Amélioration du temps de calcul par rapport aux approches existantes pour différentes tailles de nuages de points
recalage sur nuage de points peu dense
Recalage sur nuage de points moyennement dense
Recalage sur nuage de points très dense
Accélération du raffinement
Localisation et suivi d'objet 3D dans une image
Le CEA LIST s'intéresse à la problématique de localisation et de suivi d'objet 3D temps réel, c'est à dire à l'estimation de la position 3D et de l'orientation 3D d'un objet connu a priori.
Dans ce contexte, les études menées s'intéressent particulièrement aux problématiques suivantes:
- la localisation et le suivi d'un objet avec le maillage 3D de ce dernier pour seule connaissance a priori disponible;
- la localisation et le suivi d'un objet partiellement visible ( occultations, objet plus large que le champ de la caméra)
- la localisation et le suivi d'objets complexes (eg. moteur d'avion, ...)
- la localisation d'objet de grand volume (eg. localisation par rapport au modèle 3D d'une usine)
- l’estimation de la configuration 3D d’un objet (eg. position des parties mobiles de l’objet)
Les approches étudiées couvrent à la fois les approches dites géométriques (model-based tracking, SLAM contraint à un modèle 3D), les approches basées sur l’apprentissage (deep learning), mais aussi la combinaison de ces deux types d'approches.
Domaines d’application: Robotique guidée par vision, Réalité Augmentée
Contrôle de conformité
Contrôle en ligne sur chaine de production
Imagerie Multispectrale
L’imagerie multispectrale permet de disposer d’images dont les couleurs sont mieux caractérisées grâce à une définition plus fine que les 3 seules bandes Rouge / Vert / Bleu.
Les caméras aujourd’hui disponibles dans l’industrie proposent une vingtaine de bandes spectrales, dans le visible ou l’infrarouge, ce qui permet des observations plus précises des composantes colorimétriques d’une scène et ouvre la porte à des applications plus performantes sans accroître excessivement le coût du capteur par rapport à une caméra couleur classique à 3 bandes.
Nous avons en particulier développé une méthode de complétion d’images tirant profit de ces capteurs [Bousefsaf18].
[Bousefsaf18] F. Bousefsaf, M. Tamaazousti, S.H. Said, R. Michel, Image completion using multispectral imaging, IET Image Processing, 12(7), June 2018, pp. 1164– 1174.
Reconstruction 3D de scènes et d'objets
GCN: Generative Collaborative Networks
Développement d'un nouveau framework pour la génération de données utilisant l’apprentissage de réseaux de neurones profonds
Ce framework qui porte le nom de GCN pour Generative Collaborative Networks permet de généraliser les méthodes existantes pour le problème d’apprentissage d’un mapping entre deux domaines (approches génératives). Ce problème est particulièrement dépendant du choix de la fonction de coût.
L’idée du framework GCN est de réaliser l'optimisation du mapping dans l'espace des caractéristiques d'un autre réseau dont le rôle est justement d’extraire des caractéristiques pertinentes. En pratique, ce framework consiste à proposer une fonction de coût qui combine deux réseaux qui collaborent mutuellement, c’est-à-dire un réseau qui construit les caractéristiques et le réseau principal qui apprend le mapping désiré en utilisant ces caractéristiques.
Nous avons montré, dans le cas particulier du problème de la super résolution d’image [Seddik20], qu’apprendre mutuellement ces deux réseaux est une stratégie très efficace qui surpasse les méthodes existantes. Plus généralement, le cadre du GCN offre une vision globale de la grande variété des fonctions de coût utilisées dans la littérature sur les problèmes d'apprentissage pour la génération de données (la super-résolution, la complétion d’images, le transfert de style artistique, etc.).
Il est important de noter que l’apport de ce framework est accentué dans le cas où l’on a peu de données d’apprentissage ou que le domaine des données adressé est bien différent du domaine des bases de données standards (e.g. ImageNet).
Par conséquent, l’apport du GCN semble naturel dans les contextes industriels pour lesquels nous disposons généralement de peu de données et d’apparences très spécifiques.
Référence :
[Seddik20] Seddik, MEA, Tamaazousti, M., & Lin, J. “Generative collaborative networks for single image super-resolution”, Neurocomputing Volume 398, 20 July 2020, Pages 293-303
Compression des réseaux de neurones
Les algorithmes d’apprentissage profond basés sur l’implémentation des réseaux de neurones artificiels ont démontré leurs performances exceptionnelles à traiter différents problèmes d’apprentissage machine en particulier dans le domaine de vision par ordinateur (classification d’images, détection d’objets, segmentation).
Ces algorithmes apprennent à partir d’une base de données d’apprentissage un ensemble de millions voire de milliards de paramètres, rendant ainsi leur implémentation sur des unités de calcul faibles en ressources (stockage et computationnelles) une étape particulièrement critique.
En revanche, plusieurs techniques de compression de ces réseaux ont été développées dans la littérature afin de les rendre implémentable sur de telles unités embarquées. Ces techniques se décomposent en deux familles qui se basent soit sur des méthodes de sparsification, soit sur des techniques de réduction de dimensions (pour les réseaux denses).
Nous avons développé une nouvelle méthode de compression basée sur une approche non-supervisée de réduction de dimension dont le brevet est en cours de dépôt.
