JointRobustModel — reconnaissance de gestes robuste aux pertes de données

Le problème

La reconnaissance de gestes précis via des capteurs au poignet (montres connectées) est souvent faussée par des pertes de données : coupures Bluetooth, artefacts de mouvement. Les méthodes classiques de réparation du signal échouent car elles « lissent » mathématiquement les données — et effacent au passage les micro-vibrations qui permettent justement de différencier les gestes fins.

La solution : JointRobustModel

Une architecture hybride et légère combinant 1D-CNN et Transformer. Au lieu de réparer le signal avant de l’analyser, le modèle fait les deux en parallèle (reconstruction et classification). Entraîné progressivement à gérer de 10 % à 40 % de pertes de données, il apprend à préserver les détails cruciaux du mouvement.

Résultats

• Haute résilience : excellente précision maintenue malgré d’importantes pertes de signal (évalué sur des gestes de cuisine).
• Optimisé edge computing : 1,78 million de paramètres seulement — assez léger pour tourner en temps réel sur une montre connectée.
• Ouvre la voie à des applications médicales, comme l’assistance aux personnes âgées.