Biomimetic movement-based prosthesis control : dataset of natural movements and reference frame transformation for real-world settings
Contrôle biomimétique de prothèse à partir de mouvements naturels : base de données et transformation de référentiel pour une situation réelle
Résumé
Myoelectric controls for transhumeral prostheses often lead to high rates of device abandonment due to their unsatisfactory performance. Grounded on advances in movement-based prosthesis control, we refined an alternative approach using an artificial neural network trained on natural arm movements to predict the configuration of distal joints based on proximal joint motion and movement goals. Previous studies have shown that this control strategy enabled individuals with transhumeral limb loss to control a prosthesis avatar in a virtual reality environment as well as with their valid arm. Yet, deploying this control system in real-world requires further development. A head-mounted camera and computer vision algorithms need to be integrated into the system for real-time object pose estimation. In this setup, object information might only be available in a head-centered reference frame, while our control relies on the object expressed in a shoulder reference frame. Taking inspiration from how the brain executes coordinate transformations, we developed and tested solutions to perform the required head-to-shoulder transformation from orientation-only data, possibly available in real-life settings. To develop these algorithms, we gathered a dataset reflecting the relationship between these reference frames by involving twenty intact-limbs participants in picking and placing objects in various positions and orientations in a virtual environment. This dataset included head and gaze motion, along with movements of the trunk, shoulders, and arm joints, capturing the entire kinematic chain between the movement goal and the hand moved to reach it. Following data collection, we implemented two methods to transform target information from the head to the shoulder reference frame. The first is an artificial neural network trained offline on the dataset to predict the head position in the shoulder referential given ongoing shoulder and head orientations and the participant height. The second method draws inspiration from multisensory integration in the brain. It derives the head position in the shoulder referential by comparing data about the prosthetic hand obtained in the shoulder referential through forward kinematics and simultaneously in the head referential through computer vision. Inspired by brain’s mechanisms for peripersonal space coding, we encoded this difference in a spatial map by adapting the weights of a single-layer network of spatially tuned neurons online. Experimental results on twelve intact-limbs participants controlling a prosthesis avatar in virtual reality demonstrated persistent errors with the first method, which failed to adequately account for the specificity of the user’s morphology, resulting in significant prediction errors and ineffective prosthesis control. In contrast, the second method elicited much better results and effectively encoded the transition from the head to the shoulder associated with different targets in space. Despite requiring an adaptation period, subsequent performances on already explored targets were comparable to the ideal scenario. The effectiveness of the second method was also tested on six participants with transhumeral limb loss in virtual reality, and a physical proof of concept was implemented on a teleoperated robotic platform with simple computer vision to assess feasibility in real-life settings. One intact-limbs participant controlled the robotic platform REACHY 2 to grasp cylinders on a board. ArUco markers on the robot’s end effector and cylinders coupled with a gaze-guided computer vision algorithm enabled precise object pose estimation. The results of this proof of concept suggest that despite challenges in object detection, our bio-inspired spatial map effectively operates in real-world scenarios. This method also shows promise for handling complex scenarios involving errors in position and orientation, such as moving a camera or operating in perturbed environments.
Les contrôles myoélectriques pour les prothèses transhumérales entraînent souvent un taux élevé d’abandon en raison de leurs performances insatisfaisantes. Inspirés des progrès réalisés dans les contrôles exploitant les mouvements résiduels, nous avons affiné une approche alternative utilisant un réseau de neurones artificiels entrainé sur les mouvements naturels de bras pour prédire la configuration des articulations distales en fonction du mouvement des articulations proximales et d’information sur l’objet à saisir. Des études antérieures ont montré que cette stratégie permet aux amputés de contrôler un avatar de prothèse dans un environnement de réalité virtuelle aussi bien qu’avec leur bras valide. Cependant, le déploiement de ce contrôle dans des scénarios réels requiert des développements supplémentaires. Il est nécessaire d’intégrer une caméra montée sur la tête et des algorithmes de vision par ordinateur pour estimer en temps réel la position et l’orientation de l’objet. Dans ce contexte, les informations sur l’objet ne seraient disponibles que dans un référentiel centré sur la tête de l’utilisateur, alors que notre contrôle repose sur l’objet exprimé dans un référentiel centré sur l’épaule. Inspirés de la façon dont le cerveau exécute des transformations de coordonnées, nous avons développé et testé des solutions pour effectuer la transformation tête-épaule à partir des seules données d’orientation, disponibles en situation réelle. Pour développer ces algorithmes, nous avons constitué une base de données incluant la relation entre ces référentiels en demandant à vingt participants valides de saisir des objets dans diverses positions et orientations dans un environnement virtuel. Cette base de données comprenait les mouvements de la tête et du regard, ainsi que ceux du tronc, des épaules et des bras, capturant l’ensemble de la chaîne cinématique entre le but du mouvement et la main déplacée pour l’atteindre. Ensuite, nous avons mis en œuvre deux méthodes pour obtenir la position de la tête dans le référentiel de l’épaule. La première consiste en un réseau de neurones artificiels entraîné hors ligne sur la base de données pour prédire cette position en fonction de la taille du participant et de l’orientation de sa tête et de son épaule. La seconde méthode s’inspire des processus d’intégration multisensorielle du cerveau et déduit la position de la tête dans le référentiel de l’épaule en comparant les données relatives à la main prothétique obtenues dans le référentiel de l’épaule par cinématique directe et simultanément dans le référentiel de la tête par la vision par ordinateur. Inspirés par les mécanismes neuronaux du codage de l’espace péripersonnel, nous avons adapté en ligne les poids d’un réseau de neurones pour coder cette différence dans une carte spatiale. Les résultats expérimentaux sur douze participants valides en réalité virtuelle ont démontré des erreurs persistantes avec la première méthode, qui n’a pas réussi à prendre en compte avec suffisamment de précision la spécificité de la morphologie de l’utilisateur, entraînant ainsi un contrôle inefficace de la prothèse. En revanche, la seconde méthode a réussi à coder efficacement la transition de la tête à l’épaule associée à différentes cibles dans l’espace. L’efficacité de la seconde méthode a également été testée sur six amputés en réalité virtuelle, et une preuve de concept a été réalisée pour évaluer sa faisabilité en conditions réelles. Cette démonstration a été réalisée en contrôlant la plateforme robotique REACHY 2 en vision égocentrée, avec des marqueurs ArUco et un algorithme de vision artificielle pour détecter les objets à saisir et la main robotique. Les résultats suggèrent que, malgré les difficultés rencontrées dans la détection des objets, notre carte spatiale fonctionne efficacement dans des scénarios réels. Cette méthode pourrait également gérer des scénarios complexes, impliquant des déplacements de caméra ou des environnements perturbés.
| Origine | Version validée par le jury (STAR) |
|---|