Assessment of Foot Signature Using Wearable Sensors for Clinical Gait Analysis and Real-Time Activity Recognition

Transcription

1 Assessment of Foot Signature Using Wearable Sensors for Clinical Gait Analysis and Real-Time Activity Recognition THÈSE N O 5434 (2012) PRÉSENTÉE le 31 août 2012 À LA FACULTÉ DES SCIENCES ET TECHNIQUES DE L'INGÉNIEUR LABORATOIRE DE MESURE ET D'ANALYSE DES MOUVEMENTS PROGRAMME DOCTORAL EN INFORMATIQUE, COMMUNICATIONS ET INFORMATION ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE POUR L'OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES PAR Benoît Mariani acceptée sur proposition du jury: Prof. J.-Ph. Thiran, président du jury Prof. K. Aminian, directeur de thèse Prof. A. Cappello, rapporteur Dr E. de Bruin, rapporteur Prof. S. Micera, rapporteur Suisse 2012

2 Abstract Locomotion is one of the most important abilities of humans. Actually, gait locomotion provides mobility, and symbolizes freedom and independence. However, gait can be affected by several pathologies, due to aging, neurodegenerative disease, or trauma. The evaluation and treatment of mobility diseases thus requires clinical gait assessment, which is commonly done by using either qualitative analysis based on subjective observations and questionnaires, or expensive analysis established in complex motion laboratories settings. This thesis presents a new wearable system and algorithmic methods for gait assessment in natural conditions, addressing the limitations of existing methods. The proposed system provides quantitative assessment of gait performance through simple and precise outcome measures. The system includes wireless inertial sensors worn on the foot, that record data unobtrusively over long periods of time without interfering with subject s walking. Signal processing algorithms are presented for the automatic calibration and online virtual alignment of sensor signals, the detection of temporal parameters and gait phases, and the estimation of 3D foot kinematics during gait based on fusion methods and biomechanical assumptions. The resulting 3D foot trajectory during one gait cycle is defined as Foot Signature, by analogy with hand-written signature. Spatio-temporal parameters of interest in clinical assessment are derived from foot signature, including commonly parameters, such as stride velocity and gait cycle time, as well as original parameters describing inner-stance phases of gait, foot clearance, and turning. Algorithms based on expert and machine learning methods have been also adapted and implemented in real-time to provide input features to recognize locomotion activities including level walking, stairs, and ramp locomotion. Technical validation of the presented methods against gold standard systems was carried out using experimental protocols on subjects with normal and abnormal gait. Temporal aspects and quantitative estimation of foot-flat were evaluated against pressure insoles in subjects with ankle treatments during long-term gait. Furthermore, spatial parameters and foot clearance were compared in young and elderly persons to data obtained from an optical motion capture system during forward gait trials at various i

3 speeds. Finally, turning was evaluated in children with cerebral palsy and people with Parkinson s disease against optical motion capture data captured during timed up and go and figure-of-8 tests. Overall, the results demonstrated that the presently proposed system and methods were precise and accurate, and showed agreement with reference systems as well as with clinical evaluations of subjects mobility disease using classical scores. Currently, no other methods based on wearable sensors have been validated with such precision to measure foot signature and subsequent parameters during unconstrained walking. Finally, we have used the proposed system in a large-scale clinical application involving more than 1800 subjects from age 7 to 77. This analysis provides reference data of common and original gait parameters, as well as their relationship with walking speed, and allows comparisons between different groups of subjects with normal and abnormal gait. Since the presented methods can be used with any foot-worn inertial sensors, or even combined with other systems, we believe our work to open the door to objective and quantitative routine gait evaluations in clinical settings for supporting diagnosis. Furthermore, the present studies have high potential for further research related to rehabilitation based on real-time devices, the investigation of new parameters significance and their association with various mobility diseases, as well as for the evaluation of clinical interventions. Keywords: Gait analysis, Elderly, Parkinson s disease, Cerebral palsy, Ankle osteoarthritis, Amputee, Spatio-temporal parameters, Foot clearance, Turning, Real-time, Inertial sensors, Wearable system, Validation, Activity classification. ii

4 Résumé La locomotion est une des capacités les plus importantes de l être humain. En effet, la locomotion, et plus particulièrement la marche, permet la mobilité, synonyme de liberté et d indépendance. Cependant, un certains nombres de pathologies peuvent affecter la marche, par exemple le vieillissement, les maladies neuro-dégénératives, ou encore un traumatisme. L examen et le traitement de ces pathologies requièrent de ce fait une évaluation clinique de la marche. Une telle évaluation se fonde habituellement soir sur des analyses qualitatives à base d observations subjectives et des questionnaires, soit par l intermédiaire d outils complexes et coûteux dans des laboratoires dédiés à l analyse du mouvement. Cette thèse présente un nouvel outil qui aborde les problèmes des méthodes existantes, en proposant un système portable et des méthodes algorithmiques pour l évaluation de la marche en condition naturelles. L outil proposé quantifie la performance de marche grâce à des métriques simples et précises. Le système comprend des capteurs inertiels sans fils se fixant sur le pied et enregistrant des signaux de longues durées sans gêner la marche du patient. Les algorithmes de traitement du signal présentés permettent une calibration automatique et l alignement virtuel des capteurs ; la détection des évènements temporels et des phases de marche ; ainsi que l estimation de la cinématique 3D du pied, et ce à partir de méthodes de fusion et d hypothèses biomécaniques. La trajectoire 3D que dessine le pied dans l espace pendant un cycle de marche a été définie comme la Signature du Pied, par analogie avec la signature écrite à la main. Un ensemble important de paramètres spatio-temporels ont ainsi été extraits de la signature du pied. Cela inclu des paramètres classiques utilisés en analyse de marche, comme la vitesse de marche et la durée du cycle, mais aussi des paramètres originaux comme les sous-phases constituant l appui au sol, l élévation du pied, et le virage. Les algorithmes ont également été adaptés et implémentés en temps-réel, pour servir d entrée à des méthodes d intelligence artificielle capables de reconnaitre les activités telles que la marche à plat, en pente, ou en escaliers. Les méthodes présentées ont été validées techniquement contre des systèmes de référence à partir de protocoles expérimentaux incluant des sujets avec ou sans pathologies liées à la marche. Les aspects iii

5 temporels et la quantification du temps d appui à plat ont été évalués contre des semelles de pression chez des sujets avec arthrose de cheville pendant des marches longue durées. Les paramètres spatiaux et l élévation du pied ont été comparés chez des jeunes adultes et des personnes âgées avec un système de capture optique du mouvement. Enfin l analyse des virages pendant le test de Timed up and Go et la marche en 8 a été validés chez des enfants avec paralysie cérébrale et des personnes atteintes de la maladie de Parkinsons. Globalement, les résultats démontrent une bonne justesse et fidélité, ainsi qu une bonne concordance avec les systèmes de référence et les évaluations cliniques. Alors qu aucune autre méthode basée sur des capteurs portables n a été jusqu à présent validée pour mesurer aussi fidèlement la signature du pied et les paramètres qui en découlent, nous avons ici utilisé le système et les méthodes proposées pour une application clinique d envergure impliquant plus de 1800 personnes âgées de 7 à 77 ans. L analyse a permis d obtenir des données de référence pour les paramètres de marche classiques et originaux. Elle a aussi permis de montrer les associations de divers paramètres avec la vitesse de marche, et de les comparer entre différents groupes de sujets avec ou sans pathologies liées à la marche. Du fait que les méthodes présentées peuvent être utilisées avec n importe quel système de capteurs inertiels sur le pied voire combinées avec d autres systèmes, nous pensons que le travail présenté ouvre la porte à l évaluation quantitative et objective de la marche en routine clinique, en tant qu outil de support au diagnostic. De plus, l étude permet d entrevoir de futures recherches liées aux systèmes de réadaptation temps réels, à l étude de la signification cliniques des nouveaux paramètres avec les pathologies de la marche, ou encore à l évaluation des interventions cliniques. Mots-clefs: Analyse de Marche, Personnes âgées, Maladie de Parkinson, Paralysie cérébrale, arthrose de la cheville, amputés, paramètres spatio-temporels, élévation du pied, virage, temps-réel, capteur inertiels, systèmes portables, validation, classification d activités. iv

6 要 旨 運 動 は 人 間 の 能 力 の 中 でも 重 要 な 能 力 であり,その 中 でも 特 に 歩 行 運 動 は 自 身 で 移 動 を 行 うと いう 点 で 自 主 独 立 性 の 象 徴 であるとも 考 えられる. 一 方 で 歩 行 は 加 齢 や 神 経 疾 患, 外 傷 などに 影 響 を 受 けるため, 運 動 疾 患 の 診 断 やリハビリテーションの 処 方 に 対 して 歩 行 機 能 の 評 価 が 必 要 である. 現 在 広 く 用 いられている 医 師 による 評 価 は 定 性 的 であり, 妥 当 性 の 面 で 限 界 がある. そのほか, 機 器 を 用 いた 評 価 が 散 見 されるが, 高 額 な 機 材 や 複 雑 なシステムが 必 要 であること が 多 い. 本 研 究 ではこれらの 問 題 に 対 し, 装 着 可 能 な 機 器 を 用 いた 自 然 な 歩 行 による 評 価 システムの 開 発 を 行 う. 本 システムの 開 発 により, 臨 床 において 簡 便 かつ 正 確 な 計 測 を 行 うことが 可 能 とな り, 疾 患 に 対 して 定 量 的 な 評 価 を 行 うことが 可 能 となる. 本 システムは 被 検 者 の 歩 行 動 作 の 妨 げにならないような, 足 部 に 取 り 付 けられた 無 線 の 慣 性 セ ンサから 構 成 される.センサ 信 号 から 検 出 された 歩 行 運 動 中 の 運 動 パラメータから 歩 行 相, 足 部 の 運 動 特 性 等 のパラメータをオンライン 上 で 自 動 的 に 算 出 する.その 際, 歩 行 周 期 中 の 三 次 元 空 間 上 の 足 部 軌 跡 は, 各 個 人 の 持 つ 固 有 の 署 名 のような Foot signature として 定 義 される. 加 えて,Foot signature から 一 般 的 に 用 いられる 歩 行 速 度, 歩 行 周 期 などと 同 様 に, 本 研 究 で 独 自 に 定 義 される,インナースタンス,フットクリアランス, 回 旋 歩 行 特 性 等 のパラメータを 算 出 する. 解 析 は 試 行 中 に 実 行 され, 平 坦 面, 階 段, 斜 面 における 運 動 を 把 握 する 要 素 として 提 供 される. 正 常 歩 行 と 非 正 常 歩 行 の 計 測 において, 現 在 広 く 用 いられている 手 法 と 比 較 することにより, 本 研 究 で 提 案 する 手 法 の 妥 当 性 の 検 証 を 行 った. 足 底 接 地 時 の 時 間 相 と 定 量 指 標 を 被 検 者 の 足 底 内 圧 により 評 価 し, 加 えて 異 なる 速 度 で 行 った 直 線 歩 行 時 の 運 動 特 性 について 光 学 モーショ ンキャプチャシステムを 用 いて 高 齢 者 と 若 年 者 間 での 比 較 を 行 った.その 後, 脳 性 マヒ 児 童, パーキンソン 病 患 者 において, 旋 回 運 動 時 の 特 性 を 評 価 し, 比 較 した. 全 実 験 で, 得 られた 結 果 は 参 照 システムと 比 較 し 十 分 な 正 確 性 があり, 臨 床 評 価 とも 一 致 することが 確 認 された. v

7 また 臨 床 における 実 証 実 験 として, 本 研 究 で 提 案 するシステムを 用 いて, 異 なる 疾 患 を 持 つ 7 から 77 歳 までの 1800 人 以 上 の 被 検 者 に 対 し 計 測 を 行 い, 一 般 的 な 運 動 パラメータと 歩 行 速 度 等 に 関 連 した 独 自 のパラメータを 用 いた 解 析 によって 異 なる 被 検 者 群 の 分 類 を 行 った. 本 研 究 により 提 案 される 慣 性 センサ,および 他 の 計 測 システムとの 組 み 合 わせによる 歩 行 評 価 システムによって, 様 々な 運 動 障 害 に 対 し 客 観 的 かつ 定 量 的 な 歩 行 評 価,および 診 断 やリハ ビリテーションの 処 方 が 可 能 になると 期 待 される. キーワード: 歩 行 解 析, 高 齢 者,パーキンソン 病, 脳 性 麻 痺, 変 形 性 関 節 症, 切 断 患 者, 時 空 間 パラメータ,フットクリアランス, 旋 回,リアルタイム, 慣 性 センサ,ウェアラブルシステ ム, 妥 当 性, 活 動 特 性 vi

8 Table of contents Abstract... i Résumé, 要 旨... iii Acknowledgements... vii Glossary... ix CHAPTER 1 Introduction 1 HUMAN LOCOMOTION MOBILITY DISEASES Risk of falling in elderly persons Neurological disorders Lower limb osteoarthritis Lower limb amputation CLINICAL GAIT ANALYSIS THESIS RATIONAL AND OBJECTIVES THESIS OUTLINE REFERENCES CHAPTER 2 Spatio-temporal gait analysis: State of the Art 1 OVERVIEW CLINICAL SCALES LABORATORY SYSTEMS OFFLINE METHODS WITH WEARABLE SYSTEMS Method Results Discussion ONLINE METHODS WITH EMBEDDED SYSTEMS Method Results Publications Patents Discussion OVERALL CONCLUSION REFERENCES CHAPTER 3 Quantitative Estimation of Foot-Flat and Stance Phase of Gait Using Foot-Worn Inertial Sensors 1 INTRODUCTION METHOD x

9 2.1 Measurement devices and sensor configuration Temporal events detection Kinematic features from inertial sensors signals Reference Force features from pressure insole signals Inner-stance phases and foot-flat estimation Measurement protocol Statistical analysis RESULTS Temporal events detection Inner-stance phases estimation Group comparisons DISCUSSION Technical validity Clinical applications REFERENCES CHAPTER 4 3D Gait assessment in young and elderly subjects using foot-worn inertial sensors 1 INTRODUCTION METHOD Foot-worn sensors Reference system D foot kinematics estimation Validation protocol and gait parameters Statistical analysis RESULTS Instrument comparison Repeatability Comparison of elderly and young subjects DISCUSSION CONCLUSION REFERENCES CHAPTER 5 Heel and Toe Clearance Estimation for Gait Analysis Using Wireless Inertial Sensors 1 INTRODUCTION METHOD Inertia-based measurement system Foot kinematics estimation Heel and Toe trajectory estimation Foot Clearance Parameters Experimental Validation Data Analysis RESULTS Comparison with reference system Influence of walking speed on foot clearance parameters DISCUSSION CONCLUSION REFERENCES xi

10 CHAPTER 6 On-shoe wearable sensors for gait and turning assessment of patients with Parkinson s disease 1 INTRODUCTION METHOD Wearable measurement system Spatio-temporal analysis of gait Gait initiation, termination, turning and steady phases Experimental set up and validation RESULTS Comparison with reference system and validation Analysis of Timed Up and Go test Short, moderate, and long-distance gait analysis DISCUSSION APPENDIX: APPLICATION TO GAIT AND TURNING ASSESSMENT IN CHILDREN WITH CEREBRAL PALSY Introduction Patients/materials and methods Results Discussion & conclusions REFERENCES CHAPTER 7 Real-time analysis of amputee daily-locomotion using instrumented shank-ankle-foot prosthesis 1 INTRODUCTION Gait in trans-tibia amputees State of the art in SAF prosthesis Passive SAF prostheses Active SAF prostheses Rational and objectives METHODS Prototype SAF Complex with embedded sensors Measurement setup for Daily-activity scenarios Temporal Detection of walking phases Static phases detection Walking phases detection Kinematics estimation Features extraction RESULTS SAF prosthesis instrumentation Sensitivity and specificity of real-time walking phase detection Real-time Kinematics estimation Comparison of features DISCUSSION CONCLUSION REFERENCES CHAPTER 8 Foot Signature 1 INTRODUCTION xii

11 2 REAL-TIME RECOGNITION OF LOCOMOTION ACTIVITY Method Features normalization Principal component analysis Activity Classification Results Reference methods Expert method Comparison of classification Performance Application to real-time classification of activity Discussion CHARACTERIZATION OF MOBILITY DISEASE Method Measurements Database Descriptive statistics Reference parameters of foot signature in older adults Results Temporal Analysis Spatial Analysis Clearance Analysis Variability Analysis Gait parameters distribution among older adults Association of gait parameters with walking speed in older adults Foot Signature Map Discussion CONCLUSION REFERENCES CHAPTER 9 Conclusion 1 GENERAL RESULTS AND MAIN CONTRIBUTIONS IMPROVEMENT OF ALGORITHM PERFORMANCES SENSOR DEVELOPMENT AND USE OF OTHER TECHNOLOGIES EXTENSION TO OTHER TYPES OF HUMAN LOCOMOTION CLINICAL PERSPECTIVES REFERENCES Annexes Curriculum vitae xiii