RecoMed. Automatic speech recognition with medical transcription. Subventionné par

Transcription

1 RecoMed Automatic speech recognition with medical transcription Subventionné par

2 Idiap Research Institute Independent research institute ~100 people in total; mainly in research ~10 development staff Research themes: Human & Media Computing Speech processing Biometrics Social signal processing Machine learning... Technology transfer via TheArk & IdeArk incubator

3 Definition of medical transcription Wikipedia: Medical transcription, also known as MT, is an allied health profession, which deals in the process of transcription, or converting voicerecorded reports as dictated by physicians or other healthcare professionals, into text format. 3

4 Transcription process at Suva Delay between patient outing and discharge letter is too long Hard constraint: 21 days 4

5 Existing medical ASR solutions

6 Federal Act on Data Protection Personal data All information relating to an identified or identifiable person Sensitive personal data Data related to religion, health, social security measures, administrative or criminal proceedings or sanctions Distribution of personal data is severely restricted. 6

7 Project goal and objectives Goal Integration of an Automatic Speech Recognition (ASR) system in the computerized patient record of the Clinique Romande de Réadaptation (CRR) Objectives Transition from analog to digital dictaphones (CRR) Development of a dedicated, robust ASR system (Idiap) Integration of the ASR system in the new patient record workflow 7

8 Data Background data Domain data Bref 120 (~100 hours) BDLex Suva anonymised medical transcripts (~100 Mio of words) Suva anonymised audio recordings (~16 hours) Anonymisation Names, ages diseases all removed Sentences from a given doctor randomised 8

9 Acoustic modeling State of the art modeling techniques Acoustic robustness with unsupervised adaptation Kaldi toolkit Kaldi is probably the most important tool in the chain 9

10 Language modeling Multiple medical domains: Ambulatory, Neurology, Rehabilitation, Evaluation, Paramedical Punctuation modeling les personnes ayant une insuffisance respiratoire chronique ouvrez la parenthèse par exemple bronchite chronique virgule asthme virgule emphysème virgule fibrose pulmonaire fermez la parenthèse selon les objectifs suivants deux points à la ligne tiret bilan physiothérapeutique complet... 10

11 Text format: raw asr text la physiothérapie et une composants importante de la rééducation pulmonaire chez les personnes ayant une insuffisance respiratoire chronique ouvrez la parenthèse par exemple bronchite chronique virgule asthme virgule emphysème virgule fibrose pulmonaire fermez la parenthèse selon les objectifs suivants deux points à la ligne tiret bilan physiothérapeutique complet ouvrez la parenthèse inclus test de marche de six minutes virgule echelle de bureau

12 Text format: formatted text La physiothérapie et une composants importante de la rééducation pulmonaire chez les personnes ayant une insuffisance respiratoire chronique (p.ex. bronchite chronique, asthme, emphysème, fibrose pulmonaire)... les objectifs suivants : - bilan physiothérapeutique complet (inclus test de marche de 6 mn, echelle de bureau des, fonctions pulmonaires). - évaluation individuel des besoins du patient, de ses capacités respiratoires fonctionel. - éducation thérapeutique du patient pour mieux gérer sa vie avec maladie chronique. - ménage bronchiques. - réentraînement progressif à l'effort. - accompagnement thérapeutique à l'arrêt du tabac. - rapport de fin de traitement adressée au médecin prescripteur. - le programme de réhabilitation et conçu de manière individualisé adapté à votre personne, à votre âge, et retour condition physique. Notre programme de réhabilitation respiratoire pluridisciplinaire à l'hôpital de la tour et sous direction médicale responsable et reconnue par la société suisse de pneumologie, remboursée par l'assurance maladie de base.

13 Conclusions Medical transcription requires customisation Acoustic models to medical practitioners Language models to domain The customisation is in conflict with data privacy Speech specialists are not in hospitals State borders are important Toolkits such as Kaldi are invaluable