Project title in English: Intelligent voice assistant for managing medical records according to doctor recommendations (LINGE)
Project title in Polish: Inteligentny asystent głosowy do obsługi dokumentacji medycznej według zaleceń lekarzy (LINGE)
Project type: Research & Development project
Funding Institution: Narodowe Centrum Badań i Rozwoju
Program: INFOSTRATEG IV
Project No: INFOSTRATEG4/0029/2022
Value: 4 655 287 PLN (1 082 625 EUR)
Duration: 2023-2026
Project partners:
Proassist Spółka z o. o. w Krakowie
Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie
Project team members at AGH:
dr hab. inż. Konrad Kowalczyk, prof. AGH – R&D Manager (PL: Kierownik B+R)
dr inż. Stanisław Kacprzak – Head of AI
dr inż. Marcin Witkowski – Head of Development & Partnership Coordination
mgr inż. Julitta Bartolewska – Head of NLP
dr inż. Aleksander Smywiński-Pohl – NLP Consultant
mgr inż. Szymon Woźniak – ML Engineer/Python Developer
mgr inż. Mieszko Fraś – ML Engineer/Python Developer
mgr inż. Mateusz Guzik – ML Engineer/Python Developer
mgr inż. Magdalena Rybicka – ML Engineer/Python Developer
mgr inż. Mateusz Barański – ML Engineer/Python Developer
mgr inż. Jan Jasiński – ML Engineer/Python Developer
Project goal
The subject of this project is the development of a generic system aimed at facilitating and streamlining the physician’s work by automating the process of filling out Electronic Medical Records (EMD) and accompanying forms (prescriptions, referrals, sick leave). This goal will be achieved by integrating a voice based system, consisting of artificial intelligence (AI) modules responsible for automatic speech recognition (ASR) and natural language processing (NLP), with medical forms developed by Proassist. The resulting system will convert doctor’s speech into text, and then extract the desired information and complete the forms accordingly. Project tasks will include the preparation of an anonymized database of audio recordings of medical visits and completed forms, then carrying out appropriate transcription and annotation of the recordings, and on this basis a voice system will be developed in the form of ASR and NLP modules adapted to medical applications. One of the additional functionalities of the system will be the possibility of voice communication of the user with the system by issuing commands to which specific actions will be assigned (e.g., activating the system, checking a form field, or creating a new document). In addition, the doctor will have the ability to create new voice templates (macros) and assign to them a number of actions allowing personalization of the system operation process. Moreover, on the basis of the tools and analyses developed in the project, new forms will be designed to improve the ergonomics of doctors’ work. The proposed system will be available in the form of a web application, mobile application and as a module allowing integration with the EDM software of external entities. The final solution will allow for much faster completion of medical records, and consequently, the doctor will be able to spend more time conducting an in-depth patient interview.
Cel projektu
Przedmiotem projektu jest opracowanie generycznego systemu, którego celem jest ułatwienie i usprawnienie pracy lekarza, poprzez zautomatyzowanie procesu wypełniania Elektronicznej Dokumentacji Medycznej (EDM) oraz towarzyszących formularzy (recept, skierowań, zwolnień). Przedstawiony cel zostanie osiągnięty poprzez integrację systemu głosowego, składającego się z modułów sztucznej inteligencji (AI) odpowiedzialnych za automatyczne rozpoznawanie mowy (ASR) i przetwarzanie języka naturalnego (NLP), z formularzami medycznymi opracowanymi przez firmę Proassist. Wynikowy system umożliwi konwersję wypowiedzi lekarza na tekst, a następnie ekstrakcję pożądanych informacji i odpowiednie uzupełnienie formularzy. Zadania projektowe będą obejmować przygotowanie zanonimizowanej bazy nagrań wizyt lekarskich i wypełnionych formularzy, następnie przeprowadzenie odpowiedniej transkrypcji i anotacji nagrań, i na tej podstawie opracowany zostanie system głosowy w postaci modułów ASR i NLP dostosowany do zastosowań medycznych. Jedną z dodatkowych funkcjonalności systemu będzie możliwość głosowej komunikacji użytkownika z systemem poprzez wydawanie komend, do których będą przypisane konkretne akcje (np. aktywacja systemu, zaznaczenie pola formularza, czy też utworzenie nowego dokumentu). Ponadto, lekarz będzie miał możliwość utworzenia nowych szablonów (makr) głosowych i przypisania do nich szeregu akcji pozwalających na personalizację procesu obsługi systemu. Co więcej, na podstawie opracowanych w projekcie narzędzi i analiz zaprojektowane zostaną nowe formularze poprawiające ergonomię pracy lekarzy. Zaproponowany system będzie dostępny w formie aplikacji webowej, mobilnej oraz jako moduł umożliwiający integrację z oprogramowaniem EDM podmiotów zewnętrznych. Końcowe rozwiązanie pozwoli na znacznie szybsze wypełnianie dokumentacji medycznej, a co za tym idzie, lekarz będzie mógł poświęcić więcej czasu na przeprowadzenie pogłębionego wywiadu pacjenta.
Informacja o finansowaniu przez NCBR:
Projekt pn.: Inteligentny asystent głosowy do obsługi dokumentacji medycznej według zaleceń lekarzy (nr INFOSTRATEG-IV/0029/2022) jest finansowany ze środków Narodowego Centrum Badań i Rozwoju w ramach konkursu nr INFOSTRATEG IV Programu Strategiczny Program Badań Naukowych i Prac Rozwojowych „Zaawansowane technologie informacyjne, telekomunikacyjne i mechatroniczne” – INFOSTRATEG. Nr umowy INFOSTRATEG4/0029/2022
Wartość projektu: 11 050 494.01 zł
Wartość dofinansowania: 9 202 929,84 zł