Když AI pomáhá dýchat správně. Na UHK vyvíjejí aplikaci pro kontrolu správné inhalace

Na Fakultě informatiky a managementu UHK (FIM UHK) proto vzniká inovativní aplikace využívající umělou inteligenci a kamerovou analýzu, která pomáhá odhalit chyby při používání inhalátorů. Výzkumný projekt, který na FIM UHK vede doktor Karel Mls z Katedry informačních technologií, propojuje informatiku, farmacii i klinickou praxi a ukazuje, jak může AI sloužit jako praktický pomocník ve zdravotní péči.
FIM UHK na projektu spolupracuje s Katedrou sociální a klinické farmacie Farmaceutické fakulty UK v Hradci Králové a s Plicní klinikou Fakultní nemocnice Hradec Králové.
„Je důležité říci, že v této fázi nejde o běžnou komerční aplikaci ani o náhradu lékaře nebo farmaceuta. Jde o výzkumný prototyp, který má ověřit, zda lze moderní metody počítačového vidění a analýzy pohybu využít jako podpůrný nástroj ve zdravotnické praxi,“ objasňuje doktor Karel Mls, který odpověděl také na další otázky tohoto rozhovoru.

Jak vznikl nápad využít umělou inteligenci právě pro kontrolu správné inhalace?

Inhalace vypadá na první pohled jednoduše, ale ve skutečnosti je to poměrně přesně načasovaný a koordinovaný postup. Pacient musí správně připravit inhalátor, vydechnout před inhalací, správně přiložit náustek, provést nádech odpovídající danému typu inhalátoru, případně zadržet dech a celý postup dokončit bez zásadních chyb.
Právě to je oblast, kde může být umělá inteligence užitečná. Kamera dnes dokáže zachytit polohu hlavy, rukou, obličeje, úst i samotného inhalátoru. AI pak může pomoci rozpoznat jednotlivé fáze inhalace a upozornit na situace, kdy pacient například nadechuje příliš brzy, příliš pozdě, nedrží inhalátor správně, nezadrží dech nebo vynechá některý důležitý krok.
Zjednodušeně řečeno: chceme využít AI jako „druhý pár očí“, který pomůže zdravotníkovi i pacientovi lépe vidět chyby, které by jinak mohly zůstat nepovšimnuté.

Co bylo hlavním impulsem pro zahájení tohoto výzkumu?

Hlavním impulsem byla skutečnost, že správná inhalační technika má zásadní vliv na účinnost léčby. I velmi kvalitní lék nemusí pacientovi dostatečně pomoci, pokud se nedostane tam, kam má – tedy do dýchacích cest. V praxi se přitom ukazuje, že chyby při inhalaci jsou poměrně časté.
Druhým impulsem byl rychlý rozvoj metod umělé inteligence, zejména počítačového vidění. Dnes už je technicky reálné analyzovat běžný videozáznam z kamery notebooku nebo telefonu a získat z něj informace o pohybu rukou, obličeje, hlavy či těla. To otevírá možnost vytvořit nástroj, který nebude vyžadovat speciální laboratorní vybavení a mohl by být v budoucnu použitelný i v běžnějších podmínkách.

Setkali jste se v praxi s konkrétním problémem pacientů, který vedl k vytvoření této aplikace?

Ano, vycházíme z klinické a farmaceutické praxe, kde se opakovaně ukazuje, že pacienti často neprovádějí inhalaci zcela správně. Nejde přitom o „selhání pacienta“, ale spíše o to, že různé inhalátory mají různé požadavky a správný postup nemusí být intuitivní.
Některé chyby jsou nenápadné. Pacient například může inhalátor správně držet, ale nadechnout se v nesprávný okamžik. Nebo provede nádech, ale nezadrží dech po inhalaci. U některých typů inhalátorů je důležitý pomalý a plynulý nádech, u jiných naopak rychlý a silný nádech. To je pro pacienty matoucí.
Aplikace má pomoci právě tím, že postup rozloží na jednotlivé kroky a poskytne objektivnější zpětnou vazbu.

Jak dlouho na projektu pracujete? A jak dlouho pravděpodobně výzkum potrvá?

Na samotné problematice digitální podpory hodnocení inhalační techniky pracujeme postupně už delší dobu – od prvních úvah, formulářů a datových struktur přes návrh metodiky až po současný vývoj webového prototypu s kamerou a analýzou obrazu.
Projekt AZV je koncipován jako víceletý výzkumný projekt. V současné fázi se soustředíme na vývoj prototypu, sběr a strukturování dat, návrh hodnoticích pravidel a přípravu validace. Následovat bude testování na reálných nebo anotovaných datech, vyhodnocení přesnosti a případné úpravy systému.
Reálně jde o práci na několik let, protože u zdravotnické aplikace nestačí, aby „technicky fungovala“. Musí být také odborně správná, bezpečná, srozumitelná pro uživatele a ověřená v praxi.

Kdo všechno je do vývoje zapojen – jde čistě o IT specialisty, nebo spolupracujete i s lékaři a farmaceuty? Kdo je zapojen za FIM UHK?

Určitě nejde čistě o IT projekt. Naopak, jeho smysl je právě v propojení informatiky, farmacie, klinické praxe a datové analýzy. Do projektu jsou zapojeni odborníci z oblasti sociální a klinické farmacie, pneumologie, biostatistiky a informatiky.
Za Fakultu informatiky a managementu UHK je zapojena informatická část týmu, která se podílí především na návrhu architektury aplikace, zpracování videa, datových strukturách, exportech, uživatelském rozhraní a na metodách umělé inteligence nebo počítačového vidění.
Role FIM je tedy zejména technická a metodická: převést odborný klinicko-farmaceutický problém do podoby aplikace, která dokáže pracovat s obrazem, daty, anotacemi a zpětnou vazbou pro uživatele.

Jak systém funguje z pohledu běžného uživatele?

Z pohledu uživatele by měl být systém co nejjednodušší. Pacient nebo zdravotník spustí aplikaci na počítači, tabletu nebo telefonu s kamerou. Vybere se typ inhalátoru a aplikace zobrazí jednoduché instrukce. Poté kamera zaznamená provedení inhalace.
Systém se následně pokusí rozpoznat jednotlivé fáze – například přípravu inhalátoru, výdech před inhalací, přiložení inhalátoru k ústům, samotný nádech, zadržení dechu a dokončení. Výsledkem může být přehledné hodnocení, které ukáže, které kroky byly provedeny správně a kde je vhodné postup zlepšit.
Cílem není pacienta „nachytat při chybě“, ale dát mu srozumitelnou zpětnou vazbu. Ideálně takovou, kterou může použít zdravotník při edukaci nebo pacient při nácviku správné techniky.

Co přesně umělá inteligence sleduje a vyhodnocuje?

Systém sleduje především obrazové znaky související s provedením inhalace. Patří sem poloha hlavy, obličeje a úst, pohyb rukou, přiblížení inhalátoru k ústům, orientace těla, časování jednotlivých kroků a návaznost fází.
Z technického hlediska pracujeme s přístupem, který kombinuje detekci významných bodů na obličeji, rukou a horní části těla s pravidly nebo modely pro rozpoznání fází inhalace. Prakticky to znamená, že systém nehodnotí „zdravotní stav pacienta“, ale analyzuje viditelný postup při použití inhalátoru.
Velmi důležité je také rozlišovat typ inhalátoru. Jinak se hodnotí například aerosolový inhalátor, práškový inhalátor nebo měkký aerosolový inhalátor. Správná technika se mezi nimi liší, a proto musí být hodnocení specifické pro konkrétní zařízení.

Bylo těžké naučit AI rozpoznávat chyby nebo získat kvalitní data?

Ano, to je jedna z nejtěžších částí projektu. U podobných systémů nestačí mít jen videozáznam. Potřebujeme vědět, co se na něm přesně děje: kde začíná příprava, kdy začíná nádech, zda pacient udělal chybu, jakého typu chyba byla a jak ji hodnotí odborník.
To znamená, že data musí být kvalitně anotovaná. A to je časově náročné, protože anotaci musí připravovat nebo kontrolovat odborníci. Navíc pacienti se liší, inhalátory se liší, prostředí se liší a videozáznamy nemusí mít vždy ideální kvalitu.
Proto postupujeme opatrně. Nejprve budujeme modulární prototyp, který umožňuje ruční anotaci fází inhalace, sběr časových značek a ověřování jednoduchých pravidel. Teprve na takto připraveném základě má smysl trénovat nebo validovat pokročilejší AI modely.

Jak bude probíhat testování systému?

Testování bude probíhat ve více úrovních. Nejprve ověřujeme technickou funkčnost: zda aplikace správně pracuje s kamerou, zda dokáže zaznamenat video, zobrazit náhled, umožnit anotaci a uložit strukturované výsledky.
Další úroveň je odborná validace. Tam se výstupy systému porovnávají s hodnocením odborníků – například farmaceutů nebo lékařů. Sleduje se, zda aplikace správně rozpozná fáze inhalace a zda její hodnocení odpovídá odbornému posouzení.
V další fázi bude důležité testovat použitelnost: zda aplikaci rozumí pacienti, zda je ovládání jednoduché, zda zpětná vazba nepůsobí matoucím nebo příliš technickým dojmem a zda může reálně pomoci při edukaci.

Kolik variant chyb při inhalaci systém dokáže rozpoznat?

V této fázi bych byl opatrný s přesným číslem, protože systém je stále ve vývoji a počet rozpoznávaných chyb závisí na typu inhalátoru i na úrovni validace.
Obecně ale pracujeme s několika hlavními kategoriemi chyb: nesprávná příprava inhalátoru, chybějící nebo špatně provedený výdech před inhalací, nesprávné přiložení inhalátoru, špatná koordinace stisku a nádechu u aerosolových inhalátorů, nevhodná délka nebo dynamika nádechu, chybějící zadržení dechu po inhalaci a chyby při dokončení celého postupu.
Důležité je, že nechceme jen mechanicky počítat chyby. Chceme rozpoznat, které chyby jsou klinicky významné a které mají skutečný dopad na účinnost léčby.

Co Vás osobně na tomto projektu nejvíce baví?

Asi nejvíc mě baví propojení několika světů, které se běžně nepotkávají tak intenzivně: medicíny, farmacie, informatiky, umělé inteligence a uživatelského designu.
Z informatického pohledu je zajímavé, že nejde jen o „natrénujme model a hotovo“. Musíme pochopit reálný zdravotnický problém, převést ho do měřitelných znaků, navrhnout datovou strukturu, vytvořit aplikaci, myslet na soukromí pacienta a zároveň připravit systém tak, aby byl srozumitelný pro běžného uživatele.
Baví mě také to, že projekt má velmi praktický rozměr. Pokud se podaří, může pomoci lidem lépe používat léčbu, kterou už mají předepsanou.

Narazili jste na nějaké překážky během vývoje?

Ano, překážek je několik. První je odborná: správná inhalace není univerzální postup, ale závisí na typu inhalátoru. To, co je správné u jednoho zařízení, nemusí být správné u jiného. Druhá překážka je technická. Kamera z notebooku nebo telefonu poskytuje běžný obraz, nikoli laboratorní měření. Musíme tedy pracovat s různým osvětlením, různou kvalitou obrazu, různým natočením pacienta a různými typy zařízení.
Třetí překážka je datová. Pro kvalitní AI nestačí mnoho dat, ale mnoho dobře popsaných dat. Anotace videa je časově náročná a vyžaduje spolupráci s odborníky.
A čtvrtá překážka je etická a praktická: pracujeme s citlivým zdravotnickým kontextem, takže musíme velmi pečlivě řešit soukromí, bezpečnost dat a to, aby aplikace nebyla prezentována jako náhrada odborné péče.

Kde vidíte největší budoucnost AI ve zdravotní péči?

Největší budoucnost AI ve zdravotnictví vidíme v podpůrných systémech, které nebudou nahrazovat zdravotníky, ale pomohou jim zvládat rutinní, časově náročné nebo opakované úkoly.
Může jít o analýzu obrazu, třídění rizikových pacientů, podporu rozhodování, sledování adherence k léčbě, personalizovanou edukaci nebo automatické zpracování zdravotnické dokumentace. Velký potenciál je také v domácí péči – tedy v situacích, kdy pacient není zrovna v ordinaci, ale potřebuje jednoduchou, bezpečnou a srozumitelnou podporu.
Zároveň bych byl opatrný. Ve zdravotnictví nestačí, aby AI působila přesvědčivě. Musí být ověřená, vysvětlitelná, bezpečná a jasně zasazená do odpovědnosti zdravotnických profesionálů.

Jak může v praxi aplikace konkrétně pomoci pacientům?

Pacientovi může aplikace pomoci hlavně tím, že mu ukáže konkrétní chybu v postupu. Místo obecné rady „inhalujte správně“ může dostat konkrétní zpětnou vazbu, například že zapomněl vydechnout před inhalací, nezadržel dech po nádechu nebo nesprávně načasoval nádech vzhledem k použití inhalátoru.
Zdravotníkovi může aplikace pomoci při edukaci. Může pacientovi názorně ukázat, co se povedlo a co je potřeba zlepšit. Zároveň může umožnit strukturovaný záznam výsledků, například pro sledování zlepšení po edukaci.
V ideálním případě by taková aplikace mohla zvýšit účinnost léčby bez nutnosti měnit lék – jen tím, že pacient bude lépe používat inhalátor, který už má.

Na čem momentálně ještě pracujete?

Kromě této aplikace se věnuji obecněji využití umělé inteligence v informatice, vzdělávání a aplikovaném výzkumu. Zajímá mě například využití AI ve výuce, podpora studentů pomocí inteligentních asistentů, bezpečnost umělé inteligence a také vývoj prototypů, které propojují AI s reálným světem – například přes kameru, senzory nebo robotické systémy.
V rámci tohoto konkrétního směru teď pracujeme hlavně na prototypu webové aplikace, která umí pracovat s kamerou, podporuje ruční anotaci fází inhalace a postupně se rozšiřuje o automatizovanou analýzu pomocí nástrojů typu MediaPipe – tedy detekci obličeje, rukou a horní části těla.

Máte nějaký „vývojářský sen“ – co byste jednou chtěl vytvořit?

Můj vývojářský sen je vytvořit inteligentní systém, který nebude jen pasivní aplikací v počítači, ale skutečným asistentem schopným vnímat situaci, komunikovat s člověkem a pomáhat mu v reálném světě.
V kontextu zdravotnictví by to mohl být digitální kouč, který pacienta citlivě a srozumitelně provede léčbou, upozorní ho na chyby, ale zároveň ho nebude stresovat ani zahlcovat. V širším smyslu mě láká vývoj AI systémů, které propojí obraz, řeč, senzory a odborné znalosti – tedy systémů, které budou nejen „odpovídat na otázky“, ale také rozumět kontextu a prakticky pomáhat.
A samozřejmě by bylo krásné, kdyby některý z těchto systémů vznikl právě na univerzitě a měl reálný přínos pro pacienty, studenty nebo odbornou praxi.