Ci, którzy dotychczas sądzili, że okulary do tworzenia wirtualnej (VR –  virtual reality) i rozszerzonej rzeczywistości (AR- augmented reality), takie jak HoloLens, mogą służyć tylko do zabawy czy ucieczki do świata wirtualnych gier – będą musieli zmienić zdanie. W czasie warsztatów kardiologicznych NFIC w Krakowie po raz pierwszy na świecie pokazano badanie EKG i planowanie wirtualnego zabiegu implantacji zastawki aortalnej na zeskanowanym sercu pacjenta z wykorzystaniem okularów HoloLens.

źr. Microsoft

Technologie VR i AR można pożytecznie wykorzystywać w wielu dziedzinach (np. architekturze), ale szczególnie cenne wydają się zastosowania w medycynie i edukacji. Trójwymiarowe modele serca i ciała pacjenta studentom medycyny pomagają w nauce, a to tylko część możliwości okularów VR/AR.

Nauka anatomii z wykorzystaniem technologii AR i VR przygotuje nową generację lekarzy

Wirtualna implantacja zastawki w Krakowie

Prezentacja podczas konferencji NFIC. Fot. Jurij Gałaszyński

Podczas 17. międzynarodowych warsztatów kardiologicznych New Frontiers in Interventional Cardiology (NFIC), odbywających się w dniach 7-10 grudnia 2016 r. w Krakowie, specjaliści pokazali zastosowanie w kardiologii technologii rozszerzonej rzeczywistości (AR) przy użyciu okularów HoloLens. Wirtualny zabieg przeprowadzono wykorzystując technologie 3D oraz AR w połączeniu z obrazami z tomografii komputerowej oraz echokardiografii. Pierwszy na świecie pokaz badania EKG z użyciem HoloLens zaprezentowali prof. Dariusz Dudek, dyrektor warsztatów NFIC i Mateusz Kierepka, prezes MedApp SA oraz twórca projektu. Pokazano także wirtualny zabieg implantacji zastawki aortalnej na zeskanowanym sercu pacjenta.

Dzięki okularom HoloLens lekarz może przejść przez wszystkie etapy zabiegu, zobaczyć wszystkie tkanki i przygotować się na to, co może go spotkać podczas samego zabiegu. Symulację zabiegu można traktować jako wstęp i przygotowanie do przeprowadzania już na sali zabiegowej operacji pacjenta, którego serce wcześniej zeskanowano, co mogą też obserwować kardiolodzy i kardiochirurdzy z całego świata.

Konferencja NFIC. Fot. Jurij Gałaszyński

– To, co pokazaliśmy pierwszy raz na świecie, to wizualizacja wykonana jako sumaryczne połączenie trzech rozwiązań: po pierwsze wizualizujemy badanie pacjenta którego serce zostało zeskanowane i na podstawie tych skanów został wykonany obraz 3D, po drugie wykorzystujemy własną autorską aplikację, która wizualizuje to serce, po trzecie w czasie rzeczywistym odczytujemy zapis elektrokardiografu i na podstawie tego dokonujemy animacji tego serca – wyjaśnia Mateusz Kierepka z MedApp SA.

źr. Microsoft

HoloLens, czyli umieszczony w okularach komputer z całym zestawem czujników, umożliwia kreowanie rozszerzonej rzeczywistości, dostarczając obraz tego co widzimy uzupełniony o dodatkowe informacje. Urządzenie pozwala rozpoznawać rysy twarzy, skanować, mierzyć, a w oparciu o odpowiednie dane tworzyć wizualizacje 3D. W okularach zainstalowano także kamery na podczerwień, które są w stanie określić położenie obiektów wokół. Jak podkreślają twórcy aplikacji kardiologicznej MedApp, zastosowanie HoloLens jest zależne od oprogramowania, a to z kolei jest ograniczone tylko wyobraźnią twórców.

Wideokonsultacje, edukacja i dokumentacja medyczna

źr. Microsoft

HoloLens to nie tylko wszelkie możliwe metody wizualizacji, ale również możliwość przeprowadzania wideokonsultacji na odległość, co zwłaszcza z punktu widzenia lekarzy jest niezwykle istotne. Lekarz specjalista zdalnie może narysować, jak i gdzie zrobiłby cięcie w czasie zabiegu, co znacznie przyspiesza proces konsultacji i diagnostyki.

Medyczna edukacja z HoloLens

– Kardiologia mocno się rozwija. Powiem więcej – to, co pokazujemy, to prawdziwa rewolucja. W maju firma Microsoft pokazała w Europie cały system stosowania rozszerzonej rzeczywistości i jego zastosowań w medycynie. To na razie prototyp, ale szacuję, że za 2 czy 3 lata będzie to miało zastosowanie praktyczne. Za pięć lat może stać się już standardem – mówi Dariusz Dudek, dyrektor warsztatów New Frontieres in Interventional Cardiology (NFIC).

Trójwymiarowe modele pomagają studentom medycyny w nauce anatomii; źr. Microsoft

Aplikacja MedApp i HoloLens pozwalają także na gromadzenie w jednym miejscu pełnej dokumentacji medycznej w postaci centralnego raportu o pacjencie, zawierającego wyniki badań, analiz, zdjęcia RTG itp., a potem na zdalny dostęp do niego.

– HoloLens w tej chwili to dwie aplikacje. Jedna płaska, czyli wszystkie dokumenty medyczne, wykresy, wyniki badań. Druga to aplikacja przestrzenna, gdzie na podstawie obrazów, np. tomografii komputerowej, tworzymy wizualizację 3D, np. serca, i jest to serce konkretnego pacjenta, bo dane są pobrane z badań tomograficznych tego pacjenta. Lekarz może się swobodnie przełączać pomiędzy tymi aplikacjami – wyjaśnia Kierepka.

źr. Microsoft

Obrazowanie z wykorzystaniem HoloLens i dedykowanych aplikacji to przeskok technologiczny w medycynie w stosunku do stosowanych dziś metod, nie mają wątpliwości twórcy aplikacji.