Ci, którzy dotychczas sądzili, że okulary do tworzenia wirtualnej (VR – virtual reality) i rozszerzonej rzeczywistości (AR- augmented reality), takie jak HoloLens, mogą służyć tylko do zabawy czy ucieczki do świata wirtualnych gier – będą musieli zmienić zdanie. W czasie warsztatów kardiologicznych NFIC w Krakowie po raz pierwszy na świecie pokazano badanie EKG i planowanie wirtualnego zabiegu implantacji zastawki aortalnej na zeskanowanym sercu pacjenta z wykorzystaniem okularów HoloLens.
Technologie VR i AR można pożytecznie wykorzystywać w wielu dziedzinach (np. architekturze), ale szczególnie cenne wydają się zastosowania w medycynie i edukacji. Trójwymiarowe modele serca i ciała pacjenta studentom medycyny pomagają w nauce, a to tylko część możliwości okularów VR/AR.
Nauka anatomii z wykorzystaniem technologii AR i VR przygotuje nową generację lekarzy
https://www.youtube.com/watch?v=SKpKlh1-en0
Wirtualna implantacja zastawki w Krakowie
Podczas 17. międzynarodowych warsztatów kardiologicznych New Frontiers in Interventional Cardiology (NFIC), odbywających się w dniach 7-10 grudnia 2016 r. w Krakowie, specjaliści pokazali zastosowanie w kardiologii technologii rozszerzonej rzeczywistości (AR) przy użyciu okularów HoloLens. Wirtualny zabieg przeprowadzono wykorzystując technologie 3D oraz AR w połączeniu z obrazami z tomografii komputerowej oraz echokardiografii. Pierwszy na świecie pokaz badania EKG z użyciem HoloLens zaprezentowali prof. Dariusz Dudek, dyrektor warsztatów NFIC i Mateusz Kierepka, prezes MedApp SA oraz twórca projektu. Pokazano także wirtualny zabieg implantacji zastawki aortalnej na zeskanowanym sercu pacjenta.
https://www.youtube.com/watch?v=FxwRqvwHtZU
Dzięki okularom HoloLens lekarz może przejść przez wszystkie etapy zabiegu, zobaczyć wszystkie tkanki i przygotować się na to, co może go spotkać podczas samego zabiegu. Symulację zabiegu można traktować jako wstęp i przygotowanie do przeprowadzania już na sali zabiegowej operacji pacjenta, którego serce wcześniej zeskanowano, co mogą też obserwować kardiolodzy i kardiochirurdzy z całego świata.
– To, co pokazaliśmy pierwszy raz na świecie, to wizualizacja wykonana jako sumaryczne połączenie trzech rozwiązań: po pierwsze wizualizujemy badanie pacjenta którego serce zostało zeskanowane i na podstawie tych skanów został wykonany obraz 3D, po drugie wykorzystujemy własną autorską aplikację, która wizualizuje to serce, po trzecie w czasie rzeczywistym odczytujemy zapis elektrokardiografu i na podstawie tego dokonujemy animacji tego serca – wyjaśnia Mateusz Kierepka z MedApp SA.
HoloLens, czyli umieszczony w okularach komputer z całym zestawem czujników, umożliwia kreowanie rozszerzonej rzeczywistości, dostarczając obraz tego co widzimy uzupełniony o dodatkowe informacje. Urządzenie pozwala rozpoznawać rysy twarzy, skanować, mierzyć, a w oparciu o odpowiednie dane tworzyć wizualizacje 3D. W okularach zainstalowano także kamery na podczerwień, które są w stanie określić położenie obiektów wokół. Jak podkreślają twórcy aplikacji kardiologicznej MedApp, zastosowanie HoloLens jest zależne od oprogramowania, a to z kolei jest ograniczone tylko wyobraźnią twórców.
Wideokonsultacje, edukacja i dokumentacja medyczna
HoloLens to nie tylko wszelkie możliwe metody wizualizacji, ale również możliwość przeprowadzania wideokonsultacji na odległość, co zwłaszcza z punktu widzenia lekarzy jest niezwykle istotne. Lekarz specjalista zdalnie może narysować, jak i gdzie zrobiłby cięcie w czasie zabiegu, co znacznie przyspiesza proces konsultacji i diagnostyki.
Medyczna edukacja z HoloLens
– Kardiologia mocno się rozwija. Powiem więcej – to, co pokazujemy, to prawdziwa rewolucja. W maju firma Microsoft pokazała w Europie cały system stosowania rozszerzonej rzeczywistości i jego zastosowań w medycynie. To na razie prototyp, ale szacuję, że za 2 czy 3 lata będzie to miało zastosowanie praktyczne. Za pięć lat może stać się już standardem – mówi Dariusz Dudek, dyrektor warsztatów New Frontieres in Interventional Cardiology (NFIC).
Aplikacja MedApp i HoloLens pozwalają także na gromadzenie w jednym miejscu pełnej dokumentacji medycznej w postaci centralnego raportu o pacjencie, zawierającego wyniki badań, analiz, zdjęcia RTG itp., a potem na zdalny dostęp do niego.
– HoloLens w tej chwili to dwie aplikacje. Jedna płaska, czyli wszystkie dokumenty medyczne, wykresy, wyniki badań. Druga to aplikacja przestrzenna, gdzie na podstawie obrazów, np. tomografii komputerowej, tworzymy wizualizację 3D, np. serca, i jest to serce konkretnego pacjenta, bo dane są pobrane z badań tomograficznych tego pacjenta. Lekarz może się swobodnie przełączać pomiędzy tymi aplikacjami – wyjaśnia Kierepka.
Obrazowanie z wykorzystaniem HoloLens i dedykowanych aplikacji to przeskok technologiczny w medycynie w stosunku do stosowanych dziś metod, nie mają wątpliwości twórcy aplikacji.
