Technologien, die unsere Wahrnehmung der Welt verändern, wie etwa Augmented Reality (AR), Mixed Reality (MR) und Virtual Reality (VR), werden zunehmend Teil unseres Alltags. Spatial Computing, der Sammelbegriff für diese Arten von Systemen zur Wahrnehmungsänderung, ermöglicht uns Erlebnisse wie nie zuvor. Aber wie werden diese Technologien das Gesundheitswesen beeinflussen? Und wie müssen sie modifiziert werden, um die Zukunft der medizinischen Datenvisualisierung zu gestalten?

Um zu verstehen, wie diese Technologien Gesundheit und Gesundheitsversorgung durch interaktive Visualisierungsmethoden verbessern, müssen wir die Begriffe selbst verstehen. Was ist der Unterschied zwischen AR, MR und VR? Und wie kann Datenvisualisierung medizinische Entscheidungen verbessern?

VR ermöglicht es Anwendern, eine völlig neue, vollständig computergenerierte Welt zu erleben: Sie tauchen in eine dreidimensionale Welt ein, können sich darin bewegen und mit ihr interagieren. Dazu dient ein VR-Headset, das entweder ganz einfach aus einem Smartphone in einer Halterung besteht oder sehr fortschrittlich ist, kabellos mit eingebautem Sound, Kameras und Mikrofonen. Diese Anwendungen können für zahlreiche Zwecke genutzt werden, werden heute aber hauptsächlich für Spiele, Trainings und Bildungszwecke eingesetzt. Aber wie sieht es mit Virtual Reality in der Medizin aus?

Virtuelle Simulationen und Serious Games in der Ausbildung der Gemeindegesundheitspflege: Ein Überblick über die Literatur

Der Einsatz von VR im Gesundheitswesen könnte in Zukunft an Attraktivität gewinnen, insbesondere bei medizinischen VR-Trainingssimulationen. Diese sogenannten „Serious Games“ – Spiele, die zu Ausbildungszwecken eingesetzt werden – sind ein wichtiges Lehrmittel in Bereichen wie neurochirurgische Verfahren, Rettungsdienstausbildung und Patientenaufklärung.^[1] VR wird sogar in der Neuropsychologie eingesetzt, um die traditionelle Bewertung exekutiver Funktionen zu verbessern.^[2] VR-Training im Gesundheitswesen hat das Potenzial die Lücke zwischen Theorie und Praxis zu schließen.

Im Operationssaal ist der Einsatz von Virtual-Reality-OPs durch die immersive Natur des Systems begrenzt. Es könnte noch einige Zeit dauern, bis VR in Krankenhäusern zum Standard wird. Für chirurgische Eingriffe wird VR vermutlich nie die ideale Lösung sein, da der Arzt den echten Patienten beim Tragen des Headsets nicht sehen kann. Mixed und Augmented Reality scheinen für den OP besser geeignet zu sein, da sie Realität und virtuelle Welt kombinieren, um chirurgische Eingriffe zu unterstützen.

Bei der Augmented-Reality-Technologie ist die reale Welt sichtbar, während digitale Objekte darüber eingeblendet werden. In Gaming- und Shopping-Anwendungen geschieht dies über die Kamera eines mobilen Endgeräts. Das Bild auf dem Bildschirm zeigt die Kameraansicht und gleichzeitig digitale Inhalte. Diese Arten von Spatial-Computing-Anwendungen sind derzeit am weitesten verbreitet. Andere Anwendungen nutzen spezielle Brillen, mit denen Anwender:innen sowohl die reale als auch die virtuelle Umgebung durch ein durchsichtiges Headset sehen kann.

Was die Einsatzmöglichkeiten von Augmented Reality im Gesundheitswesen betrifft, so gibt es bereits AR-unterstützte OPs. Mit der aktuellen Technologie können digitale Objekte mithilfe eines Mikroskops überlagert werden. Beim Blick durch das Mikroskop oder bei Betrachtung des Kamerabildes auf einem externen Display können digitale Strukturen über realen Patient:innen sichtbar gemacht werden. Diese Strukturen könnten empfindliche Hirnareale oder ein Tumor sein und Chirurg:innen bei der Navigation helfen. Durch das Überlagern dieser Bilder auf die Patient:innen wissen die Ärzt:innne, wo sie invasiv vorgehen dürfen und welche Bereiche vermieden werden sollten.

Wie kann man also Virtual Reality und Augmented Reality im Gesundheitswesen zusammenbringen? Für die Anwendung während medizinischer Behandlungen bietet AR klare Vorteile. Da Ärzt:innen nicht in eine virtuelle Welt eintauchen, behalten sie die Patient:innen im Blick. Die eingeschränkten Interaktionsmöglichkeiten mit den virtuellen Objekten begrenzen jedoch das Potenzial dieser Technologie im medizinischen Bereich. Trotzdem wird der Einsatz von AR im Gesundheitswesen mit der weiteren Entwicklung der Technologie zweifellos zunehmen.

Operationen mit Mixed Reality: Präsentation eines Konzeptnachweises

AR und MR lassen sich manchmal schwer voneinander abgrenzen. Für manche gibt es keinen Unterschied zwischen den beiden. Technisch gesehen liegt der Hauptunterschied in der Interaktion zwischen realer und virtueller Welt. Bei AR interagieren Objekte nicht mit der realen Welt, sondern werden einfach darüber projiziert. Ein Beispiel wäre ein Filter auf einer Social-Media-Plattform. Der Filter ist für den Nutzer sichtbar, aber nicht manipulierbar. Bei MR hingegen kann der Nutzer mit digitalen Objekten so interagieren, als wären sie reale Objekte.

Im medizinischen Bereich könnten Hochschulen MR-Systeme nutzen, um ihren Studierenden die Anatomie von Patient:innen sicher und anschaulich im Vorlesungssaal zu vermitteln. Eine weitere Möglichkeit wäre eine Bibliothek mit exemplarischen Fällen, mit denen Studierende interagieren und lernen können. Auch Patient:innen könnten ihre eigenen präoperativen Scans virtuell durchgehen, um zu sehen, wie der Arzt den Eingriff plant – das könnte ihnen helfen, sich sicherer zu fühlen. Für MR-gestützte Chirurgie entwickeln derzeit mehrere Unternehmen Anwendungen und medizinische Geräte, die es Kliniken ermöglichen, Patientendaten im Operationssaal zu sehen und mit ihnen zu interagieren. Ein Beispiel hierfür ist Brainlab mit der Technologie Spine Mixed Reality Navigation, die nach der FDA 510(k)-Freigabe auch in den USA auf dem Markt ist. Somit ist das Unternehmen ein Vorreiter, der Mixed Reality in der Wirbelsäulenchirurgie kommerziell etabliert. Bei der MR-gestützten Chirurgie wird der geplante Eingriff direkt auf reale Patient:innen projiziert und Chirurg:innen erhalten eine exakte visuelle Orientierung während des Eingriffs. Wenn mehrere Expert:innen, auch aus der Ferne hinzugeschalten werden, haben die behandelten Ärzt:innen sofortige Unterstützung bei der Entscheidungsfindung. Die Zukunft von MR im Krankenhaus und insbesondere im OP ist grenzenlos. Wir fangen gerade erst an zu verstehen, wohin sich diese Technologie entwickeln kann.

Vergleicht man Virtual Reality, Augmented Reality und Mixed Reality in der Medizin verfügen alle drei Technologien über Unterschiede, Nach- und Vorteile. Was die zukünftige Entwicklung von 3D-Visualisierung und Augmented Reality in der Chirurgie betrifft, so hat Mixed Reality mit ihren interaktiven Möglichkeiten das Potenzial, sowohl die digitale als auch die reale Umgebung der Medizin zu verändern.

1. Ribaupierre, Sandrine de, Bill Kapralos, Faizal Haji, Eleni Stroulia, Adam Dubrowski, and Roy Eagleson. “Healthcare Training Enhancement Through Virtual Reality and Serious Games.” https://link.springer.com/chapter/10.1007/978-3-642-54816-1_2. Springer, Berlin, Heidelberg, April 26, 2014.

2. Serino, Silvia, Elisa Pedroli, Pietro Cipresso, Federica Pallavicini, Giovanni Albani, Alessandro Mauro, and Giuseppe Riva. “The Role of Virtual Reality in Neuropsychology: The Virtual Multiple Errands Test for the Assessment of Executive Functions in Parkinson’s Disease.” https://link.springer.com/chapter/10.1007/978-3-642-54816-1_14. Springer, Berlin, Heidelberg, April 26, 2014.