- Projektbeschreibung
Die Position des Lymphknotens wird während der OP über eine AR-Brille virtuell eingeblendet.
Zur Vorbereitung und Planung einer Operation müssen Ärzte die verfügbaren medizinischen Bilddaten, wie z.B. CTs oder MRTs, des Patienten genau studieren. Im Operationssaal besteht anschließend die Herausforderung, die zuvor beim Studium der Bilddaten angefertigte OP-Planung auf die Operationssituation und damit auf den Patienten zu übertragen. Erschwerend kommt hinzu, dass die Anzeige der dreidimensionalen Bilddaten i.d.R. mit Hilfe von einzelnen Schnittebenen der dreidimensionalen Daten erfolgt. Der Arzt muss diese Informationen anhand seines fundierten anatomischen Wissens auf die Situation im OP übertragen.
Augmented-Reality (AR) Brillen ermöglichen eine anatomieüberlagernde Anzeige von dreidimensionalen Bild- und Planungsdaten. Diese kann dazu verwendet werden, dreidimensionale Inhalte direkt am Patienten darzustellen. Dies kann dazu beitragen, die Herausforderungen des Arztes im Operationssaal besser und schneller zu meistern und dadurch zielgerichtete und sichere Interventionen durchzuführen.
Das Fraunhofer IGD bietet in Zusammenarbeit mit seinen technischen Partnern AR-Technologien für den OP-Saal an. Dabei entwickelt das Fraunhofer IGD vor allem Softwaretools zur Ansteuerung von unterschiedlichen Kamerasystemen, mit denen räumliche Informationen extrahiert und dadurch Objekte verortet werden können. Ein Beispiel hierfür ist das Tracken des OP-Besteck während einer OP. Neben dem visuellen Tracking nutzt das Fraunhofer IGD ebenfalls Hardwaretrackinglösungen wie z.B. elektromagnetische Sensoren aus der Industrie für seine Trackinganwendungen. Diese allgemeinen Trackinglösungen können für verschiedene Anwendungen, insbesondere für die AR-Anwendungen eingesetzt werden. Virtuelle Inhalte können beispielsweise relativ zu getrackten Objekten angezeigt werden, wodurch das Sichtfeld des Arztes mit nützlichen Informationen bereichert werden kann. Mögliche Elemente zur Anzeige sind vor allem Risiko- und Zielstrukturen. Zu diesen gehören z.B. Blutgefäße oder das Rückenmark, die bei einer Verletzung zu erhöhtem Blutverlust und zur Paralyse des Patienten führen können. Bei der Anzeige und Verortung spielen vor allem Technologien der Bildverarbeitung sowie der Bildregistrierung eine große Rolle, die am Fraunhofer IGD in vielen Projekten Anwendung finden.
Ein Beispiel einer AR-Anwendung für den OP wurde am Fraunhofer IGD im Projekt 3D-ARILE entwickelt.
3D-ARILE ist ein neuartiges Augmented-Reality-System für die Sentinel-Lymphknotenentfernung (SLNB). Das System unterstützt den Arzt mithilfe von virtuellen dreidimensionalen Markierungen im Sichtfeld, welche die Position von gesuchten Lymphknoten darstellen. Die Lymphknoten sind die mit dem Tumorareal verbunden und müssen entfernt werden, um eine Streuung des Tumors, in Form von Metastasen im Lymphknoten, nachzuweisen. Die 3D-ARILE Technologie dient dabei sozusagen als Navigationshilfe für den Arzt, um den Lymphknoten zielgerichtet und schnell entfernen zu können.