3D-Brille Wie Augmented Reality Operationen vereinfacht

Ärzte haben oft Schwierigkeiten, die genaue Lage von mit Krebs befallenen Lymphknoten zu bestimmen. Forscher des Fraunhofer IGD präsentieren eine 3D-Brille, die Ärzte im Operationssaal bei der Lokalisierung unterstützt.

Trotz neuer Erkenntnisse in der Medizin sind viele Operationen weiterhin sehr schwierig durchzuführen und mit Risiken verbunden. Ärzte müssen viel Geschick im OP beweisen, da sie die genaue Lage von Organen, Blutgefäßen und erkranktem Gewebe während eines Eingriffs oft nur abschätzen können.

Die Forscher des Fraunhofer Instituts für Graphische Datenverarbeitung IGD in Darmstadt entwickelten gemeinsam mit ihren Partnern nun eine Technologie, die Ärzten als Navigationshilfe während einer Operation dient.

Unterstützung im OP durch Augmented Reality (AR)

Im Projekt 3D-ARILE, gefördert vom Zentralen Innovationsprogramm Mittelstand (ZIM), entwickelten die Forscher ein neuartiges Augmented-Reality-System für die Lymphknotenentfernung bei Krebspatienten. „Augmented Reality unterstützt den Arzt mithilfe von visuellen Markierungen während der Operation. Dabei wird die Position des Lymphknotens über eine AR-Brille virtuell eingeblendet“, erklärt Dr. Stefan Wesarg vom Fraunhofer IGD in Darmstadt.

„Die Technologie dient dem Arzt als Navigationshilfe: Wo muss ich schneiden? Habe ich alles Nötige herausgeschnitten?“ Um den direkt mit dem Tumor verbundenen, zu entfernenden Lymphknoten hierfür vorab sichtbar zu machen, spritzen die Ärzte dem Patienten einen Infrarot-Farbstoff, der sich im befallenen Lymphknoten anreichert. Dieser wird anschließend über Infrarot-Kameras erfasst und in 3D rekonstruiert. Die dafür benötigte Software steuerten die Wissenschaftler des Fraunhofer IGD bei.

Vorteile für den Patienten

Das neue System hilft nicht nur dem Arzt, sondern hat auch Vorteile für den Patienten. Anstelle einer bisher genutzten radioaktiven Markierungssubstanz wird nun der Farbstoff Indocyangrün (ICG) verwendet. Dieser ist weniger schädlich für den menschlichen Körper und stellt in Kombination mit den Infrarot-Kameras und der AR-Datenbrille eine gute Alternative dar, um den befallenen Lymphknoten zu markieren und so komplett entfernen zu können.

3D ARILE im Detail

Kernbestandteil des Forschungsprojektes 3D ARILE ist die Entwicklung eines neuartigen Augmented-Reality-Systems in Form einer Datenbrille (HMD) mit See-Through-Technologie. Diese soll in Kombination mit dem Fluoreszenzfarbstoff Indocyaningrün (ICG) und einem Stereosystem aus Nahinfrarotkameras (NIR) für die intraoperative Visualisierung und Entfernung von Schildwächterlymphknoten eingesetzt werden. Hierdurch soll ICG das bisher eingesetzte radioaktive Nanokolloid Technetium 99m, in seiner Funktion als medizinischer Tracer, als weniger schädliche Alternative ablösen.

Das injizierte ICG ist hierzu mit Hilfe der NIR-Kameras im Körper zu detektieren und mittels Bildverarbeitung zu tracken. Die Anregung des ICG erfolgt dabei durch Absorption von infrarotem Licht, welches die oberen Hautschichten durchdringt. Zur Bestrahlung kommen IR-LED’s zum Einsatz. Die resultierende Fluoreszenz des ICG kann anschließend mit Hilfe der eingesetzten NIR-Kameras erfasst werden. Aufgrund stark ähnelnder Wellenlängen des absorbierten und des emittierten Lichtes, ist hierbei der Einsatz von harten Kamerafiltern unerlässlich.

Das Tracking der Lymphknoten und die Generierung der 3D-Modelle erfordert eine Stereokalibrierung des eingesetzten Kamerasystems. Zur ortsgenauen Anzeige des resultierenden 3D-Lymphknotenmodells im HMD wird zudem dessen relative Lage als Systemtransformation zwischen Aufnahme- und Anzeigesystem benötigt. Diese soll mit Hilfe einer dritten normal-optischen Kamera, welche am HMD befestigt ist, bestimmt werden. Hierzu wird ein markerbasiertes Trackingverfahren entwickelt, welches möglichst schnell und robust die Lageinformationen ermittelt.

Abschließend kann das erzeugte 3D-Modell durch Anwenden der relativen Transformation von Aufnahme- zu Darstellungssystem ortsgenau der Patientenanatomie überlagert werden. Der Arzt hat hierbei den Vorteil einer Online-Visualisierung der OP-Situation.

Das Fraunhofer IGD kooperiert im Projekt 3D-ARILE mit der Trivisio Prototyping GmbH und der Dermatologie der Universitätsklinik Essen.

Dieser Beitrag erschien zuerst in unserem Partnerportal Elektronikpraxis.

(ID:44993604)