Immer mehr Branchen setzen auf 3D- und VR (Virtual Reality)-Technologie . Das gilt insbesondere auch für den medizinischen Bereich. Ein aktuelles Beispiel ist ein Projekt an der medizinischen Universität Montpellier. Dort sollen Medizinstudenten schon bald Seziertechniken mithilfe einer Echtzeit-3D-App üben können.
Den Anstoß für das Projekt an der medizinischen Universität Montpellier gaben die beiden Chirurgen Dr. Guillaume Captier und Dr. Mohamed Akkari. Sie suchten eine Lösung für ein grundsätzliches Problem bei ihren Anatomievorlesungen: Um den Medizinstudenten die Grundlagen der menschlichen Anatomie beizubringen, werden „echte“ Leichen benötigt – doch die sind nur begrenzt verfügbar und deshalb kostspielig. Da unerfahrene Medizinstudenten erst lernen müssen, Sektionen korrekt auszuführen, kommt es immer wieder vor, dass sie den Leichnam beschädigen oder gar unbrauchbar machen. Nach eingehender Prüfung verschiedener Optionen wurde beschlossen eine Echtzeit-3D-App zu entwickeln. Mit ihr können Studenten Seziertechniken üben und ausreichend Wissen erwerben, bevor sie sich an echte Leichen wagen. Den Dozenten ermöglicht das die Nutzung neuer Lehrmethoden. Die App soll auch einen Prüfmodus enthalten, in dem die Studenten ihre medizinischen Fähigkeiten verfeinern können, ohne auf echte Leichen angewiesen zu sein.
3D-Scans für alle Sektionsschritte
Um möglichst realistische und präzise Daten zu gewinnen, mussten alle Sektionsschritte per 3D-Scanner aufgenommen und auf die Lern-App übertragen werden. Diese Aufgabe übernahm das französische Unternehmen IMA Solutions, seit vielen Jahren Kunde von Artec 3D. Mit dem 3D-Scanner Artec Space Spider erfassten die Experten die einzelnen Sektionsschritte, so dass fotorealistische 3D-Modelle erstellt und in die App eingespeist werden konnten.
Die Chirurgen schlugen vor, welche Körperteile aufgenommen werden sollten. Ihre Wahl fiel unter anderem auf den Hals, bei dem Gesichtsnerv, Gefäßanatomie und Luftröhre dargestellt werden mussten. Um alle Daten dieser Bereiche in die Schulungs-App aufzunehmen, wurden – ausgehend von der Haut – acht anatomische Schichten freigelegt beziehungsweise acht verschiedene 3D-Scans erstellt. Da sich die Färbung der Leiche im Laufe der Zeit verändert, war es notwendig, die Aufnahmen innerhalb eines Tages durchzuführen, um eine einheitliche Farbe zu gewährleisten.
Schnelle Anpassung
Nachdem alle Daten mit dem Artec-3D-Scanner erfasst wurden, mussten sie verarbeitet und im 3D-Modell korrekt angeordnet werden. IMA Solutions griff dafür auf die Geomagic Freeform 3D-Software zurück, die in der Branche aufgrund ihrer umfangreichen Modellierungsfunktionen für organische Formen bekannt ist. Das Unternehmen hat die Software bereits mehrmals eingesetzt und weiß ihre Vorteile zu schätzen. „Wir haben uns für Freeform entschieden, weil wir eine Software suchten, mit der man 3D-Objekte möglichst rasch in einer 3D-Szene bearbeiten kann. Zudem ist Freeform mit einem haptischen Gerät kombinierbar – in unserem Fall war das Phantom Omni. Da die Software die voxelbasierte Tonmodellierung unterstützt, lassen sich etwa Boole’sche Operatoren sehr rasch einsetzen – alternativ kann man das größte Objekt in der Szene einfach stehen lassen. Bei der Bearbeitung der 3D-Objekte fühlt es sich an, als würde man Ton modellieren; es lassen sich unter anderem Details hinzufügen und Formen anpassen. In gewisser Hinsicht ist dies natürlich auch mit herkömmlicher 3D-Software möglich, aber längst nicht so schnell wie mit Freeform“, erläutert Benjamin Moreno, CEO und Gründer von IMA Solutions.
Für das VR-Sezierungsprojekt nutzte das Unternehmen die Freeform Software, um sowohl die Geometrie als auch die Texturen der erfassten 3D-Modelle zu korrigieren und zu optimieren. Dies beinhaltete das Entfernen von Inseln, das Modellieren kleiner 3D-Geometrien und Texture Mapping. Das Erfassen der verschiedenen Sezierungsschritte war vor allem bei Fettgewebe und Blutgefäßen eine Herausforderung. Denn diese Gewebe sind teilweise durchscheinend und absorbieren beziehungsweise reflektieren Licht. Dadurch kann die Scanning-Qualität und damit auch das Endergebnis beeinträchtigt werden. Gerade bei komplexen Bereichen, in denen kleine 3D-Scan-Artefakte enthalten sein können, eignet sich Geomagic Freeform, um Geometrien zu korrigieren und Farben zu verbessern. Diese Aufgaben können dank der Kombination der Software und haptischem Gerät problemlos ausgeführt werden, da sie es ermöglichen, 3D-Objekte „wie in echt“ zu modellieren und zu bearbeiten.
Realistische Darstellung
Bei der Sektion hatten es Benjamin und sein Team mit verschiedenen Gewebearten zu tun, die jeweils unterschiedliche Farben und Materialeigenschaften aufwiesen. Als erstes führten sie für drei Sektionen Machbarkeitstests aus: zwei am Hals und eine im Beckenbereich. Damit wollten sie herausfinden, mit welcher Scan-Qualität sie rechnen konnten und gleichzeitig ausschließen, dass sie später auf unerwartete Probleme stoßen würden. Die ersten Ergebnisse waren vielversprechend und das Team konnte das 3D-Scanverfahren validieren. „Wir waren erstaunt, wie gut der Artec Scanner Geometrien und Farben von problematischem Gewebe erfasst, das durchscheinende Stellen aufweist oder Licht streut beziehungsweise absorbiert. Besonders hilfreich erwies sich die Option zur Einstellung der Scannerempfindlichkeit. Mit ihr ließen sich die Geometrien und Farben zu 100 Prozent erfassen, so dass wir auf eine spezielle Präparation der Leiche komplett verzichten konnten“, so Benjamin Moreno. Für das 3D-Scanning und die Datenverarbeitung stand die aktuelle Version der 3D-Modellierungssoftware Artec Studio zur Verfügung. So konnten mithilfe des kleinen Objektfilters störende Inseln entfernt und dank des Netzvereinfachungstools 3D-Modelle mit niedriger Polygonanzahl für 3D-Echtzeit-Engines erstellt werden.
Finale App-Version noch in diesem Jahr
Der Testlauf mit der finalen App-Version ist im vierten Quartal 2018 in der Medizinischen Universität Montpellier geplant. In der Zwischenzeit sammelt IMA Solutions ausreichend Daten für das Pilotprojekt, um zu bestimmten anatomischen Bereichen mindestens fünf Datensets zu erstellen und den gesamten Workflow auszuwerten. Zudem will das Unternehmen das Design der Benutzeroberfläche verbessern und die von Medizinstudenten und Chirurgen benötigten Tools hinzufügen, damit diese die Vorteile der neuen interaktiven App voll ausschöpfen zu können.
Es ist geplant, die Datensets auf Inside Explorer Technologie des schwedischen High-Tech-Unternehmens Interspectral laufen zu lassen. Diese innovative Technologie ermöglicht eine interaktive und intuitive 3D-Schulungsmethode, da sie die multimodale Echtzeiterfassung in 3D anzeigt und sich Computertomographie (CT), Magnetresonanztomographie (MRT) und 3D-Scans in einer einzigen 3D-Szene kombinieren lassen.
Lern- und Prüfmodus
In ihrer finalen Version ist die App als extrem realistisches Simulationstool geplant, das es sowohl Medizinstudenten als auch Dozenten ermöglichen soll, alle Schritte einer Sektion zu erkunden. Auf der Startseite der App können die Benutzer auswählen, an welchem Körperteil sie eine virtuelle Sektion ausführen möchten. Danach stehen zwei Modi zur Auswahl: Im Lernmodus erfährt der Student alles Wissenswerte über den gewählten anatomischen Bereich, im Prüfmodus beantwortet er Multiple-Choice-Fragen, um seine Kenntnisse zu testen.
Die Kombination aus aktuellen 3D- und VR-Technologien soll einen einen Quantensprung in der medizinischen Lehre ermöglichen. Von der erfolgreichen Integration der interaktiven App profitieren Studenten, Dozenten und Ärzte gleichermaßen. Angehenden Medizinern wird die Chance eröffnet, an virtuellen Leichen zu üben, ohne durch Faktoren wie Verfügbarkeit oder Kosten eingeschränkt zu sein. Gleichzeitig erlaubt die App Dozenten, Ärzten und anderen Medizinern neue Lehrmethoden einzusetzen.