Aus der industriellen Produktion sind Augmented-Reality-Technologien nicht mehr wegzudenken. Sie assistieren dem Menschen bei der Montage, zum Beispiel mit Projektionen, die Montageschritte anzeigen. In dem soeben gestarteten Forschungsprojekt VizARd soll die Technologie weiterentwickelt werden – an zwei sehr unterschiedlichen Praxisbeispielen: für die Qualitätsprüfung im Flugzeugbau und bei der Planung von chirurgischen Eingriffen am Menschen.
Vor bestimmten Operationen werden dreidimensionale Schnittbilder (z.B. Computertomografie, Magnetresonanztomografie) angefertigt, um diese exakt zu planen. Chirurgen sollen künftig durch eine im Projekt VizARd entwickelte Augmented-Reality-Lösung unterstützt werden. Diese Bilddaten können dann intuitiv und benutzerfreundlich direkt auf der Haut des Patienten am Ort des Einschnittes visualisiert werden.
Weichteilgewebe und Lageerkennung als Herausforderung
durch Augmented Reality © RISC Software GmbH
Die Herausforderung: Es gibt zwar viele und valide Daten vom Menschen und seinem „Innenleben“, allerdings ist der Mensch alles andere als ein starres „Objekt“ – die Lage von Hautoberfläche, Weichteilgewebe und den Organen verändert sich mit der Körperposition. Um diese forschungstechnischen Herausforderungen anzugehen, greift PROFACTOR auf Technologien zurück, die in den letzten Jahren für Assistenzsysteme entwickelt wurden, wie z.B. die bildbasierte Lageerkennung auf Basis von Deep-Learning-Technologien. Was bislang der Digitalisierung des Menschen, seines Werkzeugs und seiner Werkstücke in der Montagehalle gedient hat, wird nun auf den Menschen im Operationssaal übertragen, so Projektleiter Harald Bauer von PROFACTOR: „Das anvisierte Zusammenspiel von unterschiedlichen Schnittstellen für die Bediener geht weit über den Status quo bestehender Augmented-Reality-Technologie hinaus.“
Ein weiterer zentraler Aspekt ist die Verformung von Weichteilgewebe, die bei der Visualisierung von Bilddaten berücksichtigt werden muss. Der Projektpartner RISC Software GmbH aus Hagenberg hat bereits durch vorangegangene Projekte Erfahrung in der biomechanischen Modellierung im Medizinbereich. „Die Visualisierung von medizinischen Bildern direkt am 3D-Patienten – im Gegensatz zu einem 2D-Bildschirm – bildet die Grundlage für richtungsweisende Forschungsprojekte und Verbesserung bestehender Anwendungen im medizinischen Bereich“, sagt Stefan Thumfart, Projektkoordinator der RISC Software GmbH.
Zusammenarbeit mit MedUni Graz
Der medizinische Projektpartner ist die MedUni Graz mit der Klinischen Abteilung für Plastische, Ästhetische und Rekonstruktive Chirurgie und der Universitätsklinik für Radiologie, die an der praktischen Implementierung mitwirken und die Anwendungsszenarien bereitstellen.
Benutzerfreundlichkeit ist auch für Chirurgen ein Thema
Eine andere Herausforderung ist die Benutzerfreundlichkeit. Bauer erklärt: „Bei Chirurgen ist es nicht anders als bei Facharbeitern. Ein System wird nur dann akzeptiert, wenn die Bedienung des Systems intuitiven Charakter hat.“ Für die Gestaltung der Nutzeroberfläche der Software ist die Digitalagentur Netural verantwortlich. Das Unternehmen forscht seit Jahren intensiv im Bereich E-Health und medizinischer Technik. Besonders die benutzerfreundliche Anwendung von Mixed-Reality-Anwendungen steht im Fokus der Entwicklungen.
Die andere Dimension: Tragflächen von Flugzeugen
Die industrielle Anwendung im Projekt hat wesentliche größere Dimensionen im Fokus – zum Beispiel die Tragflächen von Flugzeugen. Die Leichtbauteile aus Faserverbundwerkstoffen werden von Bildverarbeitungssystemen auf Fehler untersucht. Der Mensch soll durch die neuen Technologien schneller zu den virtuell markierten Fehlerstellen geleitet werden.
PROFACTOR koordiniert das Projekt
PROFACTOR ist Koordinator des zwei Jahre dauernden Projekts mit vier Partnern und einem Volumen von 1 Million Euro. Bauer sagt: „Einen Technologietransfer, in diesem Fall von industriellen Anwendungen in die Medizintechnik, werden wir in Zukunft verstärkt im Auge haben.“
Projekname: VizARd (Visual Augmented Reality Assistant for Spatial Mapping)
Förderung FFG – ICT of the Future
Laufzeit November 2018 – Oktober 2020
Projektpartner
PROFACTOR GmbH
RISC Software GmbH
Medical University of Graz
Netural GmbH
Danobat S Coop
