Hyperspektrale und multispektrale Bildgebung

Hyperspektrale und multispektrale Bildgebung sind zwei verwandte Technologien, die in den letzten zwei Jahrzehnten zunehmend an Bedeutung und Nutzen gewonnen haben. Die Begriffe werden häufig synonym eingesetzt, stehen tatsächlich aber für zwei unterschiedliche Bildgebungsverfahren mit jeweils eigenen Anwendungsbereichen. Beide Technologien bieten einige Vorteile gegenüber herkömmlichen Bildverarbeitungsmethoden, die Licht aus dem sichtbaren Spektrum (400-700 nm) verwenden. Diese Vorteile gehen jedoch mit einer erhöhten Systemkomplexität in Bezug auf Beleuchtung, Filterung und optisches Design einher.

Bei typischen Bildverarbeitungsanwendungen liegt die verwendete und vom Sensor erfasste Beleuchtung im sichtbaren Spektrum. Dieser Teil des Spektrums besteht aus dem einzigen Licht, das das menschliche Auge wahrnehmen kann, und reicht von etwa 400 nm (violett) bis 700 nm (dunkelrot) (Abbildung 1). Bildgebende Objektive und Sensoren weisen in der Regel eine spektrale Maximalempfindlichkeit bei etwa 550 nm auf. Die Quanteneffizienz eines Kamerasensors ist die Fähigkeit, Photonen in ein elektrisches Signal umzuwandeln; diese Effizienz nimmt im Ultraviolett oder im nahen Infrarot deutlich ab. Die hyperspektrale Bildgebung (HSI) ist vereinfacht ausgedrückt eine Methode zur Erfassung von Bildern, die Informationen aus einem breiteren Teil des elektromagnetischen Spektrums enthalten. Dieser Teil kann mit UV-Licht beginnen, sich über das sichtbare Spektrum erstrecken und im nahen oder kurzwelligen Infrarot enden. Mithilfe dieses erweiterten Wellenlängenbereichs können Eigenschaften der Materialzusammensetzung erfasst werden, die sonst nicht sichtbar sind.

Abbildung 1: Nur ein kleiner Teil des Wellenlängenspektrums ist für das menschliche Auge sichtbar. Bei der hyperspektralen und multispektralen Bildgebung werden auch Wellenlängenbereiche außerhalb des sichtbaren Spektrums genutzt.

Bildverarbeitungssensoren geben Graustufenwerte aus, die ein 2D-Bild des Objekts innerhalb eines bestimmten Sichtbereichs ergeben. Der funktionale Nutzen besteht im Allgemeinen in der Erkennung von Merkmalen, um Objekte zu sortieren, zu vermessen oder zu lokalisieren. Das Bildverarbeitungssystem „kennt“ die für die Beleuchtung verwendeten Wellenlängen nicht, es sei denn, es werden optische Filter verwendet. Für Sensoren mit einem Bayer-Filter (RGB) gilt dies nicht, aber auch hier ist jedes Pixel auf die Aufnahme von Licht aus einem schmalen Wellenlängenband beschränkt, und die Kamerasoftware ist es, die letztendlich die Farbe zuweist. In einem echten Hyperspektralbild dagegen entspricht jedes Pixel bestimmten Koordinaten, Signalintensitäten und Wellenlängeninformationen. Aus diesem Grund wird HSI oft auch als bildgebende Spektroskopie bezeichnet.¹

Als kurze Randnotiz: Ein Spektrometer sammelt sowohl Informationen über die Wellenlänge als auch über die relative Intensität der verschiedenen erfassten Wellenlängen.² Die Geräte sammeln in der Regel Licht von einer einzelnen Quelle oder Stelle auf einer Probe. Mit einem Spektrometer lassen sich Stoffe, die bestimmte Wellenlängen streuen und reflektieren, oder die Materialzusammensetzung anhand von Fluoreszenz- oder Phosphoreszenzemissionen nachweisen. Ein HSI-System erweitert diese Technologie, indem es den erfassten Lichtspektren Positionsdaten zuordnet. Ein hyperspektrales System gibt kein 2D-Bild aus, sondern einen hyperspektralen Datenwürfel oder Bildwürfel.³

Es gibt vier primäre hyperspektrale Erfassungsmodi, von denen jeder eine Reihe von Vor- und Nachteilen hat (Abbildung 2). Bei der Whiskbroom-Methode handelt es sich um ein punktuelles Abtastverfahren, bei dem die Spektralinformationen jeweils für eine Raumkoordinate erfasst werden. Diese Methode bietet in der Regel die höchste spektrale Auflösung, erfordert jedoch, dass das System den Zielbereich sowohl auf der x- als auch auf der y-Achse abtastet, was die Gesamterfassungszeit erheblich verlängert.¹ Die Pushbroom-Methode ist eine zeilenweise Datenerfassung, bei der eine einzige Achse der räumlichen Bewegung erforderlich ist, da jeweils eine Reihe von Pixeln einen Bereich abtasten, um die Spektral- und Positionsinformationen zu erfassen. Pushbroom-Systeme zeichnen sich durch "kompakte Größe, geringes Gewicht, einfachere Bedienung und höheres Signal-Rausch-Verhältnis"¹ aus. Bei der Verwendung dieser HSI-Methode ist es entscheidend, die Belichtungszeiten genau richtig zu wählen. Eine falsche Belichtungszeit führt zu einer ungleichmäßigen Sättigung oder Unterbelichtung von Spektralbereichen. Die Methode „Planescanning“ bildet den gesamten 2D-Bereich auf einmal ab, allerdings in jedem Wellenlängenintervall, und erfordert zahlreiche Bildaufnahmen, um die spektrale Tiefe des Hyperspektraldatenwürfels zu erzeugen. Bei dieser Aufnahmemethode ist zwar keine Verschiebung des Sensors oder des gesamten Systems erforderlich, aber es ist wichtig, dass sich das Objekt während der Aufnahme nicht bewegt, andernfalls wird die Genauigkeit der Positions- und Spektralinformationen beeinträchtigt. Die vierte und als letzte entwickelte Art der hyperspektralen Bilderfassung wird als Single-Shot oder Snapshot bezeichnet. Ein Single-Shot-Sensor erfasst den gesamten hyperspektralen Datenkubus innerhalb einer einzigen Integrationsperiode.¹ Obwohl Single-Shot in Zukunft die bevorzugte Methode der HSI-Implementierung zu sein scheint, ist sie derzeit durch eine vergleichsweise geringere räumliche Auflösung begrenzt und bedarf weiterer Entwicklung.¹

Abbildung 2: Die vier hyperspektralen Erfassungsmodi (A) Punkt-Scan- oder Whiskbroom-Methode, (B) Zeilenabtast- oder Pushbroom-Methode, (C) Planescan-Methode und (D) Single-Shot-Methode.

Ein multispektrales Bildgebungssystem (MSI) ähnelt einem hyperspektralen System, weist jedoch einige wesentliche Unterschiede auf. Im Vergleich zur praktisch kontinuierlichen Wellenlängen-Datenerfassung der HSI konzentriert sich die MSI auf mehrere vorgewählte Wellenbereiche, die auf die jeweilige Anwendung abgestimmt sind. Gängige RGB-Sensoren helfen uns, das Konzept zu veranschaulichen, auch wenn Sie kein direktes Beispiel für MSI sind. RGB-Sensoren werden mit einem Bayer-Muster überlagert, das aus Rot-, Grün- und Blaufiltern besteht. Diese Filter ermöglichen eine Absorption von Wellenlängen aus bestimmten Farbbereichen durch die Pixel, während der Rest des Lichts geblockt wird. Die Bandpassfilter haben Transmissionsbänder im Bereich von 400-700 nm und überlappen sich spektral leicht. Ein Beispiel dafür ist in Abbildung 3 dargestellt. Die aufgenommenen Bilder werden dann mit Falschfarben wiedergegeben, um der menschlichen Wahrnehmung zu entsprechen. Bei den meisten multispektralen Bildgebungsanwendungen sind die Wellenlängenbänder wesentlich schmaler und zahlreicher. Die Wellenbereiche liegen in der Regel in der Größenordnung von einigen zehn Nanometern und sind nicht ausschließlich Teil des sichtbaren Spektrums. Je nach Anwendung können auch UV- und NIR-Wellenlängen sowie thermische Wellenlängen (mittleres IR) isolierte Kanäle haben.⁴

Abbildung 3: Die Quanteneffizienzkurve für eine RGB-Kamera zeigt die Überschneidung der Empfindlichkeiten von Rot, Grün und Blau.

MSI wird manchmal als eine schlechtere Form von HSI angesehen, die eine geringere spektrale Auflösung aufweist. In der Tat haben beide Technologien ihre eigenen Vorteile, die sie zu einem bevorzugten Werkzeug für unterschiedliche Aufgaben machen. HSI eignet sich am besten für Anwendungen, die sensibel auf kleinste Signalunterschiede in einem kontinuierlichen Spektrum reagieren. Diese kleinen Unterschiede könnten von einem System, das größere Wellenbereiche abtastet, übersehen werden. Bei einigen Systemen müssen jedoch erhebliche Teile des elektromagnetischen Spektrums blockiert werden, um Licht selektiv einzufangen (Abbildung 4). Die anderen Wellenlängen könnten hohes Rauschen verursachen, das die Messungen und Beobachtungen beeinträchtigen würde. Außerdem können, wenn weniger Spektralinformationen im Datenwürfel enthalten sind, die Bilderfassung, -verarbeitung und -analyse schneller erfolgen.

Abbildung 4: Vergleich der Bildstapel bei der multispektralen Bildgebung, bei der Bilder in mehreren verschiedenen Spektren aufgenommen werden, und der hyperspektralen Bildgebung, bei der Bilder in einem kontinuierlichen Spektrum aufgenommen werden.

Die Anwendungsbereiche, die den Einsatz von HSI und MSI erfordern, werden immer zahlreicher. Die Fernerkundung, die Abbildung der Erdoberfläche aus der Luft mithilfe von unbemannten Flugzeugen (UAVs) und Satelliten, stützt sich seit Jahrzehnten auf HSI und MSI. Die Spektralfotografie kann die Erdatmosphäre und verschiedene Wolkendecken durchdringen, um einen unverfälschten Blick auf den Boden zu erhalten. Mit dieser Technologie lassen sich Veränderungen in der Bevölkerung verfolgen, geologische Veränderungen beobachten und archäologische Stätten untersuchen. Darüber hinaus sind HSI- und MSI-Technologien für die Erforschung der Umwelt immer wichtiger geworden. Es können Daten über die Abholzung von Wäldern, die Zerstörung von Ökosystemen, das Recycling von Kohlenstoff und die zunehmend unberechenbaren Wettermuster gesammelt werden. Die Forscher nutzen die gesammelten Informationen, um Vorhersagemodelle für die globale Ökologie zu erstellen, die die Grundlage für viele Umweltinitiativen zur Bekämpfung der negativen Auswirkungen des Klimawandels und des menschlichen Einflusses auf die Natur bilden.⁶

Das Gleiche gilt für den medizinischen Bereich. Nichtinvasive Scans der Haut zur Erkennung kranker oder bösartiger Zellen können jetzt von Ärzten mithilfe der Hyperspektralbildgebung durchgeführt werden. Bestimmte Wellenlängen dringen tiefer in die Haut ein als andere und ermöglichen ein detaillierteres Verständnis des Zustands eines Patienten. Krebs und andere kranke Zellen sind nun leicht von gesundem Gewebe zu unterscheiden, da sie unter der richtigen Stimulation fluoreszieren und Licht absorbieren. Ärzte müssen sich nicht mehr auf Vermutungen basierend auf ihrer Betrachtung sowie auf die Beschreibung der Symptome durch den Patienten stützen. Hochentwickelte Systeme können die Spektraldaten aufzeichnen und automatisch interpretieren, was zu erheblich schnelleren Diagnosen und einer raschen Behandlung der genauen Problembereiche führt.⁵

Medizintechnik und Fernerkundung sind nur einige der Bereiche, in denen diese Technologien eine immer größere Rolle gespielt haben. Zu weiteren spezifischen Marktbereichen gehören Landwirtschaft, Lebensmittelqualität und -sicherheit, Pharmazie und Gesundheitswesen.³ Für Landwirte sind die genannten Instrumente besonders nützlich, da sie damit das Wachstum ihrer Pflanzen bestimmen können. Traktoren und Drohnen können mit Systemen zur spektralen Bildgebung ausgestattet werden, um Felder zu erfassen und eine Art Fernerkundung in geringer Höhe durchzuführen. Die Landwirte analysieren dann die spektralen Merkmale der aufgenommenen Bilder. Anhand dieser Merkmale lässt sich der allgemeine Gesundheitszustand der Pflanzen, der Zustand des Bodens, Regionen, die mit bestimmten Chemikalien behandelt wurden, oder das Vorhandensein von Schäden, z. B. einer Infektion, feststellen. Alle Informationen haben eindeutige spektrale Eigenschaften, die erfasst, analysiert und für eine optimale Produktion der Erzeugnisse genutzt werden können.

Obwohl die Anwendungsbereiche, die von HSI und MSI profitieren, groß sind und weiter zunehmen, haben die Beschränkungen der derzeitigen Technologie zu einer langsamen Einführung durch die Industrie geführt. Derzeit sind die Systeme im Vergleich zu anderen Bildverarbeitungskomponenten deutlich teurer. Die Sensoren müssen komplexer sein, eine breitere spektrale Empfindlichkeit aufweisen und genau kalibriert werden. Für Sensoren werden häufig andere Substrate als Silizium benötigt, das nur in einem Bereich von etwa 200-1000 nm empfindlich ist. Indiumarsenid (InAs), Galliumarsenid (GaAs) oder Indiumgalliumarsenid (InGaAs) können zur Detektion von Licht bis zu 2600 nm verwendet werden. Sollen Bilder vom NIR bis zum MWIR aufgenommen werden, ist ein Quecksilber-Cadmium-Tellurid-Sensor (MCT oder HgCdTe), ein Sensor aus Indiumantimonid (InSb), ein Bildsensor aus Indiumgalliumarsenid (InGaAs), ein Mikrobolometer oder ein anderer Sensor für lange Wellenlängen erforderlich. Die in diesen Systemen verwendeten Sensoren und Pixel müssen größer sein als viele standardmäßige Bildverarbeitungssensoren, um die erforderliche Empfindlichkeit und räumliche Auflösung zu erreichen.¹

Eine weitere Herausforderung besteht darin, die High-End-Sensoren mit den richtigen optischen Komponenten zu kombinieren. Die Aufzeichnung von Spektraldaten stützt sich in hohem Maße auf Bandpassfilter, diffraktive Optiken wie Prismen oder Gitter und sogar auf Flüssigkristallfilter oder akustooptisch abstimmbare Filter, um das Licht unterschiedlicher Wellenlängen zu trennen.⁷ Außerdem müssen die für die Kameras verwendeten Objektive optimal konstruiert und für große Wellenlängenbereiche und Temperaturschwankungen geeignet sein. Die Objektivdesigns müssen mehr optische Elemente enthalten, was Kosten und Gewicht des Systems erhöht. Für eine breitbandige Farbkorrektur müssen die Elemente unterschiedliche Brechungsindizes und Dispersionseigenschaften aufweisen. Unterschiedliche Glastypen führen zu unterschiedlichen thermischen und mechanischen Eigenschaften. Nach der Auswahl von Gläsern mit den entsprechenden Transmissionsspektren muss jedes Glas mit einer breitbandigen und mehrschichtigen Antireflexionsbeschichtung versehen werden, um eine maximale Lichttransmission zu gewährleisten. Die Vielzahl verschiedener Anforderungen macht den Designprozess von Objektiven für die hyperspektrale und multispektrale Bildgebung langwierig und erfordert große Erfahrung. In bestimmten Anwendungsbereichen sind außerdem athermische Objektive erforderlich, um sicherzustellen, dass ein System sowohl am Boden als auch in der oberen Atmosphäre gleich gut funktioniert.

In der Zukunft wird verstärkt daran gearbeitet HSI- und MSI-Systeme kompakter, erschwinglicher und benutzerfreundlicher zu machen. Durch diese Verbesserungen werden neue Märkte ermutigt, die Technologie zu nutzen, und Bereiche, in denen die Systeme bereits eingesetzt werden, werden gefördert.

Literatur

Hyperspectral Imaging: A Review on UAV-Based Sensors, Data Processing and Applications for Agriculture and Forestry.
D. W. Ball, Field Guide to Spectroscopy, SPIE Press, Bellingham, WA (2006).
Imaging in Dermatology, 2016; Kapitel 16 – Hyperspectral and Multispectral Imaging in Dermatology.
R. Paschotta, article on 'multispectral imaging' in the Encyclopedia of Laser Physics and Technology, 1. edition October 2008, Wiley-VCH, ISBN 978-3-527-40828-3.
Armin Schneider und Hubertus Feußner. Biomedical Engineering in Gastrointestinal Surgery. Academic Press, 2017.
Unninayar, S. und L. Olsen. “Monitoring, Observations, and Remote Sensing – Global Dimensions.” Encyclopedia of Ecology, 2008, S. 2425–2446., doi:10.1016/b978-008045405-4.00749-7.
Schelkanova, I., et al. “Early Optical Diagnosis of Pressure Ulcers.” Biophotonics for Medical Applications, 2015, S. 347–375., doi:10.1016/b978-0-85709-662-3.00013-0.