SEMI-AUTOMATED REGISTRATION OF CLOSE-RANGE HYPERSPECTRAL SCANS USING ORIENTED DIGITAL CAMERA IMAGERY AND A 3D MODEL

Diverse applications can benefit from the integration of data acquired by a new generation of close-range imaging sensors with high-resolution three-dimensional (3D) geometric data. However, such integration requires increased automation and efficiency of image-data registration to guarantee adoption by users beyond the geomatics community. This paper presents a semi-automated method for registering terrestrial panoramic hyperspectral imagery with lidar models and conventional digital photography. The method relies on finding corresponding points between images acquired in significantly different parts of the electromagnetic spectrum, from different viewpoints, and with different spatial resolution and geometric projections. Optimisation of the scale invariant feature transform (SIFT) operator was required to ensure a sufficient number of homologous points, as well as a routine for eliminating false matches. A band selection routine maximises the number of points found while minimising the input data for SIFT. Three-dimensional object coordinates were derived in the lidar model and used as control points in a bundle block adjustment to determine the hyperspectral exterior orientation and intrinsic camera parameters. The method developed was applied to two datasets with different characteristics, and the results indicate that the proposed method is a time-saving alternative to manual approaches. Resume Diverses applications peuvent beneficier de l'integration des donnees acquises de maniere rapprochee par une nouvelle generation de capteurs imageurs avec des donnees geometriques 3D a haute resolution. Cependant, cette integration ne sera adoptee par les utilisateurs au-dela de la communaute geomatique qu'au prix d'une automatisation et d'une efficacite accrues du recalage des donnees. Cet article presente une methode semi-automatique de recalage entre des images hyperspectrales panoramiques terrestres et des modeles lidar et des images numeriques conventionnelles. La methode repose sur la recherche de points homologues entre des images acquises dans des domaines tres differents du spectre electromagnetique, a partir de differents points de vue, et avec des resolutions spatiales et des projections geometriques differentes. Une optimisation de l'operateur SIFT et le developpement d'une routine destinee a eliminer les fausses correspondances ont permis de garantir un nombre suffisant de points homologues. Une routine de selection de bande spectrale maximise le nombre de points trouves tout en minimisant les donnees d'entree pour l'operateur SIFT. Des coordonnees d'objet 3D ont ete extraites du modele lidar et utilisees comme points de controle dans la compensation par faisceaux d'un bloc d'images hyperspectrales en vue de determiner les parametres d'orientation externe et les parametres intrinseques de l'instrument. La methode developpee a ete appliquee a deux jeux de donnees avec des caracteristiques differentes, et les resultats indiquent que la methode proposee permet de gagner du temps par rapport aux approches manuelles. Zusammenfassung Die Integration von Nahbereichs-Bildsensoren mit hochaufgelosten dreidimensionalen Daten stellt einen vielversprechenden Ansatz zur Erweiterung der Auswerte- und Analysemoglichkteiten in zahlreichen Anwendungen dar. Um eine routinema ss ige Anwendung von fachfremden Anwendern in verschiedenen Fachbereichen zu gewahrleisten, muss die Registrierung der unterschiedlichen Bilddaten und die anschlie ss ende Datenintegration effizient und moglichst automatisch erfolgen. Der vorliegende Artikel prasentiert eine semi-automatische Methode zur gemeinsamen Referenzierung von terrestrischen hyperspektralen Panoramabildern, konventionellen Bilddaten und terrestrischen Laserscanner-Modellen. Die Methode ermittelt korrespondierende Punkte in diesen verschiedenen Datensatzen, die sich durch stark unterschiedliche Spektralbereiche (sichtbares und infrarotes Licht), Aufnahmewinkel, Bildauflosungen und Aufnahmegeometrien auszeichnen. Um eine ausreichende Anzahl homologer Bildpunkte ermitteln zu konnen, wird der SIFT-Algorithmus (scale invariant feature transform) entsprechend optimiert und zusammen mit einer Methode zur Detektion falscher Punktzuordnungen implementiert. Daruber hinaus maximiert eine Routine zur Bandselektion die Anzahl homologer Bildpunkte wahrend gleichzeitig die Eingangsdaten fur den SIFT-Algorithmus minimiert werden. Die Bestimmung der inneren und au ss eren Orientierung der hyperspektralen Panoramabilder erfolgt mittels einer Bundelblockausgleichung auf Basis eines geometrischen Modells fur Rotationszeilenkameras. Als Passpunkte dienen dabei die aus der Laserscanner-Punktwolke abgeleiteten 3D-Objektkoordinaten. Die Methode wird an zwei Datensatzen getestet, wobei geometrische Genauigkeitsabschatzungen und Vergleiche mit manuellen Registrierungen vorgenommen werden. Die Ergebnisse belegen, dass die Methode als zuverlassige Alternative zu manuellen Ansatzen genutzt werden kann, um Zeitaufwand und Interaktion des Nutzers signifikant zu verringern. Resumen Son varias las aplicaciones que pueden beneficiarse de la integracion de datos geometricos 3D adquiridos por una nueva generacion de sensores de fotogrametria cercana de alta resolucion. Sin embargo, esta integracion demanda una mayor automatizacion y eficiencia en el correspondencia de imagenes para garantizar la adopcion de la tecnologia por usuarios ajenos a la comunidad geomatica. En el articulo se presenta un metodo semiautomatico para la correspondencia de imagenes hiperespectrales panoramicas terrestres con modelos Lidar e imagenes digitales. Este metodo se basa en la busqueda de puntos correspondientes entre las imagenes adquiridas en partes del espectro significativamente distintos, desde puntos de vista diferentes y con distintas resoluciones espectrales y distintas proyecciones geometricas. La optimizacion del operador SIFT (scale invariant feature transform) es necesaria para garantizar un numero suficiente de puntos homologos, asi como una rutina para la eliminacion de coincidencias. Una rutina de seleccion de banda maximiza el numero de puntos encontrados mientras que minimiza los datos de entrada para el operador SIFT. Se han derivado, del modelo Lidar, coordenadas 3D de objetos que se han usado como puntos de control o anclaje en el ajuste de haces para determinar la orientacion exterior y los parametros intrinsecos de camara de las imagenes hiperespectrales. El metodo desarrollado se ha aplicado a dos conjuntos de datos con caracteristicas diferentes, cuyos resultados demuestran que el metodo propuesto es una alternativa que ahorra tiempo respecto a las aproximaciones manuales.