Physics-based deep representation learning of vegetation using optical satellite image time series
Apprentissage profond de représentations physiques de la végétation à partir de séries temporelles d'images satellite optiques
Résumé
Human-driven climate change is triggering unprecedented and dire transformations of ecosystems and habitats worldwide. Remote sensing offers precious tools for monitoring the state of the Earth, and for understanding how the biosphere functions and is affected by human activities. Satellite remote sensing capabilities and data processing techniques have rapidly improved over the last decades, and have considerably advanced the study of life processes on land masses. The advent of modern machine learning and exponential development of computational power are crucial for the exploitation of the vast amount of data produced by remote sensors. In particular, the S2 mission has been providing for nearly a decade high spatial and temporal resolution multi-spectral images at a global scale. S2 products are released with an open-data policy that supports research efforts and various applications, such as the enhancement of agricultural practices, land management and disaster response. Remote sensing data is a measurement of incoming radiation and its properties are related to the nature of elements and processes on the surface of the Earth. Extracting useful representations that contain relevant information is fundamental for applications of remote sensing. The objective of this thesis is to find useful representations from remote sensing data for use in downstream applications. There are several challenges in the retrieval of such representations. First, in order to be useful to different tasks, the representations need to be general and interpretable. This can be achieved with bio-physical variables that characterize the target system, for instance the water and mineral content in the soil, the pigment concentrations, the canopy structure and the temporal evolution of vegetation. Also, remote sensing data has an intrinsic uncertainty, and representations of this data should be associated with a measure of uncertainty. Another challenge lies in the scarcity of reference data in remote sensing. Although remote sensing measurements are a big data, it is difficult to obtain ground truth data. For instance databases of vegetation bio-physical parameters that can be related to remote sensing measurements are rare. Methods that attempt to retrieve such parameters therefore commonly resort to physical modeling and inversion. This Ph.D. is divided into three main parts, which are associated with its main contributions. Its first contribution is the identification of a key issue of supervised regression models that perform model inversion. Their performance is shown to be very dependent on the choice of the sampling distribution for simulating their training data-sets. The second contribution of this Ph.D. is the development of a self-supervised approach for retrieving physical representations of remote sensing data. This approach is based on the framework of Variational Autoencoders, and relies on the incorporation of a physical model and physical knowledge in a deep learning framework. Instead of attempting to optimize the physical variable retrieval from an unavailable ground truth or a biased simulated reference, this method uses input data reconstruction as a proxy task. Finally, in a third part, this thesis reports the results of the application of the proposed approach on the retrieval of physical variables in two settings. In a first experiment, it is used with the PROSAIL radiative transfer model for retrieving leaf characteristics and canopy structure variables. The resulting PROSAIL-VAE model is trained directly using S2 multi-spectral images. Validation with in-situ data have corroborated the performance of the approach. In a second application, the proposed approach is used to retrieve phenological variables that characterize the temporal behavior of vegetation. The so-called Pheno-VAE is trained on annual NDVI time series extracted from S2 data.
Le changement climatique initié par les activités humaines provoque des transformations drastiques et sans précédent des écosystèmes et des zones habitées dans le monde entier. La télédétection s'impose comme un outil essentiel pour observer la Terre, pour comprendre le fonctionnement de la biosphère ainsi que son altération par les pressions anthropiques. Les capacités d'observation par télédétection spatiale ainsi que les techniques de traitement du signal ont rapidement évolué lors des dernières décennies. L'émergence des techniques d'apprentissage statistique modernes et l'augmentation exponentielle de la puissance de calcul disponible sont cruciaux dans l'exploitation de l'immense volume de données produit par les capteurs de télédétection. En particulier, la mission S2 produit des images multi-spectrales à haute résolution spatiale et temporelle depuis une dizaine d'années à une échelle globale, diffusées gratuitement avec une politique d'accès libre. Les produits S2 ont permis le développement de diverses applications, telles que l'amélioration des techniques agricoles, la gestion du territoire et la réponse aux catastrophes naturelles. Les données de télédétection sont des mesures de radiations électromagnétiques dont les caractéristiques sont reliées à la nature des éléments et aux processus à la surface de la Terre. L'extraction de représentations contenant des informations pertinentes sur ces éléments est fondamentale pour les applications de télédétection. L'objectif de cette thèse est de proposer une méthode d'inférence de telles représentations à partir de données de télédétection. Plusieurs défis se présentent pour estimer ces représentations. D'abord, elles doivent êtres générales et interprétables, afin d'être utilisables par plusieurs applications. Cela peut être réalisé avec des variables bio-physiques qui caractérisent les systèmes observés, par exemple le contenu minéral et en eau des sols ou la concentration en pigments et la structure de la canopée pour la végétation, ainsi que son évolution temporelle. Par ailleurs, les représentations doivent êtres associées à une incertitudes d'estimation. Le manque de données de référence pose aussi un défi. Contrairement aux acquisitions de télédétection, il est difficile d'obtenir des vérités terrain. Les bases de données qui associent des variables bio-physiques de la végétation et des données de télédétection sont rares. Les approches qui estiment ces variables utilisent donc la modélisation physique et l'inversion. Cette thèse est divisée en trois parties principales qui détaillent ses quatre contributions. La première contribution est la démonstration de la dépendance des modèles de régression supervisée au choix de la distribution d'échantillonnage pour leur jeu de données d'entraînement. La seconde contribution est le développement d'une méthodologie d'estimation de variables physiques non supervisée à partir de données de télédétection, basée sur les Autoencodeurs Variationnels (VAE). Cela consiste en l'incorporation de modèles et de connaissances physiques à priori dans un modèle d'apprentissage profond. Cette approche utilise la reconstruction comme tâche intermédiaire pour estimer une variable physique, plutôt que la comparaison avec une vérité terrain indisponible ou une référence simulée. Dans une troisième partie, ce manuscrit détaille les deux autres contributions de cette thèse : l'application de la méthodologie proposée à l'estimation de variables physiques dans deux applications. Dans la première le modèle de transfert radiatif PROSAIL est utilisé dans le modèle PROSAIL-VAE afin d'estimer les caractéristiques de feuilles et de la canopée à partir d'images S2. La validation avec des données in-situ a permis de confirmer les performances de cette approche. Dans la seconde application, des variables phénologiques caractérisant le comportement temporel de la végétation sont estimées à partir de séries temporelles de NDVI, avec le modèle Phéno-VAE
| Origine | Version validée par le jury (STAR) |
|---|