Soutenance de thèse de CHARLOTO Carl
Titre de thèse
Apprentissage actif profond combiné aux plans d'expériences
Deep active learning integrated with experimental designs
Résumé de la thèse
La spectroscopie infrarouge est largement utilisée pour connaître rapidement des propriétés physico-chimiques dans une majorité d'industries. Son usage repose sur des modèles de calibration construits à partir de valeurs de référence, qui proviennent d'analyses de laboratoire, lentes, coûteuses et parfois destructives. Le besoin en valeurs de référence ne cesse de croître avec le développement de nouvelles applications et l'utilisation de nouveaux modèles, notamment l'essor de l'apprentissage profond nécessite des jeux de données plus volumineux. La question centrale qui se pose est la suivante: "comment réduire ce nombre de valeurs de référence tout en garantissant la performance du modèle sous-jacent ?". Pour explorer cette question, ce travail propose d'inscrire dans la chaîne de traitement spectral une étape située après l'acquisition des spectres et avant l'entraînement du modèle. Elle consiste à sélectionner les spectres selon leur potentiel informatif, c'est-à-dire leur potentiel à améliorer la performance du modèle. Cela nécessite de sélectionner les spectres selon plusieurs critères que l'on peut classer en deux types : les critères d'exploration et les critères d'exploitation. Les algorithmes de sélection existants en chimiométrie reposent principalement sur des critères exploratoires, une limite de ces algorithmes est qu'ils ne répondent pas clairement à cette problématique car ils ne prennent pas en compte les besoins du modèle lors de la sélection. Quatre axes de recherche sont donc étudiés dans ce travail de thèse. Le premier vise à évaluer l'intérêt d'une sélection orientée par des critères par rapport à une sélection non orientée, c'est-à-dire une sélection qui ne s'appuie sur aucune connaissance. Le deuxième s'intéresse à l'espace dans lequel appliquer les critères de sélection exploratoire, c'est-à-dire l'espace spectral initial, ou dans un espace transformé par une réduction de dimension ou un prétraitement. Le troisième porte sur l'apport des critères d'exploitation dans la sélection. Enfin, le quatrième porte sur la combinaison des deux critères précités au sein d'une même stratégie. Les résultats de ce travail s'articulent autour de ces quatre axes et sont évalués sur six jeux de données, qui nécessitent des modèles de régression et de classification, linéaires et non linéaires. Les résultats montrent que la sélection orientée permet de réduire le nombre de valeurs de référence tout en garantissant la performance du modèle, même pour une stratégie de sélection simple. De ce fait, une sélection orientée permet d'éviter de choisir plusieurs spectres qui apportent le même type d'information, sans gagner de nouvelle connaissance, contrairement à une sélection aléatoire. D'autre part, l'étude de l'espace de sélection des spectres infrarouges montre qu'une sélection effectuée après une réduction de dimension et un encodage des composantes principales est plus performante. Cet espace transformé se rapprochant alors de la distance de Mahalanobis calculée dans l'espace d'origine ce qui permet d'avoir des directions homogènes par rapport à un espace spectral brut qui tend à avoir des directions très hétérogènes. De plus, les critères d'exploitation se révèlent déterminants pour la plupart des jeux de données étudiés. Ils ciblent les spectres pour lesquels la prédiction du modèle est incertaine, en s'appuyant sur l'hypothèse qu'un spectre associé à une prédiction incertaine est un spectre informatif. Pour finir, trois algorithmes itératifs sont proposés pour concilier critère d'exploration et d'exploitation : Udist, Udist Adaptatif et Udist Désirabilité combinent une contrainte de distance et un score d'incertitude selon des modalités différentes. Leur application sur les jeux de données montre que l'hybridation des critères de sélection permet d'être plus robuste, quels que soient les besoins du jeu de données. Enfin, des recommandations sont formulées sur le choix d'une stratégie selon le contexte applicatif.
Thesis resume
Near-infrared and infrared spectroscopy is widely used to quickly estimate physicochemical properties in many industries. Its application relies on calibration models built from reference values, which come from laboratory analyses that are slow, costly and sometimes destructive. The need for reference values keeps growing with the development of new applications and the use of new models, in particular because the rise of deep learning requires larger datasets. The central question then becomes how to reduce the number of reference values while ensuring the performance of the underlying model. To address this issue, the present work proposes to add a new step to the spectral processing chain, placed after spectra acquisition and before model training. This step involves selecting spectra according to their informative potential, that is to say their potential to improve the model's performance. This requires selecting spectra according to several criteria, which can be classified into two types, exploration criteria and exploitation criteria. Existing selection algorithms in chemometrics rely mainly on exploration criteria. A limitation of these algorithms is that they do not clearly address this issue, as they do not take the needs of the model into account during selection. Four research axes are therefore studied in this thesis. The first assesses the benefit of a criterion-driven selection compared to a random selection, that is to say a selection that does not rely on any prior knowledge. The second investigates the space in which to apply exploratory selection criteria, specifically the initial spectral space, or a space transformed by dimension reduction or preprocessing. The third evaluates the contribution of exploitation criteria to the selection. Finally, the fourth explores the combination of these two criteria within a single strategy. The results of this work revolve around these four axes and are evaluated experimentally on six datasets, which require regression and classification models, both linear and non-linear. The results show that criterion-driven selection reduces the number of reference values while guaranteeing the performance of the model, even for a simple selection strategy. As a result, criterion-driven selection avoids selecting several spectra that provide the same type of information, without gaining any new knowledge, unlike random selection. Additionally, the study of the selection space for infrared spectra shows that a selection performed after a dimensionality reduction and principal component encoding yields better performance. This transformed space effectively approximates the original Mahalanobis distance layout. While the raw spectral space suffers from highly heterogeneous directions, this transformation successfully yields homogeneous directions. Moreover, exploitation criteria proved decisive for most of the datasets studied. They target spectra for which the model's prediction is uncertain, based on the hypothesis that such instances carry high informative potential. Finally, three iterative algorithms are proposed to reconcile exploration and exploitation criteria. Udist, Udist Adaptive and Udist Desirability combine a distance constraint and an uncertainty score in different ways. Their application to the datasets shows that hybridising selection criteria enhances robustness across all evaluated scenarios. Furthermore, guidelines are provided to assist in choosing the optimal strategy depending on the application context.