David Duvenaud
Un chercheur en informatique travaille sur des modèles génératifs en apprentissage profond
David Duvenaud, professeur adjoint en informatique à la University of Toronto, est lauréat d’une Bourse de recherche Sloan de 2022 pour ses travaux de recherche en apprentissage profond.
Ses travaux, explique-t-il, visent à concevoir des modèles génératifs, lesquels peuvent en principe, contrairement aux classifieurs ou aux prédicteurs décisionnels, répondre à n’importe quelle question dans un domaine, en plus de savoir classer ou prédire l’information.
« Par exemple, dans un contexte médical, on pourrait concevoir un classifieur qui prédirait la probabilité d’une maladie d’après toutes les données connues sur une patiente ou un patient. Mais si l’on concevait plutôt un modèle génératif, on pourrait demander la probabilité conjointe de plusieurs maladies en même temps, ou demander quelles sont les données représentatives des patientes et des patients qui présentent la maladie. Cela nous permet de vérifier la qualité du modèle, et de prendre des décisions plus poussées. »
Un modèle génératif, observe-t-il, facilite généralement l’intégration de plusieurs types de données.
M. Duvenaud compte utiliser le financement associé à sa bourse, une subvention de recherche sans restriction, pour permettre à son équipe de créer des « modèles profonds à temps continu en mode natif. »
« Le traitement des données recueillies sur une longue période, comme les dossiers médicaux, s’est généralement fait en divisant le temps entre différentes corbeilles, et en faisant la moyenne de toutes les données contenues dans une même corbeille. Si elle est typiquement simple et rapide, cette manière de faire exige d’écraser les données dans un format préétabli, avant même que le modèle puisse les saisir. À la place, nous élaborons des modèles qui pourront intégrer les données dans un format beaucoup plus brut. Il faut pour cela que la configuration soit un peu plus réfléchie, et le fait qu’on utilise un modèle génératif exige une étape de plus, appelée l’inférence approximative. Il faut toutefois reconnaître que ces méthodes complexes reposaient beaucoup sur les épaules des utilisatrices et utilisateurs, qui devaient se charger de leur propre prétraitement. On tente donc en quelque sorte d’automatiser la démarche de modélisation scientifique. »
Au sujet de la Bourse de recherche Sloan, M. Duvenaud déclare : « J’ai accepté, il y a deux ans, que je ne l’aurais jamais. J’avais atteint l’âge maximal d’admissibilité. Mais l’an dernier, les règles ont changé pour inclure quiconque n’a pas obtenu sa permanence. Je suis particulièrement reconnaissant envers les personnes qui m’ont aidé en écrivant des lettres, à qui j’ai eu l’odieux de demander un coup de main assez chronophage. »
Il souligne que ce type de prix aide à « présenter au monde extérieur des personnes qui sont perçues comme étant productives et générant des retombées dans leur domaine. »
