Contexte : Recherche post-doctorale sur la caractérisation des artefacts visuels dans des séquences d’images de synthèse.

Les algorithmes de création d’images photoréalistes s’appuient sur la simulation du trajet de la lumière à travers des environnements virtuels. Ils génèrent des images d’une qualité si élevée qu’elles peuvent être indistinguables de véritables photographies.

Toutefois, ces algorithmes requièrent une grande puissance de calcul, car pour estimer précisément les flux lumineux, il faut calculer un grand nombre de trajets lumineux entre les sources et la caméra, souvent plusieurs milliers par pixel. Cela implique des heures de calcul pour produire une image unique, avec la présence d’artefacts de type « bruit visuel » lorsque le nombre de trajets calculé n’est pas suffisant. L’extension de ces méthodes à la création de séquences animées, pour lesquelles il est nécessaire de calculer au moins 25 images par seconde de vidéo, accroît considérablement les temps de calcul, mais introduit également de nouveaux artefacts visuels de type « bruit temporel » : alors que chaque image prise indépendamment est visuellement de très bonne qualité, leur « chaînage » dans une vidéo fait apparaître de nouveaux artefacts, liés au fait que le bruit résiduel présent dans chaque image est décorrélé d’une image à l’autre. Ce bruit temporel se caractérise alors par des phénomènes de clignotement/scintillement auxquels notre système visuel est hautement sensible.

Le projet proposé dans le cadre de ce post-doc vise à identifier et caractériser les différents types d’artefacts temporels qui peuvent survenir lors des différentes étapes du pipeline de rendu : le processus de rendu en lui-même qui vise à produire une représentation physiquement réaliste de l’image, les opérateurs de Tone Mapping qui permettent de convertir les luminances obtenues en chaque pixel en vue d’un affichage sur des écrans classiques ou à haute gamme de luminance (HDR), l’encodage de la séquence et enfin l’affichage hors ligne.

Activités principales : recherche scientifique

Le projet vise à identifier et à caractériser les différents types d’artefacts temporels qui peuvent survenir lors des calculs de simulation d’éclairage, en s’appuyant sur des moteurs de rendu qui implémentent les algorithmes de l’état de l’art dans le domaine (Pbrt, Mitsuba, Blender cycle).

Ceci permettra d’identifier et de caractériser les artefacts temporels intrinsèques à chaque méthode, afin d’en créer une typologie et une répartition sur la surface de l’image en fonction des caractéristiques de la scène virtuelle utilisée. Des algorithmes proposés dans la littérature, qui visent à calculer plusieurs images simultanément, en réutilisant certains des chemins construits, seront incorporés à ces moteurs, de manière à pouvoir évaluer leur gain en matière de réduction des artefacts temporels.

L’adaptation des luminances physiques pour les périphériques d’affichage, qu’ils soient HDR ou non, est également un aspect crucial du processus de rendu. Différentes méthodes seront explorées (Filmic tone mapping, AgX, Exposure Control) pour garantir que les images rendues soient visuellement cohérentes du point de vue temporel et esthétiquement plaisantes, quel que soit le périphérique d’affichage utilisé.

Après une phase d’étude sur les types d’artefacts produits par chaque méthode dans les différents cas, le ou la candidat(e) recherchera des métriques pour quantifier leur impact perceptif.

Dans un deuxième temps, des méthodes pour limiter la perceptibilité des artefacts seront envisagées sur la base des métriques proposées.

L’étude intégrera plusieurs facteurs susceptibles de se produire dans les animations : le déplacement de la caméra, le déplacement des objets et des sources ou encore la variation d’intensité de ces dernières, par exemple lors de l’utilisation de flammes dans le cadre de restitutions historiques.

Ce projet correspond à une première étape d’un projet plus ambitieux sur l’étude des moyens de détecter automatiquement les artefacts temporels pour guider les processus de calcul, qui sera déposé à l’automne dans le cadre d’une proposition de projet ANR mono-équipe.

Diplôme exigé : DOCTORAT

CDD de 12 mois à temps complet au 01 janvier 2025.
Merci de transmettre un CV et une lettre de motivation avant le 01/11/2024 à l’attention de M. COZOT Rémi :  remi.cozot@univ-littoral.fr et de M. DELEPOULLE Samuel : samuel.delepoulle@univ-littoral.fr