C.2 Introduction
L
e rendu photo-realiste consiste en la generation d’images digitales a par-tir d’un ensemble de primitives geometriques, de lumieres, de materiaux et de camera virtuels. Ce procede doit suivre les lois de la physique (Figure C.1).Il est donc necessaire d’effecture une simulation physique du transport de la lumiere dans ce monde virtuel [48]. Cette simulation necessite le calcul nu-merique d’integrales recursives [96]. De plus, il est necessaire de simuler bon nombre d’effets lumineux. Cela requiert d’avoir definit les modeles mathema-tiques de ces effets et de les avoir integre dans les modeles d’interaction entre la lumiere la scene et la camera (scattering en anglais).
Figure C.1 – Examples d’images de synthèse photo-réalistes. Bien que la génération des images suive les lois de la physique, cela n’implique pas pour autant que le résultat sera réaliste.
Bien que la théorie du transport de la lumière est bien comprise, une sim-ulation complète peut prendre des jours [85] pour des modèles d’interactions complèxes. Nous devons cependant garder à l’esprit que le rendu basé sur la physique n’est qu’un outil parmis d’autre pour les artists: les durées de simula-tion ne devraient pas restreindre la créativité. Les artistes travaillent souvent de façon itérative: une ébauche est modifiée de mombreuses fois pour qu’une émotion soit transcrite dans un média. Notre but est de proposer aux artistes des outils qui permettent de produire des images efficacement, quelque soit la compléxité. Permettre des temps de calculs courts permet un plus grand nombre d’itérations.
C.2. INTRODUCTION
C.2.1 Motivation
Nous commençons notre analyse à partir de photographies artistiques. Nous analysons plus spécifiquement trois types d’effects: ledepth-of-field 1, lemotion blur et lescattering dans les milieux participatifs (Figure C.2):
(a) Depth-of-field (b) Scattering
(c) Motion blur
Figure C.2 – Les phénomènes d’interaction de la lumières à disposition des artistes sont nombreux. Avec une lentille, on peut créer un effet de depth-of-field (a) pour attirer l’attention sur un endroit particulier. L’interaction de la lumière avec des milieux non opaques comme le brouillard augmente le côté dramatique d’une scène (b). Garder le shutter d’une caméra ouvert pendant une durée suffisement longue permet de générer du motion blur (c) et renforce l’impression de vitesse.
Le depth-of-field resulte de la convergence de photons (les particules de lumières) de différentes parties de la scène en un point commun sur le capteur photo-sensible d’une caméra. Cette effect est produit par une lentille et floutte les éléments qui ne sont pas dans leplan focal. Le plan focal est la région dans laquelle il n’y a pas de convergence et où un point sur le capteur correspond à un unique point dans la scène. Cet effet isole le sujet de la photographie de l’arrière plan (Figure C.2(a)). Bien que cet effet produise des images plus floues, il est plus difficile de générer une image avec du depth-of-field qu’une
1Les termes techniques sont volontairement gardé en anglais
C.2. INTRODUCTION
image sans. Cela est due à la nécessitée de simuler le transfert de la lumière dans la lentille.
Le motion blur est le résultat de l’accumulation de la lumière sur un capteur au cours du temps. Si un objet se déplace pendant l’exposition du capteur à la lumière un même point de l’objet transmet la lumière à différentes positions du capteur, ce qui floutte l’apparence de l’objet le long de son mouvement (Figure C.2(c)). Le motion blur nécessite de simuler l’évolution des objets dans le temps, et d’accumuler la transmission de la lumière des objets en mouvement sur le capteur.
Le Scattering dans les milieux participants diffuse la lumière dans le volume, générant des halos autour des sources de lumière (Figure C.2(b)). Bien que ces halos brouillent la forme des lumières, le transport radiatif à l’intérieur d’un volume est plus difficile que le transport entre des surfaces.
Ces trois phénomènes lumineux ont en commun la tendance a floutter le contenu de l’image générée et de compléxifier les calculs. Du point de vue du traitement du signal, les images floues contiennent moins d’information que les images nettes. Le nombre d’éléments d’information nécessaire à la recon-struction du signal sera moindre. Notre but est d’identifier ces regions floues et de reconstruire une image à partir d’une simulation par-tielle. Pour ce faire, nous proposons d’étudier les phénomènes d’interaction lumineuses dans un espace ou les variations d’un signal sont naturellement exprimées: latransformée de Fourier.
C.2.2 La Transformée de Fourier
La transformée de Fourier est un outil pour exprimer un signal en terme d’amplitude par fréquence (nombre de variation par cycle) plutôt qu’en terme de d’amplitude par position. Elle définie un espace d’étude alternatif des sig-naux (Figure C.3). Par exemple, si la transformée de Fourier d’un signal est compact autour de l’origin de l’espace fréquentiel, le signal varie peu (Fig-ure C.3, encadré rouge). Dans le cas contraire d’un signal étendu dans le domaine fréquentiel, le signal varie fortement (Figure C.3, encadré vert). Par conséquent, la transformée de Fourier permet d’évaluer les variation d’un sig-nal.
On peut formuler l’intégration d’un signal dans le domaine de Fourier. Dans ce contexte, l’origine du bruit résultant de l’intégration numérique est bien comprise [33, 46]. A partir de la connaissance de l’étendue du spectre de l’intégrande, le non chevauchement des répliques du spectre donne le nombre d’échantillons requis pour l’intégration numérique. Néanmoins, cette étendue du spectre n’est pas connue en pratique.
C.2.3 Buts
Le présent travail est motivé par le besoin d’évaluer le spectre de l’intégrande.
La connaissance de l’integrande ou du spectre de l’image permet de spécifier
C.2. INTRODUCTION
Figure C.3 – La transformée de Fourier d’une signal décrit ses variations.
Nous illustrons cette notion à l’aide de l’image de Lena. Nous utilisons une selection de portions de l’image et affichons les transformées de Fourier locales dans des encadrés. Les régions de faible fréquence sont compactées autour de l’origin de l’espace de Fourier alors que les régions de haute fréquences sont étendus dans cet espace.
les régions ou le flou apparait. Cette analyse doit être faite pour un ensemble étendu d’effets lumineux pour donner aux artistes la liberté de créer. Nous séparons nos but en trois catégories:
C.2.3.1 L’Analyse Fréquentielle du Transport de la Lumière
L’Analyse Fréquentielle du Transport de la Lumièreest le domaine de l’informatique graphique qui cherche à estimer le spectre du signal à intégrer. Cette thèse est dans la continuité de travaux dans ce domaine [47, 165, 49, 51, 50]. Notre but est d’enrichir l’ensemble des effects étudiées. Cela est nécessaire si nous voulons que notre travail soit utilisé par des artistes dans le future.
C.2.3.2 Applications de Débruitage
Quand le nombre requis de samples ne peut pas être achevé, le bruit restant peut être enlevé grâce à l’utilisation d’algorithmes de débruitage. Ces algori-htmes utlisent souvent des estimateurs des varations locales. L’analyse fréquen-tielle peut apporter un tel savoir. Notre but dans ce contexte est de proposer des algorithmes pour reconstruire les régions peut variantes à partir d’une sim-ulation incomplète et bruité pour permettre la création d’une image en un temps réduit.
C.2.3.3 Compréhension du Transport Radiatif
Un autre but de cette thèse est de proposer un autre point de vue sur le processus de transport de la lumière. L’étude de la transformée de Fourier permet de comprendre comment les varations angulaires de la lumière sont floutées par une réflection diffuse, comment une lentille affecte la convergence de la lumière sur le capteur, ou comment le brouillard floute les lumières. Tout cela dans une perspective différente.
C.2. INTRODUCTION
C.2.4 Contributions
Dans ce manuscript, nous présentons contributions suivantes:
• Nous enrichissons l’analyse de Durand et al. [47] sur l’étude fréquentielle du transport de la lumière. De nouveaux operateurs sont définis comme le scattering dans les milieu participatifs et l’absorption. Des operateurs déjà définis, comme l’opérateur de lentille et d’occlusion, sont généralisés (Chapitre 3).
• Nous présentons la matrice de covariance, un nouvel outil pour évaluer le spectre local de la radiance. Cet outil est compatible avec l’intégration de Monte Carlo et l’analyse fréquentielle (Chapitre 4.2).
• Nous présentons deux nouvelles structures de données volumiques pour évaluer une approximation de l’occlusion locale (Chapitre 4.3).
• Nous présentons des applications de la matrice de covariance pour valider notre hypothèse que l’information fréquentielle permet l’optimisation des algorithmes de ray-tracing (Chapitre 5).
Ce manuscript est organisé comme suit: Dans une première partie, nous présenterons l’état de l’art pour la génération d’images photo-réalistes suivant la physique à partir d’intégrales de light-paths (Chapitre 2). Ensuite, nous présentons nos contributions en trois chapitres distincts. Dans le premier, (Chapitre 3), nous présenterons de façon cohérente l’analyse fréquentielle du transport de la lumière. Cette analyse théorique contient des éléments déjà existants dans la littérature mais aussi des contributions originales. Dans le second chaptire, (Chapitre 4) nous étudirons les outils utilisés dans l’analyse fréquentielle. Nous présenterons la matrice de covariance, un outil dévelop-per pour remédier aux limitations des outils précédement proposés. Le dernier chapitre (Chapitre 5) présentera divers algorithmes pour accélérer le rendu d’images photo-réalistes à partir de la connaissance d’informations fréquen-tielles.
C.3. THÉORIE DU TRANSPORT DE LA LUMIÈRE
C.3 Théorie du Transport de la Lumière
L
asimulation du transport de la lumière nécessite de définir une description de la lumière ainsi que de son interaction avec la matière. Un modèle du trans-port de la lumière définit ces éléments. Dans ce chapitre, nous décrivons de façon concise différents modèles à notre disposition (Section 2.1) dont celui util-isé majoritairement en rendu basé sur la physique: l’Optique géométrique. Puis, à partir de la définition intégrale du transport de la lumière, nous étudierons les méthodes d’intégration à base de light-paths (Chapter 2.2). Enfin, nous décrirons les différents algorithmes permettant de réduire le bruit pour les dif-férentes méthodes d’intégration présentées Then, from the (Chapter 2.3).C.4. ANALYSIS FRÉQUENTIELLE DU TRANSPORT DE LA LUMIÈRE
C.4 Analysis Fréquentielle du Transport de la Lumière
D
ansles chapitres précédents, nous avons montré le besoin d’une analyse lo-cal des informations de variation dans le contexte de l’integration (Chapitre 1).Nous avons décrit les différentes methodes d’intégration à base de light-paths et remarqué que comment ces méthodes pourraient bénéficier de l’analyse des variations locales(Chapitre 2). Ce chapitre présente une théorie pour analyser les variations locales de la radiance à partir d’un light-path.
Figure C.4 – Nous voulons exprimer la variation de la fonction de radiance L pour de petites variations de ces paramètres noté l. Pour cela, nous avons besoin de définir la variation locale de l, dl et d’analyser les variations de L dans ce sous-domaine.
Notre but est le suivant: à partir d’un light-pathl, nous voulons obtenir les variations locales de la fonction de radiance dL(l+xdl)(Figure C.4). Cette théorie se fonde sur deux éléments:
• L’optique paraxiale qui définie un voisinage local autour d’un rayon.
Nous utilisons cette théorie pour définir un voisinage d’un ligh-path (Sec-tion 3.1).
• La Transformée de Fourier exprime une fonction à l’aide d’une fonction duale avec des arguments dans un domaine fréquentielle (Section 3.2).
Nous l’utilisons pour exprimer les variations de la fonciton de raidance dans le domaine paraxial.
Dans les deux premières sections, nous présenterons l’optique paraxiale (Sec-tion 3.1) et latransformée de Fourier (Chapter 3.2), les outils nécessaires pour notre analyse. La troisième section (Section 3.3) présentera l’analyse fréquen-tielle de la radiance locale (introduite par Durand et al. [47]). La transformée de Fourier sera utilisée pour exprimer la fonction de radiance dans le domaine paraxial des rayons d’un light-path. Dans la dernière section (Section 3.4), nous comparerons cette analyse fréquentielle à d’autres methodes d’analyses locales qui sont basées sur les dérivées.
Dans ce chapitre, nous présentons les contributions suivantes:
C.4. ANALYSIS FRÉQUENTIELLE DU TRANSPORT DE LA LUMIÈRE
• Nous présentons l’analyse fréquentielle du transport de la lumière de façon unifiée dans un context 3D. Les précédentes publications ont souvent présenté la théorie dans un contexte 2D plus simple. Mal-heuresement, cela cache certaines parties complexes de l’analyse comme l’analignement du plan équatorial, ou que la convolution angulaire n’est faite que dans une dimension.
• Nous redéfinissons certains éléments de la théorie pour la rendre plus pratique et plus générale. Nous redéfinissons l’analyse de la réflection, de la lentille, de l’occlusion et du mouvement.
• Nous ajoutons l’analyse de la réfraction ainsi que celle du scattering et de l’atténuation dans le contexte des milieu participatifs.
C.5. REPRESENTATIONS OF THE LOCAL LIGHT-FIELD SPECTRUM
C.5 Representations of the Local Light-field Spectrum
D
ans le Chapitre 3 nous avons vu comment exprimer les changements du spectre du light-field local lorsque celui-ci est affecté par un operator (tel que le transport, l’occlusion, la réflection, ...). Dans ce chapitre, nous présentons des outils pour évaluer des informations sur le spectrum du light-field local après une chaine d’opérateurs. L’évaluation du spectre complet n’est pas possible dans notre contexte, c’est pourquoi nous utilisons des descripteurs. L’étendue spatiale et l’orientation du spectre sont des informations d’intérêt car elles permettent de savoir quel point le signal varie et dans quelle direction.L’évaluation du spectrum de l’occclusion est aussi impossible dans notre contexte. Nous avons montré dans le précédent chapitre qu’il était possible d’estimer un specte approché à partir de la distance à l’object ainsi qu’a partir de sa profondeur et direction (Section 3.3.2). Nous proposons une méthode basée sur un grille de voxels pour évaluer ces quantités.
Dans ce chapitre, nous présentons le contributions suivantes:
• Une représentation compacte du spectre du signal utilisant la matrice des seconds moments: la matrice de covariance (Section 4.2). Cette représentation est complètement intégrée dans l’analyse fréquentielle.
Nous validons l’utilisation de la matrice de covariance en la comparant à des mesures, montrant qu’elle prédit correctement les informations sur le spectre réel.
• Deux structures de données pour évaluer l’occlusion locale utilisant des grilles de voxels (Section 4.3.2). Ces structure sont faciles à intégrer dans un raytracer existant.
Tout d’abord, nous décrirons les représentations proposées dans la littéra-ture (Section 4.1). Ensuite, nous introduirons et validerons la matrice de covariance (Section 4.2). Finalement, nous présenterons et comparerons des structures pour evaluer l’occlusion locale qui permettent l’étude fréquentielle dans un contexte d’illumination globale (Section 4.3).
C.6. APPLICATIONS DE L’ANALYSE FRÉQUENTIELLE DU TRANSPORT DE LA LUMIÈRE
C.6 Applications de l’Analyse Fréquentielle du Transport de la Lumière
N
ous avons montré comment dériver le contenu fréquentiel local aux alen-tours d’un light-path en utilisant un ensemble d’opérateurs définis sur des fonc-tions de radiance 5D (Chapter 3). Nous avons adapté cette analyse en un en-semble d’opérations sur une représentation générique, lamatrice de covariance (Chapter 4). Dans ce chapitre, nous présentons les applications de la matrice de covariance. Nous montrons son utilité pour les algorithmes de Monte Carlo ou les algorithmes d’estimation de densité et prouvons qu’elle est efficace pour un bon nombre d’effets lumineux comme le depth-of-field, le motion blur ou les mileux participants.Dans ce chapitre, nous présentons les contributions suivantes:
Nous présentons des applications de la matrice de covariance. Ces applications permettent l’accélération de la convergence des algorithmes de Monte Carlo ou d’estimation de densité. Plus précisement, nous présentons:
• Un nouvel algorithme adaptatif de sampling et de filtrage prenant en compte les variations anisotropic de l’intégrand (Section 5.1).
• Des méthodes pour effectuer un filtrage des photons en espace object pour l’estimation de densité de type photon mapping (Section 5.2).
• Des méthodes pour effectuer un sampling adaptatif des rayons crepus-culaires et un filtrage adaptatif des photon beams en utilisant un esti-mateur de la covariance de l’irradiance dans le volume (Section 5.3).
C.7. CONCLUSION
C.7 Conclusion
D
ansce manuscript nous avons exploré une façon d’optimiser la génération d’images synthétiques suivant des principes physiques. A partir d’un ensem-ble de phénomènes lumineux (tels que le flou de profondeur, flou de bougé et la diffusion dans les milieux participatifs), nous avons dérivé des operateurs mathématiques pour étudier les variations de la transformée de Fourier de la radiance locale tel que proposé par Durand et al. [47]. Nous avons montré com-ment detecter les régions floues et adapter les calculs de differents algorihtmes de transport de la lumière pour obtenir des convergences plus rapides. Dans ce chapitre, nous résumons contributions présentées.Nous avons présenté l’analyse fréquencielle du transport de la lumière la plus complète à ce jour. Cette analyse étudie les variations en intensité du voisinage local d’un light-path. Nous avons exprimé cette analyse dans une forme unifiée, qui permet l’utilisation d’un formule de composition pour définir la transformation d’un light-path. Nous avons généralisé des opérateurs:
• L’occlusionpour des objets non planaires. Nous avons montré que l’approximation en wedge [108] estimé par de multiples slices de l’objet pouvait être
ex-primé analytiquement par un estimateur conservatif de cet objet.
• La réflection,et plus précisement l’intégration avec la BRDF. Nous l’avons étendu pour les BRDF anisotrope a une convolution dans un espace à six dimensions suivie d’une réduction. Nous avons montré comment retrou-ver les résultats sur les BRDF istropes à partir de ces formules [47, 141].
• Pour des lentilles minces, nous avons présenté un opérateur qui per-met d’exprimer une chaine de lentilles mince. Cet operateur permet d’exprimer le transport de la lumière dans un objectif en utilisant des opérations linéaires simples tels que les shears.
• Mouvement. Nous avons proposé une généralisation des cas d’étude pro-posé par [49] en un opérateur générique permettant l’étude du mouvment de n’importe quel object.
Nous avons enrichi l’analyse avec trois nouveaux opérateurs pour gérer les cas de réfractions, et les interactions avec un milieu partipatif.
• Atténuation. Elle modèlise l’absorption et le out-scattering de la lu-mière par le mileu. Nous avons montré que cet opérateur est similaire à l’opérateur d’occlusion. De plus, la visibilité non-opaque peut être ap-proximée par l’utilisation du gradient de densité.
• Scattering. Il modèlise le in-scattering de la lumière dans une direction connue. Nous avons montré que dans le cas des fonctions de phase 1D, l’opérateur est une convolution angulaire et une intégration spatiale.
• Réfraction. Elle modélise la transmission de lumière à l’intérieur d’un milieu transparent d’index de réfraction constant. Nous avons montré comment utiliser le modèle de Walter et al. [185] pour un light-field local et proposé d’approximé une l’amplitude du spectre de cette BTDF par des lobes Gaussiens.
C.7. CONCLUSION
Nous avons proposé un nouvel outil pour étudier le spectre et estimer son anisotropie et la variance associée dans des applications de raytracing: la ma-trice de covariance. Nous proposons un estimateur de Monte Carlo pour cet outil pour les effets lumineux composés. Cela nous permet d’effectuer l’analyse fréquentielle pour des effets d’illumination globale.
Nous avons proposé lagrille de covariance, un outil pour distribuer le coût de l’analyse de covariance dans le cas des milieux participatifs. La grille de covariance contient la matrice de covariance du spectre de l’irradiance. Nous avons montré les bénéfices de son utilisation dans plusieurs applications tels que le sampling adaptatif et le filtrage de photon beams.
Nous avons décrit et validé des exemples d’utilisation de l’analyse de la co-variance. Plusieurs algorithmes ont été proposés:
• Le sampling adaptatif et la reconstruction. L’information de covariance permet d’effectuer un sampling sparse dans l’espace image et de filtrer
• Le sampling adaptatif et la reconstruction. L’information de covariance permet d’effectuer un sampling sparse dans l’espace image et de filtrer