IRIT, Universit´e Paul Sabatier, 118 route de Narbonne 31062 TOULOUSE cedex 4

Mise en correspondance par corr´ elation avec d´ etection des zones d’occultation

Sylvie Chambon Alain Crouzil

Rapport IRIT/2004–31–R

d´ecembre 2004

R´ esum´ e

Dans cette ´etude, nous nous int´eressons a` la mise en correspondance st´er´eoscopique d’images de niveaux de gris et nous nous attachons particuli`erement au probl`eme des occultations. Il existe de nombreuses m´ethodes de mise en correspondance mais ce rapport aborde uniquement la mise en correspondance par corr´elation. Nous avons d´ej`a effectu´e une ´etude sur le probl`eme des occultations, dans le cadre de la mise en correspondance dense de pixels par corr´elation, o` u dix-huit mesures utilisant des outils des statistiques robustes ont ´et´e propos´ees pour prendre en compte le probl`eme des occultations. Ces mesures se comportent mieux pr`es des zones d’occultation mais, en revanche, elles donnent de moins bons r´esultats que certaines mesures classiques dans les zones sans occultation. Nous proposons donc d’aborder le probl`eme des occultations en utilisant deux mesures de corr´elation : une mesure de corr´elation classique dans les zones sans occultation et une mesure de corr´elation robuste dans les zones d’occultation. Pour cela, nous d´efinissons les zones d’occultation que nous consid´erons et nous effectuons un ´etat de l’art sur les m´ethodes de d´etection des zones d’occultation. Par la suite, nous pr´esentons les diff´erents algorithmes que nous proposons : quatre types diff´erents et quinze variantes. Grˆace aux r´esultats obtenus, nous pouvons dire que les solutions les plus satisfaisantes consistent soit a` effectuer une mise en correspondance en utilisant une mesure classique, a` d´etecter les pixels occult´es grˆace a` la v´erification bidirectionnelle, puis a` effectuer de nouveau une mise en correspondance avec la mesure robuste pour tous les pixels occult´es, soit a` fusionner les deux cartes de disparit´es obtenues respectivement en utilisant la mesure classique et la mesure robuste. Mots-cl´ es : st´er´eovision.

d´etection d’occultations, corr´elation, mise en correspondance, statistiques robustes,

Abstract

In the context of this work, we are concerned with dense matching of pixels in stereovision with grey level images and we particularly deal with the problem of occlusions. A lot of matching algorithms have been proposed but the present report only deals with matching using correlation measures. In our previous work, eighteen new correlation measures that are robust near occlusions have been proposed. Our robust measures are based on the tools of robust statistics. We showed that these new robust measures are the most efficient near occlusions whereas classic measures are more efficient than the robust measures in non-occluded areas. Consequently, we propose new algorithms that use both a classic measure in non-occcluded areas and a robust measure near occlusions. We define the different occlusion areas and we make a state-of-the-art of occlusion detection methods. Then, the four types of algorithms and the fifteen variants are presented. The results show that the best results are obtained with two algorithms. In the first, we consider the calculation of an initial disparity map using a classic measure with the symmetry constraint, then we try to locate the occlusion areas and we apply the robust measure only in these occlusion areas and the second is based on the merging of the two dense disparity maps. Keywords :

occlusion detection, correlation, matching, robust statistics, stereovision.

Table des mati` eres 1 Introduction

1

2 D´ etection des zones d’occultation 2.1 Zones d’occultation consid´er´ees . . . . . . . . . . . . . . 2.2 D´etection avant la mise en correspondance . . . . . . . . 2.3 D´etection pendant la mise en correspondance . . . . . . 2.4 D´etection apr`es la mise en correspondance . . . . . . . . 2.5 Synth`ese sur les m´ethodes de d´etection des occultations

. . . . .

2 2 3 3 4 6

3 Propositions d’algorithmes 3.1 Mesures de corr´elation classiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Mesures de corr´elation robustes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3 Algorithmes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7 7 8 8

4 Protocole d’´ evaluation et de comparaison 4.1 Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2 Crit`eres . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3 Algorithme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14 14 14 16

5 R´ esultats exp´ erimentaux 5.1 St´er´eogramme al´eatoire . . . . . . . . . . . . . . 5.2 Map, sawtooth, venus, barn1, barn2, bull et poster 5.3 Head and lamp . . . . . . . . . . . . . . . . . . . 5.4 Cones et teddy . . . . . . . . . . . . . . . . . . . 5.5 Synth`ese des r´esultats obtenus . . . . . . . . . .

16 17 19 21 23 25

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

6 Conclusion

26

Annexe

27

R´ ef´ erences

38

v

Table des figures 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

Occultations : zones consid´er´ees et exemple. . . . . . Contrainte de sym´etrie (v´erification bidirectionnelle). Contrainte d’unicit´e. . . . . . . . . . . . . . . . . . . Contrainte d’ordre. . . . . . . . . . . . . . . . . . . Contraintes de sym´etrie et d’ordre. . . . . . . . . . Algorithme de type post-d´etection. . . . . . . . . . Images test´ees. . . . . . . . . . . . . . . . . . . . . . Cartes obtenues avec le st´er´eogramme al´eatoire. . . Cartes obtenues avec les images sawtooth. . . . . . Cartes obtenues avec les images head and lamp. . . Cartes obtenues avec les images teddy. . . . . . . . Cartes obtenues avec les images map. . . . . . . . . Cartes obtenues avec les images venus. . . . . . . . Cartes obtenues avec les images barn1. . . . . . . . Cartes obtenues avec les images barn2. . . . . . . . Cartes obtenues avec les images bull. . . . . . . . . Cartes obtenues avec les images poster. . . . . . . . Cartes obtenues avec les images cones. . . . . . . . .

vii

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . .

2 5 6 6 6 12 15 18 20 22 24 28 29 31 32 34 35 37

Liste des tableaux 1 2 3 4 5 6 7 8 9 10 11 12 13 14

Fonctions ρk des M-estimateurs. . . . . . . . . . . Algorithmes propos´es : 4 types et 15 variantes. . . R´esultats obtenus avec le st´er´eogramme al´eatoire. R´esultats obtenus avec les images sawtooth. . . . R´esultats obtenus avec les images head and lamp. R´esultats obtenus avec les images teddy. . . . . . R´esultats obtenus avec toutes les images. . . . . . R´esultats obtenus avec les images map. . . . . . . R´esultats obtenus avec les images venus. . . . . . R´esultats obtenus avec les images barn1. . . . . . R´esultats obtenus avec les images barn2. . . . . . R´esultats obtenus avec les images bull. . . . . . . R´esultats obtenus avec les images poster. . . . . . R´esultats obtenus avec les images cones. . . . . .

ix

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

8 14 17 19 21 23 25 27 27 30 30 33 33 36

Listes des algorithmes 1 2 3

Contours. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ´lation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Corre ´tection. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Post-de

xi

9 9 10

1

1

Introduction

En st´er´eovision, trois ´etapes fondamentales se distinguent : le calibrage du capteur st´er´eoscopique, la mise en correspondance et la reconstruction tridimensionnelle. La qualit´e de la reconstruction d´epend directement de la qualit´e de la mise en correspondance et c’est pourquoi, cette ´etape est importante. Il existe de nombreuses m´ethodes de mise en correspondance [Cro97, Gia00, Got92, Zha93, SS03, BBH03]. Nous distinguons les m´ethodes globales (contraintes sur toute l’image) des m´ethodes locales (contraintes sur une r´egion de l’image). Ce rapport aborde uniquement la mise en correspondance dense de pixels par corr´elation – m´ethode locale – dont l’hypoth`ese sous-jacente consiste a` consid´erer que, dans les images, les voisinages de deux points correspondants, c’est-`a-dire projections du mˆeme point de la sc`ene, sont similaires. Nous appelons donc mesure de corr´elation, toute mesure qui permet de quantifier cette similarit´e. Dans le cadre de ce rapport, seules des images de niveaux de gris sont utilis´ees. La mise en correspondance est un probl`eme d´elicat car de nombreuses difficult´es peuvent entraˆıner des r´esultats erron´es comme, par exemple, les bruits, les changements de luminosit´e, les raccourcissements, les zones uniformes ou peu textur´ees et les occultations. L’objectif de nombreux travaux a donc ´et´e de prendre en compte ces difficult´es [AG92, KSI03, ZW94] et particuli`erement le probl`eme des occultations [BN98, Lan97, ZFD96] en utilisant une approche probabiliste [BM92, EW00, Fua93, GLY95, HSSV03, HYI+ 03], la programmation dynamique [IB94, YC03] ou les fenˆetres adaptatives [PCJC98]. Dans le cadre de ce travail, nous nous int´eressons particuli`erement au probl`eme des occultations : dans le voisinage d’un pixel situ´e a` la fronti`ere d’un changement de profondeur, certains pixels appartiennent au premier niveau de profondeur et d’autres au deuxi`eme niveau de profondeur. Cette situation peut perturber la mise en correspondance et provoquer des r´esultats erron´es. Nous avons d´ej`a effectu´e une ´etude sur le probl`eme des occultations, dans le cadre de la mise en correspondance dense de pixels par corr´elation [CC02]. Dans un premier temps, les diff´erentes mesures de corr´elation ont ´et´e ´evalu´ees et compar´ees, et les mesures les plus robustes aux occultations ont ´et´e mises en ´evidence. Puis, pour prendre en compte le probl`eme des occultations, nous avons propos´e dix-huit mesures utilisant des outils des statistiques robustes [CC03]. Les outils des statistiques robustes sont beaucoup moins sensibles aux donn´ees aberrantes que les outils des statistiques classiques. Les pixels qui ont une profondeur diff´erente du pixel ´etudi´e peuvent ˆetre consid´er´es comme des donn´ees aberrantes, et, ainsi, les mesures utilisant ces outils des statistiques robustes sont robustes aux occultations. Nous avons effectivement montr´e que ces mesures se comportent mieux pr`es des zones d’occultation mais, en revanche, qu’elles donnent de moins bons r´esultats que certaines mesures classiques dans les zones sans occultation. Il serait donc avantageux de pouvoir utiliser ces mesures robustes dans les zones o` u elles sont les plus efficaces (pr`es des zones d’occultation, des discontinuit´es de profondeur) et utiliser une mesure classique ailleurs pour associer les qualit´es de chacune et ainsi obtenir de meilleurs r´esultats. La mise en place d’un tel algorithme pose le probl`eme de la d´etection des zones d’occultation. En effet, pour savoir quelle est la meilleure mesure a` appliquer (robuste ou classique), il faut connaˆıtre au pr´ealable le type de zone dans laquelle on se situe. Dans un premier temps, apr`es avoir d´efini les zones d’occultation que nous consid´erons, un ´etat de l’art sur les m´ethodes de d´etection des zones d’occultation sera effectu´e, sachant que cette ´etape peut s’effectuer avant, pendant ou apr`es la mise en correspondance. Par la suite, apr`es un bref rappel sur les mesures de corr´elation utilis´ees, les diff´erents algorithmes que nous proposons seront pr´esent´es. Puis notre protocole d’´evaluation et de comparaison sera expos´e : images de synth`ese et r´eelles, crit`eres d’´evaluation et algorithme de mise en correspondance. Enfin, les r´esultats seront pr´esent´es et analys´es.

2

2

´ Detection des zones d’occultation

fenˆetre de corr´elation zone d’influence de l’occultation : ZI = ensemble des pixels proches des pixels occult´es zone d’occultation : ZO = ensemble des pixels occult´es zone d’occultation totale : ZT = ZI ∪ ZO (a) Image gauche

Carte de disparit´es th´eorique

Image droite

Occultations

(b) (c) (d) (e) Dans cet exemple, nous avons calcul´e la zone d’occultation totale, ZT, grˆace a` la v´erit´e terrain obtenue par Scharstein et Szeliski [SS02]. Fig. 1 – Occultations : zones consid´er´ees et exemple.

2

D´ etection des zones d’occultation

2.1

Zones d’occultation consid´ er´ ees

Avant de pr´esenter les m´ethodes qui prennent en compte le probl`eme des occultations, il convient de d´efinir clairement ce que nous entendons par zones d’occultation. Nous notons : • la taille des fenˆetres de corr´elation : (2n + 1) × (2m + 1), n, m ∈ IN ∗ et N = (2n + 1)(2m + 1) ; • Il avec l = g,d, les images gauche et droite a` apparier ; • pi,j ees (i,j) et Ili,j le niveau de gris de ce pixel. l avec l = g,d, le pixel de l’image Il de coordonn´

Une fa¸con de repr´esenter les r´esultats de la mise en correspondance est d’utiliser des cartes de disparit´es. La disparit´e est le vecteur de d´eplacement entre le pixel de l’image gauche et son correspondant dans l’image droite. Dans notre ´etude, pour les cartes de disparit´es, plus le pixel est clair et plus la norme du vecteur d´eplacement est grande. Les pixels en noirs sur la carte de disparit´es sont les pixels occult´es (les pixels qui n’ont pas de correspondants). Les d´efinitions suivantes sont utilis´ees (figure 1) : • Les pixels occult´ es ne poss`edent pas de correspondant dans l’autre image : O(pi,j l )=

(

e 1 si pi,j l est un pixel occult´ 0 sinon.

(1)

• La zone d’occultation contient tous les pixels occult´es : o n i,j ) = 1 . | O(p ZO(Il ) = pi,j l l

(2)

• Les pixels proches des pixels occult´ es sont les pixels qui se trouvent dans le voisinage, d´efini par rapport a` la fenˆetre de corr´elation, d’un pixel occult´e. Cela correspond a` la dilatation morphologique de la zone d’occultation en utilisant comme ´el´ement structurant la fenˆetre de

´ Detection avant la mise en correspondance

2.2

3

corr´elation : P(pi,j l )=

(

i,j 1 si O(pi,j l ) = 0 et V(pl ) > 0 0 sinon,

avec V(pi,j l )=

m n X X

O(pi+p,j+q ). l

(3) (4)

p=−n q=−m

• La zone d’influence des occultations contient tous les pixels proches des pixels occult´es : o n i,j (5) ZI(Il ) = pi,j l | P(pl ) = 1 .

• La zone d’occultation totale est l’union de la zone d’occultation et de la zone d’influence des occultations : o n i,j i,j ) = 1 . (6) ) = 1 ou P(p | O(p ZT(Il ) = ZO(Il ) ∪ ZI(Il ) = pi,j l l l

Le but de cette ´etude est de proposer un algorithme qui am´eliore les r´esultats dans les zones d’influence des occultations (zone gris´ee sur les images (a) et (e) de la figure 1). Notre travail s’appuie donc sur une d´etection des zones d’occultation. L’ensemble des m´ethodes de d´etection peut se diviser en trois groupes suivant le moment o` u la d´etection est r´ealis´ee : avant, pendant ou apr`es la mise en correspondance.

2.2

D´ etection avant la mise en correspondance

Une m´ethode simple et assez courante [SV01, GNS03] consiste a` utiliser un masque d’occultation. Une premi`ere ´etude des images permet de d´eterminer les pixels occult´es et de construire un masque d’occultation. Les m´ethodes diff`erent par leur fa¸con de le calculer mais, g´en´eralement, elles s’appuient sur la mˆeme hypoth`ese : les occultations se situent au niveau des contours de type (( marche )). En effet, dans la plupart des cas, les discontinuit´es de profondeur responsables des occultations, se trouvent aux fronti`eres des objets. Le principe est donc de d´etecter les contours dans l’image. Les types de m´ethodes envisag´ees sont : • seuillage de la norme du vecteur gradient (avec les op´erateurs de Sobel, Prewitt ou Frei-Chen [Pra78, p. 503], par exemple) ; • passage par z´ero de la d´eriv´ee seconde (en utilisant la m´ethode SDEF [SC92], par exemple). Ces m´ethodes de d´etection de contours sont assez d´elicates et posent le probl`eme du choix des seuils, ce qui rend la d´etection des occultations a priori assez difficile. Une autre fa¸con de proc´eder consiste a` effectuer les deux ´etapes, d´etection des occultations et mise en correspondance, en mˆeme temps.

2.3

D´ etection pendant la mise en correspondance

De tr`es nombreuses m´ethodes ont ´et´e d´evelopp´ees et nous allons fournir une synth`ese la plus repr´esentative possible. ˇ Une premi`ere classe de m´ethodes est fond´ee sur l’utilisation de fenˆetres adaptatives [FRT97, K S02, KO94, HIG02, LG94, OK92, PCJC98, SW01, Vek03]. Dans la m´ethode de Lotti [LG94], la taille des fenˆetres est d´etermin´ee a` partir d’une carte de contours : la fenˆetre ne doit pas contenir de contours. Le principe des autres m´ethodes est de faire varier la taille et la forme des fenˆetres de corr´elation en fonction de la variation locale de l’intensit´e ainsi que de la disparit´e. Pour ´etablir la taille de la fenˆetre, il est n´ecessaire d’estimer la disparit´e ainsi qu’une fonction de coˆ ut li´ee a` cette disparit´e. L’algorithme g´en´eral est le suivant : 1. Estimer une disparit´e initiale d0 en utilisant une mesure de corr´elation.

4

2

´ Detection des zones d’occultation

2. Pour chaque pixel, mettre a` jour la taille de la fenˆetre de corr´elation puis mettre a` jour la disparit´e. Cette mise a` jour peut s’effectuer de diff´erentes mani`eres : en tenant compte d’une ˇ mesure d’incertitude [KO94, OK92], en observant les disparit´es des pixels voisins [K S02, HIG02, SW01], en testant seulement un certain nombre de fenˆetres [FRT97, Vek03]. Ces m´ethodes sont souvent coˆ uteuses en temps de calcul mais la version qui a ´et´e propos´ee dans [FRT97] (seulement neuf formes de fenˆetres sont test´ees) est beaucoup plus rapide que les autres m´ethodes. Une seconde classe de m´ethodes s’appuie sur une approche probabiliste [BM92, GLY95, GL04, HSSV03, HYI+ 03, YC03]. Dans les travaux de Belhumeur [BM92] et Geiger [GLY95], les probabilit´es conditionnelles ainsi que la r`egle de Bayes sont utilis´ees. Il s’agit d’´evaluer la probabilit´e d’obtenir une disparit´e donn´ee pour un pixel donn´e connaissant les deux images ´etudi´ees. Le calcul de cette probabilit´e prend en compte l’intensit´e des pixels et une mesure de similarit´e ainsi que la pr´esence d’un bruit blanc gaussien additif. Cette probabilit´e est ensuite utilis´ee pour d´eterminer la fonction d’´energie permettant d’´etablir une mise en correspondance par programmation dynamique. Dans l’article d’Hasler [HSSV03], le principe est de proposer un mod`ele des donn´ees aberrantes et des donn´ees correctes. Ces mod`eles sont utilis´es au cours de la mise en correspondance pour pr´edire le risque d’erreur et conditionner les calculs. Les auteurs font l’hypoth`ese suivante : en supposant que l’erreur engendr´ee par des donn´ees aberrantes est semblable a` l’erreur produite en comparant deux r´egions al´eatoirement s´electionn´ees dans les deux images ´etudi´ees, un mod`ele de donn´ees aberrantes peut ˆetre construit en s’appuyant sur le contenu des deux images ´etudi´ees. Une troisi`eme classe de m´ethodes utilise la programmation dynamique [BI99, EI03, FK00, IB94, KSC01, KZ01, TS00]. Le principe est de r´esoudre le probl`eme de la mise en correspondance comme un probl`eme d’optimisation. Il s’agit d’optimiser une fonction de coˆ ut qui prend en compte un coˆ ut d’occultation. La premi`ere ´etape de l’algorithme consiste a` ´etablir une mise en correspondance initiale ou a` construire ce qu’on appelle dans la litt´erature : des images d’espace de disparit´es [BI99, IB94] (ces images correspondent aux coˆ uts de mise en correspondance obtenus pour diff´erentes disparit´es). La deuxi`eme ´etape permet la construction d’un graphe de correspondance de coˆ ut minimal en s’appuyant sur cette mise en correspondance initiale. Dans la m´ethode de Bobick et Intille [BI99, IB94], un pixel qui poss`ede un de ses quatre voisins avec une disparit´e diff´erente poss`ede un coˆ ut d’occultation ´elev´e. Ce coˆ ut d’occultation est moins important si ce pixel est un point d’int´erˆet (coins, points contours). Dans les m´ethodes de Kang [KSC01] et de Tao [TS00], le coˆ ut d’occultation d´epend aussi de la disparit´e du pixel consid´er´e et de ses voisins. Une derni`ere classe de m´ethodes utilise une mesure de corr´elation pond´er´ee [KSI03, Lan97], les poids permettant de distinguer les pixels occult´es des pixels non occult´es. Dans la m´ethode de Kaneko [KSI03], une mesure de corr´elation classique est ´evalu´ee en affectant des poids aux diff´erents pixels : 0 si le pixel est occult´e ou 1 sinon. Pour calculer ces poids, une transformation des deux fenˆetres de corr´elation est effectu´ee : pour chaque pixel de la fenˆetre de corr´elation, si l’intensit´e de ce pixel est plus grande que celle du pixel ´etudi´e, alors ce pixel prend le poids 1 sinon 0. Puis les poids obtenus pour les deux fenˆetres de corr´elation sont compar´es. Si un pixel de la fenˆetre gauche a le mˆeme poids que celui qui lui correspond dans la fenˆetre de droite, alors l’intensit´e de ce pixel sera prise en compte pour le calcul de la mesure de corr´elation. La m´ethode de Lan [Lan97] utilise des outils des statistiques robustes. Le principe est de d´etecter les donn´ees aberrantes en utilisant un estimateur robuste comme la moindre m´ediane des carr´es (LMS, Least Median Squares) ou l’ellipse de volume minimal (MVE, Minimum Volume Ellipsoid ) puis d’appliquer une mesure de corr´elation classique qui ne prend pas en compte les pixels d´etect´es comme occult´es.

2.4

D´ etection apr` es la mise en correspondance

Toutes ces m´ethodes exploitent une carte de disparit´es initiale [BT98, Fua93, EW00, Lin02, MT99, May03, YSH+ 03, ZK00]. Dans l’article de Fua [Fua93], il est sugg´er´e d’´evaluer une mesure en fonction de la courbe des scores obtenue sur la zone de recherche : moins le pic principal se distingue, plus

2.4

´ ` la mise en correspondance Detection apres

5

la mesure est ambigu¨e et au del`a d’un seuil, le pixel est consid´er´e comme occult´e. La m´ethode de Manduchi [MT99] s’appuie aussi sur une mesure d’ambigu¨ıt´e pour d´eterminer si un pixel est visible ou non (occult´e ou non). La m´ethode d’Egnal [EW00] consiste a` calculer un histogramme local des disparit´es pour un pixel donn´e. Si cet histogramme contient deux modes, alors le pixel est consid´er´e comme appartenant a` une zone d’occultation. Dans l’article de Mayer [May03], sur une mˆeme ligne, pour chaque pixel, la disparit´e de celui-ci est compar´ee avec avec celle du pixel pr´ec´edent. S’il y a une incoh´erence, le pixel observ´e est consid´er´e comme occult´e. Dans les m´ethodes expos´ees dans [BT98, Lin02, YSH+ 03, ZK00, ZFD96], un coˆ ut d’occultation est affect´e en fonction de la disparit´e ´evalu´ee. La m´ethode la plus simple, celle de Zoghlami [ZFD96, KTG03, EF03], s’appuie sur l’hypoth`ese suivante : tous les pixels qui poss`edent un score de corr´elation en dessous d’un seuil sont consid´er´es comme appartenant a` une zone d’occultation. Une des m´ethodes les plus employ´ees dans la litt´erature [ADPS02, EW00, FHZF93, Fua93, Lit92, MMHM01] est la v´erification bidirectionnelle (figure 2), que nous pouvons aussi appeler contrainte de sym´etrie. Si nous notons di,j e associ´e au pixel pi,j l le vecteur disparit´ l alors, cette contrainte peut s’´ecrire x,y x,y x,y i,j i,j (7) Si pi,j g + dg = pd alors pd + dd = pg . Une mise en correspondance gauche-droite puis droite-gauche est effectu´ee. Si un pixel p i,j g dans l’image x,y a pour correspondant le pixel pr,s dans l’image droite et si p gauche a pour correspondant px,y g dans d d l’image gauche tel que r 6= i ou s 6= j alors la mise en correspondance de ces deux pixels est rejet´ee et le pixel pi,j er´e comme occult´e. g est consid´ pi,j g

px,y d

Appariement accept´e Image gauche

Image droite

Appariement rejet´e pr,s g Fig. 2 – Contrainte de sym´etrie (v´erification bidirectionnelle). ˇ Une autre m´ethode consiste a` exploiter la contrainte d’unicit´e [GY03, IG98, KZ01, K S03, MMHM01, DMMN02, ZK02] (figure 3) : Si pig1 ,j1 + dgi1 ,j1 = pxd 1 ,y1 alors ∀i2 6= i1 , ∀j2 6= j1 pgi2 ,j2 + dgi2 ,j2 6= pxd 1 ,y1 .

(8)

Si un pixel pig1 ,j1 dans l’image gauche a pour correspondant le pixel pxd 1 ,y1 dans l’image droite et si ce pixel est d´ej`a le correspondant du pixel pgi2 ,j2 de l’image gauche, alors le pixel qui donne le plus mauvais score de corr´elation (pig1 ,j1 ou pgi2 ,j2 ) est consid´er´e comme occult´e. Cependant, cette contrainte peut ˆetre viol´ee : quand un plan de la sc`ene est tr`es inclin´e par rapport a` la cam´era, l’effet de raccourcissement peut apparaˆıtre et ainsi tous les pixels n’ont pas forc´ement un correspondant unique. Un exemple est fourni sur la figure 3. Une derni`ere m´ethode consiste a` utiliser la contrainte d’ordre [EW00, GY03, MT99, ZK00] (figure 4) : Si pig1 ,j1 + dgi1 ,j1 = pxd 1 ,y1 et pgi2 ,j2 + dig2 ,j2 = pxd 2 ,y2 alors (i1 − i2 )(x1 − x2 ) > 0 et (j1 − j2 )(y1 − y2 ) > 0.

(9)

Si cette contrainte n’est pas v´erifi´ee, les correspondances sont rejet´ees (ou la correspondance qui obtient le plus mauvais score de corr´elation est rejet´ee). Cette contrainte peut aussi ˆetre viol´ee lorsqu’il y a,

6

´ Detection des zones d’occultation

2

Contrainte d’unicit´e

Violation de la contrainte

P1

sc`ene P2

Appariement rejet´e Score = 0.5

Score = 1 Appariement accept´e pgi1 ,j1

pgi1 ,j1

pgi2 ,j2

pgi2 ,j2

pdx1 ,y1

Image gauche

pxd1 ,y1

Image droite

Cam´era gauche

Cam´era droite

Fig. 3 – Contrainte d’unicit´e. Contrainte d’ordre

Violation de la contrainte

P1 sc`ene

Appariements rejet´es

P2

pgi1 ,j1 pgi1 ,j1

pxd2 ,y2

pgi2 ,j2 Image gauche

pdx1 ,y1

Image droite

pxd1 ,y1 pig2 ,j2

Cam´era gauche

pxd2 ,y2 Cam´era droite

Fig. 4 – Contrainte d’ordre.

dans la sc`ene, des plans transparents fortement inclin´es par rapport au plan de la cam´era. Un exemple est montr´e sur la figure 4. Ces trois contraintes peuvent ˆetre utilis´ees pour tenter de d´etecter les pixels occult´es. La contrainte de sym´etrie assure la contrainte d’unicit´e, ce qui signifie que tous les pixels d´etect´es par la contrainte d’unicit´e sont aussi d´etect´es par la contrainte de sym´etrie. En revanche, les pixels d´etect´es par la contrainte d’ordre ne sont pas toujours les mˆemes que ceux d´etect´es par la contrainte de sym´etrie ; deux exemples sur la figure 5 illustrent les cas o` u les pixels ne sont d´etect´es que pour une seule de ces deux contraintes.

pxd1 ,y1 pxd2 ,y2 Image droite

pgi2 ,j2 pgi1 ,j1 Image gauche (a)

pdx1 ,y1 pdx2 ,y2 Image droite

pig1 ,j1 pgi2 ,j2 Image gauche (b)

Fig. 5 – Contraintes de sym´etrie et d’ordre : (a) Violation de la contrainte de sym´etrie mais respect de la contrainte d’ordre ; (b) Violation de la contrainte d’ordre mais respect de la contrainte de sym´etrie.

` sur les methodes ´ ´ Synthese de detection des occultations

2.5

2.5

7

Synth` ese sur les m´ ethodes de d´ etection des occultations

De tr`es nombreuses possibilit´es sont envisageables pour d´etecter les occultations. Cependant, certaines m´ethodes sont assez coˆ uteuses en temps de calcul : les m´ethodes utilisant des outils des statistiques robustes, les m´ethodes utilisant des fonctions de coˆ uts suppl´ementaires. D’autres m´ethodes ne sont pas adapt´ees a` notre probl`eme comme les m´ethodes de fenˆetres adaptatives ou de programmation dynamique. En effet, ces m´ethodes ont prouv´e leur efficacit´e pour la r´esistance aux occultations, mais pour l’approche que nous avons choisie : d´etecter les pixels dans la zone d’influence des occultations, puis effectuer la mise en correspondance par corr´elation en utilisant deux mesures de corr´elation, elles ne peuvent pas nous ˆetre directement utiles. Ainsi, pour proposer un nouvel algorithme qui utilise deux mesures de corr´elation, nous allons prendre en compte les m´ethodes suivantes : les m´ethodes utilisant un masque d’occultation, la m´ethode de Kaneko, la m´ethode de Lan, la m´ethode de Zoghlami, la v´erification bidirectionnelle, le calcul de l’ambigu¨ıt´e, la contrainte d’unicit´e et la contrainte d’ordre. Nous avons vu que la d´etection des occultations peut s’effectuer a` trois moments diff´erents et cela va nous orienter vers trois types d’algorithmes diff´erents.

3

Propositions d’algorithmes

Nous souhaitons donc utiliser deux mesures de corr´elation : une mesure robuste dans les zones ` partir des r´esultats que nous d’occultation et une mesure classique dans les zones sans occultation. A avons obtenus dans [CC03], les meilleures mesures ont ´et´e choisies, parmi les mesures classiques et parmi les mesures robustes. Tout d’abord, un rappel sur ces mesures va ˆetre effectu´e. Ensuite, les algorithmes propos´es seront pr´esent´es. Notations • Les vecteurs fl avec l = g,d contiennent les niveaux de gris des pixels des fenˆetres de corr´elation gauche et droite : fl = (· · · Ili+p,j+q · · · )T , p ∈ [−n; n] et q ∈ [−m; m]. L’´el´ement i de fl est not´e fli . • Les P-normes ou distances LP sont not´ees : kfl kP =

n m X X

p=−n q=−m

|Ili+p,j+q |P

!1/P

, P ∈ IN∗ .

Le cas particulier de la norme euclidienne est not´e : kfl k = kfl k2 . • Le produit scalaire est d´efini par : fg · fd =

n m X X

Igi+p,j+q Idk+p,l+q .

p=−n q=−m

• Les moyennes sont donn´ees par : fl =

n m 1 X X i+p,j+q I . N p=−n q=−m l

• Les termes ordonn´es du vecteur fl sont not´es : (fl )0:(N −1) ≤ (fl )1:(N −1) ≤ . . . ≤ (fl )(N −1):(N −1) .

8

3

3.1

Propositions d’algorithmes

Mesures de corr´ elation classiques

Les mesures qui se comportent le mieux, c’est-`a-dire qui donnent les meilleurs r´esultats dans les zones sans occultation, parmi toutes les mesures que nous avons test´ees [CC02] sont : • la corr´elation crois´ee normalis´ee, NCC (Normalised Cross Correlation), not´ee : NCC(fg ,fd ) =

fg · fd . kfg kkfd k

(10)

• la corr´elation crois´ee normalis´ee et centr´ee, ZNCC (Zero mean Normalised Cross Correlation), not´ee : (fg − fg ) · (fd − fd ) . (11) ZNCC(fg ,fd ) = kfg − fg kkfd − fd k • la somme des valeurs absolues des diff´erences, SAD (Sum of Absolute Differences), not´ee : SAD(fg ,fd ) = kfg − fd k1 .

3.2

(12)

Mesures de corr´ elation robustes

Les mesures qui se comportent le mieux, c’est-`a-dire qui donnent les meilleurs r´esultats dans les zones d’occultation, parmi toutes les mesures que nous avons propos´ees [CC03] sont : • les mesures utilisant des M-estimateurs (tableau 1) : MRk (fg ,fd ) =

N −1 X i=0

Nom L1 −L2

Fonction √ 1 + x2 − 0.5 ρ1 (x) = 2 ρ3 (x) = log(1 +

Welsh

ρ5 (x) = (1 − e−x )

Huber

2

 2  x 2 ρ7 (x) =  1.345(|x| − 1.345 ) 2

(13)

Nom

Fonction

Fair

ρ2 (x) = |x| − log(1 + |x|)

GemanMcClure

x2 )

Cauchy

ρk (fgi − fdi ).

Tukey

x2 2 ρ4 (x) = 1 + x2 ( (1 − (1 − x2 )3 ) ρ6 (x) = 1

si |x| ≤ 1.345 Rousseeuw sinon

ρ8 (x) =

si x| ≤ 1 sinon

ex − 1 ex + 1

Tab. 1 – Fonctions ρk des M-estimateurs.

• les moindres carr´es tronqu´es, LTS (Least Trimmed Squares), not´es : LTS(fg ,fd ) =

h−1 X i=0

((fg − fd )2 )i:(N −1) .

(14)

• la somme des h premiers carr´es des ´ecarts a` la m´ediane ou ´ecart-type m´edian tronqu´e, SMAD (Smooth Median Absolute Deviation), not´ee : SMAD(fg ,fd ) =

h−1 X i=0

(|fl − fr − med(fl − fr )|2 )i:N −1 .

(15)

3.3

Algorithmes

3.3

9

Algorithmes

Les algorithmes de mise en correspondance que nous proposons sont de trois formes diff´erentes, i,j suivant le moment o` u la d´etection de la zone d’occultation totale est r´ealis´ee. Nous notons d i,j l , dcla,l

et di,j es obtenues respectivement avec les algorithmes propos´es, la mesure de corr´elation rob,l les disparit´ classique et la mesure de corr´elation robuste, pour le pixel pi,j l .

Algorithmes utilisant les contours – Pour le pr´e-traitement, ´etape 1 (algorithme 1), nous avons consid´er´e qu’un pixel correspondant a` un point contour peut ˆetre assimil´e a` un pixel occult´e et l’´equation (3) devient P(pi,j l )=

(

1 0

si pi,j ` un point contour l correspond a sinon.

(16)

Diff´erents filtres ont ´et´e utilis´es pour la d´etection des contours de type (( marche )) : • Algo cont-sob : filtre de Sobel ; • Algo cont-sdef : m´ethode SDEF. i,j equation 16) 1 Calcul du masque d’occultation : pour chaque pixel pi,j l , calcul de P(pl ) (´ 2 Mise en correspondance gauche-droite : pour chaque pixel pg de l’image de gauche : ( si P(pi,j di,j g )=0 cla,g di,j = (17) g i,j drob,g sinon.

3 Mise en correspondance droite-gauche de la mˆeme mani`ere qu’`a l’´etape 2 4 V´erification de la contrainte de sym´etrie Algo. 1 – Contours : d´etection de la zone d’occultation totale avant la mise en correspondance. Algorithmes utilisant le principe des mesures de corr´ elation pond´ er´ ees – Pendant la mise en correspondance, pour l’´etape 1.1 (algorithme 2), le probl`eme est de d´eterminer le type de zone o` u se trouve le pixel ´etudi´e. Grˆace a` l’´etude effectu´ee, voici les deux solutions qui ont ´et´e envisag´ees : • Algo corr-kan : utiliser la m´ethode de Kaneko ; • Algo corr-lan : utiliser une m´ethode des statistiques robustes, comme celle de Lan. 1 Mise en correspondance gauche-droite : pour chaque pixel pi,j g de l’image de gauche : ´ 1.1 Evaluation de P(pi,j ) (m´ e thode de Kaneko ou de Lan) g 1.2 Calcul de la disparit´e de pi,j g : ( di,j si P(pi,j g )=0 i,j cla,g dg = i,j drob,g sinon.

(18)

2 Mise en correspondance droite-gauche de la mˆeme mani`ere qu’`a l’´etape 1 3 V´erification de la contrainte de sym´etrie ´lation : d´etection de la zone d’occultation totale pendant la mise en correspondance. Algo. 2 – Corre

10

3

Propositions d’algorithmes

1 Premi`ere mise en correspondance gauche-droite : calcul de di,j cla,g 2 Premi`ere mise en correspondance droite-gauche de la mˆeme mani`ere qu’`a l’´etape 1 3 V´erification de la contrainte de sym´etrie : ( i,j x,y x,y x,y i,j 1 si pi,j g + dcla,g = pd et pd + dcla,d 6= pg i,j O(pg ) = 0 sinon.

(19)

i,j 4 Pour chaque pixel pi,j l , calcul de P(pl ) 5 Deuxi`eme mise en correspondance gauche-droite : i,j i,j i,j si P(pi,j g ) = 1 ou O(pg ) = 1 alors dg = drob,g .

(20)

6 Deuxi`eme mise en correspondance droite-gauche de la mˆeme mani`ere qu’`a l’´etape 5 7 V´erification de la contrainte de sym´etrie ´tection : d´etection de la zone d’occultation totale apr`es la mise en corresponAlgo. 3 – Post-de dance. Algorithmes de post-d´ etection – Pour le post-traitement, ´etape 4 (algorithme 3, figure 6), les solutions que nous avons envisag´ees pour d´etecter les pixels qui se trouvent dans la zone d’occultation enti`ere sont : • Algo post-seu : appliquer un seuil TS au score de corr´elation obtenu avec la mesure de elation obtenu pour le pixel pi,j corr´elation classique. Nous notons Mcla (pi,j l l ) le score de corr´ et son correspondant, en utilisant une mesure de corr´elation classique : ( 1 si Mcla (pi,j g ) > TS i,j (21) P(pl ) = 0 sinon. Le seuil TS d´epend de la mesure utilis´ee. • Algo post-amb : appliquer un seuil TA a` la mesure d’ambigu¨ıt´e [DMMR01, CC02]. Nous notons Acla (pi,j ıt´e obtenue pour le pixel pi,j elation classique a ´et´e l ) l’ambigu¨ l lorsque la mesure de corr´ utilis´ee : ( 1 si Acla (pi,j i,j l ) > TA (22) P(pl ) = 0 sinon. Dans cette ´etude, le seuil TA correspond a` 60% de la valeur maximale de l’ambigu¨ıt´e. i,j • Algo post-sym : utiliser la contrainte de sym´etrie (´equation 19) : P(p i,j l ) = O(pl ). • Algo post-uni : utiliser la contrainte d’unicit´e : ( i,j x,y i2 ,j2 2 ,j2 1 si pi,j + dicla,g = px,y g + dcla,g = pd et ∃ i2 6= i et ∃ j2 6= j | pg i,j d P(pg ) = 0 sinon.

(23)

• Algo post-ord : utiliser la contrainte d’ordre :  i,j i,j x,y i2 ,j2 i2 ,j2 x2 ,y2 |  1 si pg + dcla,g = pd et ∃i2 6= i et ∃j2 6= j avec pg + dcla,g = pd i,j P(pg ) = (24) (i − i2 )(x − x2 ) < 0 ou (j − j2 )(y − y2 ) < 0   0 sinon.

L’algo post-sym utilisant la contrainte de sym´etrie semble le plus prometteur : l’impl´ementation est simple, il n’y a pas de seuil a` fixer et les cartes de disparit´es obtenues dans [CC02] montrent que

3.3

Algorithmes

11

la contrainte de sym´etrie d´etecte de nombreux pixels comme occult´es parmi les pixels proches des pixels r´eellement occult´es. Le but de l’algorithme propos´e est d’am´eliorer les r´esultats dans la zone d’influence des occultations, or la contrainte de sym´etrie d´etecte des pixels dans la zone d’influence des occultations mais aussi les pixels v´eritablement occult´es, ainsi l’algo post-sym peut d´et´eriorer les r´esultats obtenus par la mesure classique. C’est pourquoi, nous proposons d’autres variantes qui utilisent la v´erification bidirectionnelle : • Algo post-fil : utiliser la v´erification bidirectionnelle et effectuer un filtrage m´edian sur la carte de disparit´es initiale. Les deux r`egles suivantes sont utilis´ees : ◦ Un pixel occult´e dont le nombre de ses voisins occult´es est sup´erieur a` un seuil T F1 est consid´er´e comme appartenant a` la zone d’influence des occultations. ◦ un pixel non occult´e dont le nombre de ses voisins occult´es est sup´erieur a` un seuil T F2 est consid´er´e comme appartenant a` la zone d’influence des occultations. L’´evaluation de P(pi,j l ) devient :     ( i,j i,j i,j i,j ou O(p ) = 0 et V(p ) > T 1 si O(p ) = 1 et V(p ) > T F2 F1 l l l l (25) P(pi,j l )= 0 sinon. N Dans cette ´etude, nous avons pris TF1 = 10 et TF2 = N7 . • Algo post-dil : utiliser la v´erification bidirectionnelle et calculer le dilat´e, obtenu par dilatation conditionnelle au sens de la morphologie math´ematique, par la fenˆetre de corr´elation, des zones d’occultation de la carte de disparit´es initiale. La dilatation est conditionn´ee par le nombre de pixels occult´es dans la fenˆetre de corr´elation : ( i,j 1 si O(pi,j g ) = 0 et V(pl ) > TD (26) P(pi,j ) = g 0 sinon.

Nous avons pris : TD = 3N etecter trop de pixels occult´es, c’est 10 . Cet algorithme risque de d´ pourquoi nous proposons aussi la variante post-dil-cont. • Algo post-dil-cont : utiliser la v´erification bidirectionnelle et calculer le dilat´e, obtenu par dilatation conditionnelle au sens de la morphologie math´ematique, par la fenˆetre de corr´elation, des zones d’occultation de la carte de disparit´es initiale. La dilatation est conditionn´ee par le nombre de pixels occult´es et le nombre de points contours dans la fenˆetre de corr´elation. En prenant en compte les contours de l’image, nous limitons la dilatation des pixels occult´es en supposant que nous pouvons faire confiance aux pixels d´etect´es comme proches de pixels occult´es lorsque ceux-ci sont proches d’un contour : ( i,j 1 si V(pi,j l ) > TC1 et PC(pg ) > TC2 (27) P(pi,j ) = g 0 sinon, m n X X

C(pi,j g )

(28)

1 si pi,j l est un pixel contour. 0 sinon.

(29)

avec

PC(pi,j g )

=

p=−n q=−m

et

C(pi,j l )

=

(

5N Pour les seuils, nous avons pris : TC1 = 3N 10 et TC2 = 100 . • Algo post-ord-sym : combiner la contrainte d’ordre et la v´erification bidirectionnelle :  i,j x,y i2 ,j2 i2 ,j2  1 si (pi,j + dcla,g = pxd 2 ,y2 | g + dcla,g = pd et ∃i2 6= i et ∃j2 6= j avec pg     (i − i2 )(x − x2 ) < 0 ou (j − j2 )(y − y2 ) < 0) P(pi,j ) = (30) g i,j x,y x,y x,y i,j  ou (pi,j g + dcla,g = pd et pd + dcla,d 6= pg )    0 sinon.

12

3

Propositions d’algorithmes

• Algo post-amb-sym : combiner l’utilisation d’un seuil sur l’ambigu¨ıt´e et la v´erification bidirectionnelle : ( i,j x,y x,y x,y i,j i,j 1 si (Acla (pi,j i,j l ) > TA ) ou (pg + dcla,g = pd et pd + dcla,d 6= pg ) P(pl ) = (31) 0 sinon. Ici aussi, le seuil TA correspond a` 60% de la valeur maximale de l’ambigu¨ıt´e. Enfin, un quatri`eme type d’algorithme est envisag´e, l’algo fusion qui consiste a` calculer les cartes de disparit´es avec une mesure classique et une mesure robuste et fusionner les r´esultats obtenus. Quand un pixel est occult´e, nous notons sa disparit´e dneg = (−L − C)T o` u L et C sont respectivement le nombre de lignes et le nombre de colonnes de l’image ´etudi´ee. Afin de distinguer les r´esultats obtenus avec la mesure classique de ceux obtenus avec la mesure robuste, nous introduisons les indices cla et rob. Pour fusionner les r´esultats obtenus, les r`egles retenues sont les suivantes : • Si les deux mesures de corr´elation donnent le mˆeme r´esultat (pixel occult´e ou un mˆeme correspondant), alors ce r´esultat est conserv´e. • Si une seule des deux mesures d´etecte le pixel comme occult´e, alors les r´esultats obtenus avec cette mesure dans le voisinage de ce pixel, sont ´etudi´es : si plus de la moiti´e des voisins est occult´ee alors la disparit´e obtenue avec l’autre mesure est conserv´ee sinon le pixel est occult´e :      i,j i,j i,j N N  ) > ) = 1 et V (p ) > dneg si Ocla (pi,j ) = 1 et V (p ou O (p cla rob rob  l l l l 2 2   i,j i,j i,j 1 di,j = dcla,l si Orob (pl ) = 1 et Vrob (pl ) ≤ 2 l    i,j drob,l sinon. (32) • Si les deux mesures donnent une disparit´e diff´erente, alors nous privil´egions la mesure qui a donn´e le moins de pixels occult´es dans le voisinage du pixel : ( i,j si Vrob (pi,j di,j l ) > Vcla (pl ) cla,l (33) di,j = l di,j rob,l sinon. Tous les algorithmes propos´es ainsi que les diff´erentes variantes sont r´ecapitul´es dans le tableau 2.

Cartes de disparit´es

Cartes d’occultations

Application de la CS

D´etection de la ZT

MEC droite-gauche classique

Application de la CS

D´etection de la ZT

Algorithmes

MEC gauche-droite classique

3.3

Cartes de disparit´es

Image gauche

Image droite

Fig. 6 – Algorithmes de type post-d´etection.

MEC gauche-droite robuste

Carte de disparit´es finale Application de la CS

MEC droite-gauche robuste

Image gauche Image droite

MEC = mise en correspondance CS = contrainte de sym´etrie ZT = zone d’occultation totale

13

14

4

Type Contours ´lation corre

´tection post-de

Variante cont-sob cont-sdef corr-kan corr-lan post-seu post-amb post-sym post-uni post-ord post-fil post-dil post-dil-cont

Fusion

post-ord-sym post-amb-sym -

´ Protocole d’evaluation et de comparaison

´ristiques Caracte Utilisation du filtre de Sobel Utilisation de la m´ethode SDEF Utilisation de la m´ethode de Kaneko Utilisation de la m´ethode de Lan Seuil sur le score de corr´elation Seuil sur l’ambigu¨ıt´e Contrainte de sym´etrie Contrainte d’unicit´e Contrainte d’ordre Contrainte de sym´etrie suivie d’un filtrage m´edian Contrainte de sym´etrie suivie d’une dilatation des zones d’occultation Contrainte de sym´etrie suivie d’une dilatation des zones d’occultation en prenant en compte les contours Contrainte d’ordre et contrainte de sym´etrie Seuil sur l’ambigu¨ıt´e et contrainte de sym´etrie Fusion des deux cartes

Tab. 2 – Algorithmes propos´es : 4 types et 15 variantes.

4 4.1

Protocole d’´ evaluation et de comparaison Images

Les tests ont ´et´e r´ealis´es sur onze paires d’images synth´etiques et r´eelles pour lesquelles la v´erit´e terrain est connue (figure 7) : • images de synth`ese : un st´er´eogramme al´eatoire comprenant deux plans avec une occultation a` gauche du premier plan ; • images r´eelles : des paires d’images r´eelles acquises par Scharstein et Szeliski [SS02] (ces images se trouvent sur : http://www.middlebury.edu/stereo/data.html) : ◦ map, sawtooth, venus, barn1, barn2, bull et poster : images comprenant un ensemble de plans constitu´es de morceaux de tableaux ou de journaux, inclin´es par rapport au plan de la cam´era ; ◦ head and lamp: images d’une sc`ene complexe d’int´erieur comprenant une tˆete et une lampe et pr´esentant de nombreuses occultations ; ◦ cones et teddy : images d’une sc`ene d’int´erieur complexe comprenant de nombreux petits objets et de tr`es nombreuses occultations.

4.2

Crit` eres

De nombreuses propositions d’´evaluation des algorithmes de mise en correspondance ont ´et´e faites, ˇ S03] ˇ les plus compl`etes ´etant celles de Kostkov´a [KC et Scharstein [SS02]. Comme dans ces travaux, nous cherchons une ´evaluation la plus pr´ecise possible, en essayant de mettre en ´evidence les r´esultats obtenus dans les diff´erentes zones d’occultation. Les diff´erents crit`eres ´evalu´es sont identiques a` ceux utilis´es dans [CC03] : • Pourcentage de pixels corrects, de pixels accept´es (´ecart d’un pixel avec le pixel correspondant th´eorique) et de pixels erron´es (not´es respectivement cor, acc et err). • Pourcentage de faux positifs et de faux n´egatifs (not´es respectivement FPos et FNeg). • Pourcentage de pixels corrects dans les zones d’occultation consid´er´ees (cf. § 2.1 et figure 1) : les

4.2

` Criteres

Nom

15

Image gauche

Image droite

Carte de ´s disparite

Zones d’occultation

St´er´eogramme al´eatoire Map

Sawtooth

Venus

Barn1

Barn2

Bull

Poster

Head and lamp

Cones

Teddy

Fig. 7 – Images test´ees.

pixels occult´es (pixels noirs sur la figure 7, not´es ZO), les pixels qui se trouvent proches des pixels occult´es (pixels gris sur la figure 7, not´es ZI) et les pixels contenus dans la zone d’occultation totale (pixels gris et pixels noirs sur la figure 7, not´e ZT) avec : ZT = ZO ∪ ZI. • Temps d’ex´ecution (Tps).

16

4.3

5

´ ´ Resultats experimentaux

Algorithme

Nous avons test´e tous les algorithmes propos´es. De plus, les mises en correspondance droite-gauche et gauche-droite ont ´et´e r´ealis´ees pour ajouter la v´erification bidirectionnelle. Dans [CC03], avec une taille de fenˆetre de corr´elation 9 × 9, les r´esultats obtenus pour chaque crit`ere sont corrects, parmi les meilleurs. Avec une fenˆetre plus petite, de tr`es mauvais r´esultats sont obtenus pour le pourcentage de corrects pr`es des occultations, en revanche, avec une fenˆetre plus grande, l’erreur moyenne est beaucoup plus ´elev´ee et il y a beaucoup plus de faux positifs. C’est pourquoi, nous avons pris la taille de fenˆetre 9 × 9 pour notre algorithme. Pour la zone de recherche, les images ´etant rectifi´ees, nous avons pris une zone de recherche limit´ee a` 30 pixels a` gauche (60 pour les images cones et teddy) et 30 pixels a` droite (60 pour les images cones et teddy) du pixel consid´er´e. Nous avons compar´e ces algorithmes a` la m´ethode de mise en correspondance par corr´elation ´el´ementaire avec v´erification bidirectionnelle utilis´ee dans [CC03]. Cette m´ethode ne fait intervenir qu’une seule mesure de corr´elation, classique ou robuste, et, a` partir de maintenant, nous l’appellerons algorithme ´el´ementaire, en pr´ecisant la mesure utilis´ee.

5

R´ esultats exp´ erimentaux

Pour l’algo contours, quel que soit le masque utilis´e, les pourcentages de pixels corrects et de pixels corrects pr`es des zones d’occultation ne sont pas toujours meilleurs que ceux obtenus par l’algorithme ´el´ementaire. Cet algorithme pose un probl`eme d´elicat : le choix des seuils. D’une image a` l’autre, les seuils a` utiliser pour obtenir les meilleurs r´esultats sont tr`es diff´erents et de plus il est tr`es difficile de d´eterminer leur valeur a priori. Nous avons d´etermin´e, de mani`ere empirique, les seuils optimaux (pour lesquels les meilleurs r´esultats sont obtenus) pour chaque image et il est clairement apparu qu’il ´etait tr`es difficile de les d´eterminer automatiquement. ´lation, les r´esultats ne sont pas meilleurs. Le mˆeme probl`eme se pose pour le Pour l’algo corre choix des seuils. De plus, la m´ethode de Lan est beaucoup plus coˆ uteuse en temps de calcul que toutes les autres m´ethodes. Enfin, les deux derni`eres cat´egories d’algorithmes s’av`erent les plus efficaces. Les r´esultats sont globalement am´elior´es par rapport a` ceux obtenus avec l’algorithme ´el´ementaire, en particulier en utilisant les techniques fond´ees sur la v´erification bidirectionnelle : algo post-sym, post-dil et postdil-cont. L’algo fusion donne aussi de bons pourcentages de pixels corrects et am´eliore les r´esultats obtenus avec l’algorithme ´el´ementaire utilisant une mesure classique, pour tous les crit`eres, except´e le pourcentage de pixels erron´es. Pour les temps de calcul, l’algo cont-sdef est le plus rapide, apr`es l’algorithme ´el´ementaire utilisant une mesure classique. L’algo fusion est le plus coˆ uteux en temps de calcul. Tous les autres algorithmes sont moins coˆ uteux que l’algorithme ´el´ementaire avec SMAD. Parmi les mesures utilis´ees, les r´esultats obtenus sont globalement meilleurs avec la mesure classique ZNCC suivie de la mesure robuste SMAD. Nous allons donner le d´etail des r´esultats obtenus pour chaque cat´egorie d’images. Les figures 8, 9, 10 et 11, permettent de d´etailler, de mani`ere visuelle, les r´esultats obtenus : • La premi`ere ligne correspond aux cartes de disparit´es obtenues : plus le pixel est clair, plus il est proche du plan de la cam´era et plus la disparit´e est importante. • La deuxi`eme ligne pr´esente les cartes de pixels corrects : les pixels gris correspondent a` une disparit´e correcte, les pixels noirs correspondent aux pixels de la zone d’occultation totale et les pixels blancs correspondent aux erreurs. • La troisi`eme ligne montre les masques d’occultation : les pixels noirs correspondent aux pixels d´etect´es comme occult´es. • La quatri`eme ligne illustre la qualit´e des masques d’occultation obtenus : ces cartes mettent en ´evidence les pixels correctement d´etect´es comme occult´es (pixel noirs) et correctement d´etect´es comme proche d’une zone d’occultation (pixels gris).

5.1

´ eogramme ´ ´ Ster aleatoire

17

Les tableaux 3, 4, 5 et 6 donnent les d´etails pour chaque crit`ere ´evalu´e. De plus, nous indiquons le rang de chaque r´esultat par rapport au crit`ere consid´er´e. La derni`ere colonne indique le rang de la m´ethode par rapport a` toutes les m´ethodes pr´esent´ees dans le tableau. Ce rang est calcul´e en effectuant une moyenne des rangs sur chaque crit`ere, puis en effectuant le classement de ces moyennes. Pour chaque cat´egorie d’images, seuls les r´esultats pour un couple sont fournis, mais les r´esultats obtenus pour toutes les autres images sont pr´esent´es en annexe, page 27.

5.1

St´ er´ eogramme al´ eatoire Algo ZNCC SMAD

Algo cont-sdef Algo corr-kan Algo post-sym Algo post-dil Algo post-dilcont Algo fusion

Cor (%) 97.33 (8) 98.36 (1) 97.84 (3) 98.06 (2) 97.54 (7) 97.56 (5)

Err (%) 1.01 (8) 0.09 (1) 0.55 (3) 0.32 (2) 0.88 (7) 0.86 (6)

FPos (%) 0.34 (1) 0.51 (7) 0.37 (2) 0.39 (3) 0.52 (8) 0.50 (4)

FNeg (%) 1.31 (8) 1.03 (1) 1.23 (6) 1.24 (7) 1.06 (3) 1.08 (4)

ZT (%) 70.11 (1) 65.28 (8) 69.29 (2) 68.98 (3) 65.74 (6) 65.90 (4)

ZO (%) 78.8 (1) 68.4 (7) 77.2 (2) 76.20 (3) 68.2 (8) 69.20 (4)

97.56 (5)

0.85 (4)

0.51 (4)

1.08 (4)

65.80 (4)

97.63 (4)

0.84 (5)

0.50 (4)

1.03 (1)

65.53 (7)

ZI (%)

Tps (s)

60.91 (7) 61.97 (4) 60.91 (7) 61.33 (6) 63.1 (1) 62.39 (2)

11.3 (1) 122.28 (5) 48.65 (4) 149.47 (7) 18.56 (2) 22.76 (3)

69.15 (4)

62.37 (2)

160.65 (8)

5

69.00 (6)

61.86 (5)

125.5 (6)

7

Rang 5 4 1 3 5 2

Tab. 3 – R´esultats obtenus avec le st´er´eogramme al´eatoire. Le rang, pour chaque colonne, est affich´e entre parenth`eses et le rang final est ´evalu´e en effectuant le classement des moyennes des rangs sur chaque crit`ere. Cette image poss`ede 1.53% de pixels dans la zone d’influence des occultations. Pour ces images, les r´esultats obtenus avec les algo post-sym, post-dil, post-dil-cont et fusion ne sont pas tr`es diff´erents de ceux obtenus par l’algorithme ´el´ementaire utilisant ZNCC ou SMAD et ils ne sont pas globalement meilleurs que ceux obtenus avec les autres algorithmes. Les masques obtenus avec l’algo contours ne peuvent pas ˆetre repr´esentatifs puisque les filtres utilis´es d´etectent uniquement des contours de type (( marche )) et pour le st´er´eogramme al´eatoire, les discontinuit´es de profondeur ne correspondent pas au contours de l’image. De mˆeme, les masques d’occultation obtenus avec la m´ethode de Kaneko ne co¨ıncident pas avec les v´eritables zones d’occultation. Quand ´tection, les zones d’influence des occultations sont mieux d´etect´ees qu’avec les a` l’algo post-de autres algorithmes, mais si on observe la zone a` droite du premier plan, qui ne fait pas partie de la zone d’influence des occultations, on peut voir que l’algorithme ´el´ementaire utilisant SMAD est ´tection n’obtiennent plus performant que celui utilisant ZNCC, ce qui explique que l’algo post-de pas des r´esultats meilleurs pour le pourcentage de pixels corrects. De plus, dans cette image, il y a seulement 1.53% de pixels dans la zone d’influence des occultations, ce qui signifie que globalement les r´esultats ne peuvent pas ˆetre beaucoup am´elior´es (figures 8 et tableau 3). Ainsi, si le classement des algorithmes est effectu´e (tableau 3), avec ces images, l’algo corr-kan est le premier. Les r´esultats avec ces images ne sont donc pas en harmonie avec ceux obtenus avec les autres images et cela s’explique par leur nature et le tr`es faible pourcentage de pixels dans la zone d’influence des occultations.

Mesure SMAD

Algo contsdef

Algo corr-kan

Algo postsym

Algo postdil

Algo postdil-cont

algo fusion

18

Mesure ZNCC

(a)

(c)

(d) 5

(a) Cartes de disparit´es. (b) Appariements corrects (noir = correct dans ZO, gris = corrects hors ZO). (c) Zone d’occultation totale (d) Zone d’occultation totale correcte (noir = correct dans ZO, gris = corrects dans ZI)

´ ´ Resultats experimentaux

Fig. 8 – Cartes obtenues avec le st´er´eogramme al´eatoire.

(b)

5.2

5.2

Map, sawtooth, venus, barn1, barn2, bull et poster

19

Map, sawtooth, venus, barn1, barn2, bull et poster Algo ZNCC SMAD

Algo cont-sdef Algo corr-kan Algo post-sym Algo post-dil Algo postdil-cont Algo fusion

Cor (%) 53.11 (6) 53.27 (5) 52.78 (7) 52.19 (8) 54.06 (4) 54.35 (2) 54.24 (3) 55.00 (1)

Acc (%) 37.21 (5) 35.48 (8) 36.86 (6) 35.61 (7) 38.18 (2) 37.83 (4) 37.94 (3) 38.40 (1)

Err (%) 39.85 (4) 37.33 (2) 39.30 (3) 37.32 (1) 40.90 (7) 39.85 (4) 40.19 (6) 41.03 (8)

FPos (%) 1.24 (7) 0.62 (1) 1.18 (6) 0.79 (2) 1.32 (1) 0.99 (4) 1.08 (5) 0.88 (3)

FNeg ZT (%) (%) 5.80 60.93 (5) (7) 8.79 70.48 (7) (1) 6.74 60.91 (6) (8) 9.69 64.04 (8) (5) 3.71 63.83 (2) (6) 4.81 65.07 (4) (3) 4.48 64.57 (3) (4) 3.10 69.84 (1) (2)

ZO (%) 69.04 (7) 84.66 (1) 70.67 (6) 80.25 (2) 67.03 (8) 75.34 (4) 73.02 (5) 78.11 (3)

ZI (%) 54.65 (6) 59.51 (3) 53.35 (7) 51.51 (6) 61.36 (2) 57.13 (5) 58.03 (4) 63.45 (1)

Tps Rang (s) 30.56 7 (1) 410.44 3 (7) 36.45 8 (2) 194.63 6 (8) 59.01 5 (3) 59.01 2 (4) 87.91 4 (5) 272.2 1 (8)

Tab. 4 – R´esultats obtenus avec les images sawtooth. Le rang, pour chaque colonne, est affich´e entre parenth`eses et le rang final est ´evalu´e en effectuant le classement des moyennes des rangs sur chaque crit`ere. Cette image poss`ede 5.19% de pixels dans la zone d’influence des occultations. Pour toutes ces images, les r´esultats obtenus sont a` peu pr`es ´equivalents (voir annexe page 27). Cependant, les r´esultats obtenus avec les images sawtooth pr´esentent les am´eliorations les plus importantes. Pour toutes les images, l’algo fusion est class´e premier, except´e avec les images bull o` u l’algo postsym est premier. Parmi toutes ces images, les images bull ont le pourcentage de pixels dans la zone d’influence des occultations le plus faible : 2.6%, contre 9.32% avec les images poster qui poss`edent le pourcentage de pixels dans la zone d’influence des occultations le plus ´elev´e. De plus, pour ces images, les am´eliorations apport´ees par nos algorithmes sont les moins importantes de toutes. Le reste du classement est assez diff´erent suivant les images mais globalement, les meilleurs r´esultats sont obtenus en utilisant les algo post-sym, post-dil, post-dil-cont et fusion avec les mesures ZNCC et SMAD. Pour toutes les images, les pourcentages de pixels corrects, de pixels accept´es, de faux n´egatifs et de pixels corrects dans la zone d’influence des occultations sont am´elior´es par rapport aux r´esultats obtenus avec l’algorithme ´el´ementaire (figure 9 et tableau 4). Pour le pourcentage de pixels corrects, avec les images sawtooth, il y a respectivement 1.89% et 1.73% d’am´elioration par rapport a` l’algorithme ´el´ementaire avec ZNCC et avec SMAD. Pour le pourcentage de pixels corrects dans la zone d’influence des occultations, il y a respectivement 8.8% et 3.94% d’am´elioration par rapport a` l’algorithme ´el´ementaire avec ZNCC et avec SMAD. Les algo post-dil et fusion obtiennent de meilleurs r´esultats que les algo post-sym et post-dil-cont pour le pourcentage de pixels occult´es corrects. ´tection et fusion. Les cartes de disparit´es les plus nettes sont obtenues avec les algo post-d e L’algo fusion est globalement le plus performant mais le plus coˆ uteux en temps de calcul.

Mesure SMAD

Algo contsdef

Algo corrkan

Algo postsym

Algo postdil

Algo postdil-cont

Algo fusion

20

Mesure ZNCC

(a)

(c)

(d)

5

Fig. 9 – Cartes obtenues avec les images sawtooth.

(b)

´ ´ Resultats experimentaux

(a) Cartes de disparit´es. (b) Appariements corrects (noir = correct dans ZO, gris = corrects hors ZO). (c) Zone d’occultation totale (d) Zone d’occultation totale correcte (noir = correct dans ZO, gris = corrects dans ZI)

5.3

5.3

Head and lamp

21

Head and lamp Algo ZNCC SMAD

Algo cont-sdef Algo corr-kan Algo post-sym Algo post-dil Algo postdil-cont Algo fusion

Cor (%) 56.52 (5) 44.84 (8) 55.16 (6) 52.76 (7) 58.56 (1) 57.76 (4) 58.09 (3) 58.56 (1)

Acc (%) 9.30 (8) 15.42 (1) 9.39 (7) 9.51 (6) 10.84 (3) 9.85 (5) 10.48 (4) 11.15 (2)

Err (%) 25.05 (3) 31.97 (8) 24.88 (2) 23.56 (1) 28.75 (7) 26.07 (4) 27.03 (5) 28.16 (6)

FPos (%) 1.26 (7) 0.71 (1) 1.09 (4) 0.95 (2) 1.38 (8) 0.96 (3) 1.12 (6) 1.11 (5)

FNeg ZT (%) (%) 17.17 56.78 (5) (8) 22.48 71.78 (7) (2) 18.86 57.06 (6) (7) 22.73 58.23 (8) (6) 11.30 66.21 (1) (4) 15.21 7.52 (4) (3) 13.77 65.96 (3) (5) 12.17 72.66 (2) (1)

ZO (%) 41.36 (7) 67.05 (1) 48.98 (4) 55.76 (2) 35.65 (8) 55.18 (3) 47.96 (6) 48.45 (5)

ZI (%) 61.27 (6) 73.16 (3) 59.41 (7) 58.95 (8) 75.12 (2) 71.11 (5) 71.21 (4) 79.72 (1)

Tps Rang (s) 20.02 8 (1) 166.31 4 (7) 26.1 6 (2) 104.82 7 (6) 52.9 3 (3) 69.21 2 (4) 75.62 5 (5) 174.42 1 (8)

Tab. 5 – R´esultats obtenus avec les images head and lamp. Le rang, pour chaque colonne, est affich´e entre parenth`eses et le rang final est ´evalu´e en effectuant le classement des moyennes des rangs sur chaque crit`ere. Cette image poss`ede 7.35% de pixels dans la zone d’influence des occultations. Les meilleurs r´esultats sont obtenus avec les algo fusion, post-dil et post-sym, dans cet ordre, en utilisant les mesures ZNCC et SMAD (voir le classement dans le tableau 5). Les pourcentages de pixels corrects et de pixels corrects dans la zone d’influence des occultations sont am´elior´es par rapport aux r´esultats obtenus par l’algorithme ´el´ementaire (figure 10 et tableau 5). L’algo fusion obtient les meilleurs pourcentages de pixels corrects et de pixels corrects dans la zone d’influence des occultations et dans la zone d’occultation totale. Pour le pourcentage de pixels corrects, avec l’algo fusion, il y a respectivement 2.04% et 13.72% d’am´elioration par rapport a` l’algorithme ´el´ementaire avec ZNCC et avec SMAD. Pour le pourcentage de pixels corrects dans la zone d’influence des occultations, il y a respectivement 18.45% et 6.56% d’am´elioration par rapport a` l’algorithme ´el´ementaire avec ZNCC et SMAD. Les algo post-dil et post-dil-cont ont de moins bons r´esultats que les algo post-sym et fusion pour le pourcentage de pixels corrects dans la zone d’influence des occultations, mais l’algo postdil obtient de meilleurs r´esultats pour le pourcentage de pixels corrects dans la zone occult´ee. Le pourcentage de faux n´egatifs est moins important avec l’algo post-sym qu’avec les autres algorithmes. Cela vient du fait que seuls les pixels occult´es sont r´eexamin´es avec la mesure SMAD, donc le pourcentage de faux n´egatifs ne peut ˆetre que diminu´e. Pour la mˆeme raison, l’algo post-sym obtient le pourcentage de pixels corrects dans la zone occult´ee le plus faible et le pourcentage de faux positifs le plus ´elev´e. En effet, seuls les pixels d´etect´es comme occult´es, en utilisant la mesure ZNCC, sont examin´es et parmi ces pixels, il y a toujours certains pixels qui seront appari´es, en utilisant la mesure SMAD. La mesure ZNCC obtenant d´ej`a de mauvais r´esultats pour ces deux crit`eres, les r´esultats ne peuvent ˆetre que d´egrad´es avec cet algorithme. ´tection et fusion sont beaucoup plus Les cartes de disparit´es obtenues avec les algo post-de nettes que les autres cartes de disparit´es. L’algo fusion obtient la carte de disparit´e la plus nette et la plus dense. L’algo post-dil-cont obtient la meilleure carte d’occultation. L’algo fusion est cependant trois fois plus coˆ uteux en temps de calcul que l’algo post-sym.

Mesure SMAD

Algo contsdef

Algo corrkan

Algo postsym

Algo postdil

Algo postdil-cont

Algo fusion

22

Mesure ZNCC (a)

(c)

(d)

(a) Cartes de disparit´es. (b) Appariements corrects (noir = correct dans ZO, gris = corrects hors ZO). (c) Zone d’occultation totale (d) Zone d’occultation totale correcte (noir = correct dans ZO, gris = corrects dans ZI)

5 ´ ´ Resultats experimentaux

Fig. 10 – Cartes obtenues avec les images head and lamp.

(b)

5.4

Cones et teddy

5.4

23

Cones et teddy

Pour ces images, les r´esultats sont diff´erents d’une image a` l’autre (voir annexe page 36). Les images cones obtiennent de moins bons r´esultats que les images teddy. Pour teddy, l’algo fusion est le meilleur, pour cones, l’algorithme ´el´ementaire utilisant SMAD donne les meilleurs r´esultats, suivi par l’algo fusion. Nous pouvons remarquer que pour l’image cones, le pourcentage de pixels dans la zone d’influence des occultations est important : 16.72%. ´tection et fusion obtiennent les meilleurs pourcentages de pixels corrects, de Les algo post-de pixels accept´es, de faux n´egatifs, de pixels corrects dans la zone d’influence des occultations et de pixels corrects pr`es des zones d’occultation (figure 11 et tableau 6). Avec les images teddy, pour le pourcentage de pixels corrects, il y a respectivement 1.81% et 4.43% d’am´elioration par rapport a` l’algorithme ´el´ementaire avec ZNCC et avec SMAD. Le pourcentage de pixels accept´es est augment´e respectivement de 1.58% et 2.02% avec l’algorithme ´el´ementaire avec ZNCC et avec SMAD. Pour le pourcentage de pixels corrects dans la zone d’influence des occultations, il y a respectivement 8.84% et 7.74% d’am´elioration par rapport a` l’algorithme ´el´ementaire avec ZNCC et avec SMAD. Ce qui permet d’am´eliorer respectivement de 6.45% et 3.37% le pourcentage de pixels corrects dans la zone d’occultation totale avec les mesures ZNCC et SMAD. Algo ZNCC SMAD Algo cont-sdef Algo 2.1 Algo post-sym Algo post-dil Algo postdil-cont Algo fusion

Cor (%) 52.14 (5) 49.52 (8) 51.87 (6) 49.66 (7) 53.68 (2) 53.05 (4) 53.29 (3) 53.95 (1)

Acc (%) 23.58 (5) 23.14 (6) 23.14 (6) 21.48 (8) 25.29 (1) 24.32 (4) 24.8 (3) 25.16 (2)

Err (%) 30.14 (3) 30.39 (4) 29.32 (2) 26.54 (1) 33.61 (8) 31.76 (5) 32.48 (6) 33.09 (7)

FPos (%) 3 (6) 2.32 (2) 2.85 (5) 2.18 (1) 3.39 (8) 2.76 (4) 3.03 (7) 2.66 (3)

FNeg ZT (%) (%) 14.72 69.88 (5) (6) 17.77 72.96 (7) (4) 15.98 68.98 (6) (7) 21.62 68.68 (8) (8) 9.32 73.7 (1) (2) 12.44 72.69 (4) (5) 11.21 73.01 (3) (3) 10.3 76.33 (2) (1)

ZO (%) 73.96 (6) 79.83 (2) 75.21 (5) 81 (1) 70.49 (8) 75.98 (4) 73.62 (7) 76.83 (3)

ZI (%) 67.15 (6) 68.25 (5) 64.7 (7) 60.22 (8) 75.91 (2) 70.43 (4) 72.58 (3) 75.99 (1)

Tps Rang (s) 62.28 5 (1) 539.78 6 (6) 112.42 7 (2) 600.35 8 (7) 311.5 2 (3) 343.99 3 (4) 372.16 4 (5) 723.24 1 (8)

Tab. 6 – R´esultats obtenus avec les images teddy. Le rang, pour chaque colonne, est affich´e entre parenth`eses et le rang final est ´evalu´e en effectuant le classement des moyennes des rangs sur chaque crit`ere. Cette image poss`ede 20.9% de pixels dans la zone d’influence des occultations.

Mesure SMAD

Algo contsdef

Algo corrkan

Algo postsym

Algo postdil

Algo postdil-cont

Algo fusion

24

Mesure ZNCC

(a)

Fig. 11 – Cartes obtenues avec les images teddy.

(b)

(c)

(d)

5 ´ ´ Resultats experimentaux

(a) Cartes de disparit´es. (b) Appariements corrects (noir = correct dans ZO, gris = corrects hors ZO). (c) Zone d’occultation totale (d) Zone d’occultation totale correcte (noir = correct dans ZO, gris = corrects dans ZI)

` des resultats ´ Synthese obtenus

5.5

5.5

25

Synth` ese des r´ esultats obtenus

Dans l’ensemble, les r´esultats obtenus sont am´elior´es en utilisant l’algo post-sym (v´erification bidirectionnelle) et l’algo fusion, et en combinant les mesures ZNCC et SMAD. Par rapport aux r´esultats obtenus avec l’algorithme ´el´ementaire avec ZNCC, le pourcentage de pixels corrects dans la zone d’influence des occultations est augment´e de 3.94% a` 18.45%, suivant les images. Les r´esultats sont surtout am´elior´es pour les images r´eelles les plus complexes : head and lamp, avec laquelle nous obtenions les plus mauvais r´esultats [CC02], et teddy. Les algo fusion et post-sym permettent d’obtenir les cartes de disparit´es les plus denses, mais ils d´etectent beaucoup moins bien les pixels occult´es, mˆeme si l’algo fusion est plus performant que l’algo post-sym pour cette d´etection. L’algo post-dil-cont permet d’obtenir des cartes de disparit´es moins denses que les algo postsym et fusion mais ne pr´esente pas le d´efaut de ceux-ci. Pour tenter de mettre en ´evidence le meilleur algorithme, nous avons effectu´e un classement de chaque algorithme pour chaque crit`ere et pour chaque image (tableaux 4, 5 et 6). En r´ealisant la moyenne des classements sur chaque crit`ere, l’algo fusion est premier pour chaque type d’image, sauf pour le st´er´eogramme, les images bull et cones. Une autre mani`ere de synth´etiser les r´esultats consiste a` effectuer la moyenne des r´esultats obtenus pour chaque crit`ere (pour chaque image, tableau 7). Le classement est aussi effectu´e sur ces moyennes. L’algo fusion est toujours le premier algorithme. Algo ZNCC SMAD algo contsdef algo corrkan algo postsym algo post-dil algo postd´etection8 algo fusion

Cor (%) 54.13 (5) 51.25 (8) 53.62 (6) 53.52 (7) 55.34 (2) 54.81 (4) 54.99 (3) 55.50 (1)

Acc (%) 30.17 (5) 28.50 (7) 29.70 (6) 28.44 (8) 31.39 (1) 30.51 (4) 30.83 (3) 31.29 (2)

Err (%) 34.00 (4) 33.31 (3) 33.25 (2) 32.66 (1) 36.02 (8) 34.73 (5) 35.11 (6) 35.85 (7)

FPos (%) 1.45 (6) 0.97 (2) 1.32 (4) 0.95 (1) 1.60 (7) 4.50 (8) 1.40 (5) 1.22 (3)

FNeg ZT (%) (%) 9.88 63.46 (5) (6) 13.74 68.82 (8) (2) 11.25 63.22 (6) (8) 12.83 63.29 (7) (7) 6.51 66.86 (1) (3) 8.57 66.71 (4) (5) 7.92 66.81 (3) (4) 6.77 71.10 (2) (1)

ZO (%) 66.54 (7) 78.01 (1) 68.85 (5) 74.50 (2) 63.18 (8) 69.92 (4) 67.45 (6) 71.49 (3)

ZI (%) 60.04 (6) 63.09 (5) 55.82 (7) 55.68 (8) 67.41 (2) 63.76 (4) 65.09 (3) 69.57 (1)

Tps (s) 32.66 (1) 280.20 (7) 93.61 (2) 231.73 (6) 99.82 (3) 125.93 (4) 149.69 (5) 332.02 (7)

Rang 6 5 7 8 2 4 3 1

Tab. 7 – R´esultats obtenus avec toutes les images. Une moyenne est effectu´ee sur tous les crit`eres, pour les onze images test´ees. Un classement de ces moyennes est aussi r´ealis´e (le rang est affich´e entre parenth`eses). Le classement final est ´evalu´e en effectuant le classement des moyennes des rangs pour chaque crit`ere.

26

6

6

Conclusion

Conclusion

Dans cette ´etude, nous nous sommes particuli`erement int´eress´es au probl`eme des occultations, dans le cadre de la mise en correspondance st´er´eoscopique dense de pixels par corr´elation. Suite aux r´esultats que nous avons obtenus dans nos pr´ec´edents travaux, notre fa¸con d’aborder le probl`eme a ´et´e d’utiliser deux mesures de corr´elation : une mesure de corr´elation classique qui donne de bons r´esultats dans les zones sans occultation et une mesure de corr´elation robuste qui donne de bons r´esultats dans la zone d’influence des occultations. Une des difficult´es de cette approche est de d´eterminer la zone d’influence des occultations. Apr`es avoir caract´eris´e les diff´erentes zones consid´er´ees (zone d’occultation, zone d’influence des occultations et zone d’occultation totale) et apr`es avoir effectu´e un ´etat de l’art sur les m´ethodes de d´etection des occultations, diff´erents algorithmes ont ´et´e propos´es : quatre types et quinze variantes. Ces algorithmes ont ´et´e test´es avec onze paires d’images diff´erentes et sur huit crit`eres diff´erents. La visualisation des cartes de disparit´es et des cartes d’occultation ainsi que l’utilisation de tableaux synth´etisant les r´esultats obtenus mettent en ´evidence les solutions les plus satisfaisantes qui consistent : soit a` effectuer une mise en correspondance en utilisant la mesure ZNCC et la v´erification bidirectionnelle (algo post-sym), puis a` effectuer de nouveau une mise en correspondance avec la mesure SMAD pour tous les pixels d´etect´es comme occult´es, soit a` fusionner les deux cartes de disparit´es obtenues par ZNCC et SMAD (algo fusion). L’algo fusion donnent les meilleurs r´esultats mais c’est aussi le plus coˆ uteux en temps de calcul. Jusqu’`a pr´esent, nous nous sommes content´es d’utiliser des fenˆetres de corr´elation carr´ees de tailles fixes. En consid´erant seulement ce type de fenˆetre, nous supposons que la disparit´e est uniforme sur tout le voisinage du pixel consid´er´e. Ceci est assez limit´e, puisque justement pr`es des discontinuit´es de profondeur, les disparit´es ne sont pas uniformes. Une perspective de ce travail serait donc d’utiliser cet algorithme avec des formes de fenˆetres variables, dont la taille varie suivant le type de zone o` u les calculs sont effectu´es. Enfin, les temps de calcul restent assez ´elev´es et une deuxi`eme perspective de ce travail serait de r´ealiser une impl´ementation efficace de nos algorithmes, en utilisant par exemple, le box-filtering [DMMN02] et la multir´esolution [MBU00].

27

Annexe Map, venus, barn1, barn2, bull et poster Algo ZNCC SMAD Algo cont-sdef Algo corrkan Algo postd´etection3 Algo post-dil Algo postdil-cont Algo fusion

Cor (%) 32.57 (6) 35.09 (1) 32.05 (8) 32.4 (7) 33.85 (5) 33.97 (3) 33.92 (4) 35 (2)

Acc (%) 57.61 (5) 56.16 (7) 56.93 (6) 55.67 (8) 59.57 (2) 59.25 (4) 59.33 (3) 60.29 (1)

Err (%) 58.17 (4) 56.42 (2) 57.47 (3) 56.05 (1) 60.16 (7) 59.64 (5) 59.74 (6) 60.87 (8)

FPos (%) 0.84 (6) 0.41 (1) 0.77 (5) 0.7 (4) 0.91 (7) 36 (8) 0.65 (3) 0.45 (2)

FNeg ZT (%) (%) 8.42 66.98 (6) (8) 8.08 77.13 (5) (2) 9.7 67.26 (7) (7) 10.85 67.54 (8) (6) 5.08 73.67 (2) (5) 5.78 74.63 (4) (3) 5.69 74.12 (3) (4) 3.68 78.79 (1) (1)

ZO (%) 85.98 (7) 93.21 (1) 87.06 (6) 88.29 (5) 84.85 (8) 89.95 (3) 89.13 (4) 92.4 (2)

ZI (%) 50.71 (6) 63.36 (3) 50.31 (7) 49.79 (8) 64.11 (2) 61.54 (4) 61.26 (5) 67.15 (1)

Tps Rang (s) 9.62 6 (1) 166.31 2 (7) 22.16 7 (2) 75.92 8 (6) 27.75 5 (3) 31.74 4 (4) 39.08 3 (5) 174.42 1 (8)

Tab. 8 – R´esultats obtenus avec les images map. Le rang, pour chaque colonne, est affich´e entre parenth`eses et le rang final est ´evalu´e en effectuant le classement des moyennes des rangs sur chaque crit`ere. Cette image poss`ede 6.98% de pixels dans la zone d’influence des occultations.

Algo ZNCC SMAD Algo cont-sdef Algo corrkan Algo post-sym Algo post-dil Algo postdil-cont Algo fusion

Cor (%) 46.67 (4) 38.48 (8) 46.15 (6) 43.75 (7) 47.64 (1) 46.5 (5) 46.89 (3) 47.22 (2)

Acc (%) 40.84 (5) 37 (8) 40.37 (6) 40.18 (7) 42.09 (1) 41.2 (4) 41.43 (3) 41.8 (2)

Err (%) 43.33 (4) 42.19 (1) 42.75 (3) 42.31 (2) 45.13 (7) 44.18 (5) 44.46 (6) 45.27 (8)

FPos (%) 0.89 (6) 0.69 (1) 0.87 (4) 0.76 (2) 0.94 (8) 0.87 (4) 0.89 (6) 0.79 (3)

FNeg ZT (%) (%) 9.11 63.46 (5) (6) 18.63 65.76 (8) (2) 10.23 63.36 (6) (7) 13.17 61.75 (7) (8) 6.29 65.45 (1) (4) 8.45 64.86 (4) (5) 7.77 65.63 (3) (3) 6.72 71.45 (2) (1)

ZO (%) 66.81 (7) 74.16 (1) 67.69 (5) 71.6 (2) 65.13 (8) 67.78 (4) 67.04 (6) 70.67 (3)

ZI (%) 61.52 (5) 60.88 (6) 60.84 (7) 56.02 (8) 65.64 (2) 63.15 (4) 64.82 (3) 71.91 (1)

Tps Rang (s) 31.19 6 (1) 239.02 5 (7) 33.96 7 (2) 162.07 8 (6) 62.26 2 (3) 74.18 4 (4) 90.07 3 (5) 249.94 1 (8)

Tab. 9 – R´esultats obtenus avec les images venus. Le rang, pour chaque colonne, est affich´e entre parenth`eses et le rang final est ´evalu´e en effectuant le classement des moyennes des rangs sur chaque crit`ere. Cette image poss`ede 7.31% de pixels dans la zone d’influence des occultations.

Mesure SMAD

Algo contsdef

Algo corrkan

Algo postsym

Algo postdil

Algo postdil-sym

Algo fusion

28

Mesure ZNCC (a)

Fig. 12 – Cartes obtenues avec les images map.

(b)

(c)

(d)

(a) Cartes de disparit´es. (b) Appariements corrects (noir = correct dans ZO, gris = corrects hors ZO). (c) Zone d’occultation totale (d) Zone d’occultation totale correcte (noir = correct dans ZO, gris = corrects dans ZI)

Annexe

Mesure SMAD

Algo contsdef

Algo corrkan

Algo postsym

Algo postdil

(a)

Fig. 13 – Cartes obtenues avec les images venus.

(b)

Algo postdil-cont

Algo fusion

Map, venus, barn1, barn2, bull et poster

Mesure ZNCC

(c)

(d)

(a) Cartes de disparit´es. (b) Appariements corrects (noir = correct dans ZO, gris = corrects hors ZO). (c) Zone d’occultation totale (d) Zone d’occultation totale correcte (noir = correct dans ZO, gris = corrects dans ZI)

29

30

Annexe

Algo ZNCC SMAD Algo cont-sdef Algo corrkan Algo post-sym Algo post-dil Algo postdil-cont Algo fusion

Cor (%) 55.41 (5) 53.79 (8) 55.31 (6) 54.54 (7) 56.29 (1) 55.61 (4) 55.86 (3) 56.26 (2)

Acc (%) 31.65 (5) 28.76 (8) 31.44 (6) 29.55 (7) 32.68 (1) 31.66 (4) 32.01 (3) 32.46 (2)

Err (%) 33.35 (4) 31.79 (2) 33.09 (3) 30.65 (1) 35.08 (8) 33.95 (5) 34.42 (6) 34.92 (7)

FPos (%) 1.47 (7) 0.46 (1) 1.43 (6) 0.98 (2) 1.51 (8) 1.18 (4) 1.33 (5) 1.07 (3)

FNeg (%) 7.94 (5) 11.12 (7) 8.3 (6) 11.51 (8) 5.32 (1) 7.15 (4) 6.42 (3) 5.53 (2)

ZT (%) 58.61 (7) 71.5 (1) 58.5 (8) 61.66 (6) 63.07 (4) 62.31 (5) 63.24 (3) 70.09 (2)

ZO (%) 55.32 (7) 85.96 (1) 56.77 (6) 70.28 (2) 54.34 (8) 64.21 (4) 59.55 (5) 67.5 (3)

ZI (%) 60.03 (6) 65.22 (3) 29.25 (8) 57.92 (7) 66.86 (2) 61.48 (5) 64.83 (4) 71.21 (1)

Tps Rang (s) 30.48 7 (2) 261.66 4 (7) 26.93 8 (1) 200.31 6 (6) 61.89 2 (3) 74.97 5 (4) 88.47 3 (5) 274.38 1 (8)

Tab. 10 – R´esultats obtenus avec les images barn1. Le rang, pour chaque colonne, est affich´e entre parenth`eses et le rang final est ´evalu´e en effectuant le classement des moyennes des rangs sur chaque crit`ere. Cette image poss`ede 7.6% de pixels dans la zone d’influence des occultations.

Algo ZNCC SMAD Algo cont-sdef Algo corrkan Algo post-sym Algo post-dil Algo postdil-cont Algo fusion

Cor (%) 41.75 (4) 37.62 (8) 41.61 (5) 39.64 (7) 42.92 (1) 41.44 (6) 41.86 (3) 42.18 (2)

Acc (%) 42.28 (4) 36.48 (8) 42.18 (5) 39.48 (7) 43.6 (1) 41.96 (6) 42.59 (3) 42.92 (2)

Err (%) 44.76 (4) 42.06 (2) 44.57 (3) 41.43 (1) 47.1 (8) 45.57 (5) 46.08 (6) 46.61 (7)

FPos (%) 0.82 (6) 0.6 (1) 0.81 (5) 0.66 (3) 0.94 (8) 0.8 (4) 0.86 (7) 0.65 (2)

FNeg ZT (%) (%) 10.73 62.81 (5) (6) 17.56 65.04 (8) (3) 11.05 62.47 (6) (7) 16.17 61.76 (7) (8) 7.22 65.26 (1) (2) 10.23 64 (5) (4) 9.3 65 (4) (3) 8.45 69.65 (2) (1)

ZO (%) 70.14 (6) 78.13 (1) 70.56 (5) 75.92 (3) 65.91 (8) 70.97 (4) 68.95 (7) 76.45 (2)

ZI (%) 58.87 (5) 58 (7) 58.12 (6) 54.13 (8) 64.92 (2) 60.24 (4) 62.87 (3) 65.99 (1)

Tps Rang (s) 30.23 4 (2) 237.63 7 (7) 28.5 6 (1) 171.95 8 (6) 65.32 2 (3) 79.98 4 (4) 93.95 3 (5) 250.58 1 (8)

Tab. 11 – R´esultats obtenus avec les images barn2. Le rang, pour chaque colonne, est affich´e entre parenth`eses et le rang final est ´evalu´e en effectuant le classement des moyennes des rangs sur chaque crit`ere. Cette image poss`ede 5.12% de pixels dans la zone d’influence des occultations.

Mesure SMAD

Algo contsdef

Algo corrkan

Algo postsym

Algo postdil

(a)

Fig. 14 – Cartes obtenues avec les images barn1.

(b)

Algo postdil-cont

Algo fusion

Map, venus, barn1, barn2, bull et poster

Mesure ZNCC

(c)

(d)

(a) Cartes de disparit´es. (b) Appariements corrects (noir = correct dans ZO, gris = corrects hors ZO). (c) Zone d’occultation totale (d) Zone d’occultation totale correcte (noir = correct dans ZO, gris = corrects dans ZI)

31

Mesure SMAD

Algo contsdef

Algo corrkan

Algo postsym

Algo postdil

Algo postdil-cont

Algo fusion

32

Mesure ZNCC

(a)

Fig. 15 – Cartes obtenues avec les images barn2.

(b)

(c)

(d)

(a) Cartes de disparit´es. (b) Appariements corrects (noir = correct dans ZO, gris = corrects hors ZO). (c) Zone d’occultation totale (d) Zone d’occultation totale correcte (noir = correct dans ZO, gris = corrects dans ZI)

Annexe

Map, venus, barn1, barn2, bull et poster

Algo ZNCC SMAD Algo cont-sdef Algo corr-kan Algo post-sym Algo post-dil Algo postdil-cont Algo fusion

Cor (%) 62.19 (5) 54.14 (8) 62.02 (6) 58.64 (7) 63.35 (1) 62.4 (4) 62.66 (3) 63.08 (2)

Acc (%) 26.38 (4) 23.02 (8) 26.17 (6) 24.86 (7) 27.36 (1) 26.27 (5) 26.51 (3) 26.99 (2)

Err (%) 27.99 (4) 27.96 (3) 27.76 (2) 26.28 (1) 29.62 (7) 28.79 (5) 28.82 (6) 29.62 (7)

33

FPos (%) 0.28 (7) 0.2 (1) 0.26 (3) 0.23 (2) 0.28 (7) 0.27 (5) 0.27 (5) 0.26 (3)

FNeg ZT (%) (%) 8.66 62.85 (5) (5) 16.73 56.95 (8) (8) 9.05 63 (4) (6) 13.91 58.25 (7) (7) 5.87 64.27 (1) (1) 7.63 62.36 (4) (6) 7.35 63.27 (3) (3) 6.13 63.72 (2) (2)

ZO (%) 76.01 (7) 82.59 (1) 77.79 (4) 80.49 (2) 75.85 (8) 77.04 (6) 77.09 (5) 78.01 (3)

ZI (%) 56.93 (4) 45.42 (8) 56.35 (5) 48.25 (7) 59.06 (1) 55.77 (6) 57.05 (3) 57.3 (2)

Tps Rang (s) 32.78 5 (2) 233.22 8 (7) 27.49 4 (1) 165.1 7 (6) 58.77 1 (3) 69.07 6 (4) 86.75 3 (5) 245.67 2 (8)

Tab. 12 – R´esultats obtenus avec les images bull. Le rang, pour chaque colonne, est affich´e entre parenth`eses et le rang final est ´evalu´e en effectuant le classement des moyennes des rangs sur chaque crit`ere. Cette image poss`ede 2.6% de pixels dans la zone d’influence des occultations.

Algo ZNCC SMAD Algo cont-sdef Algo corrkan Algo post-sym Algo post-dil Algo postdil-cont Algo fusion

Cor (%) 38.63 (3) 35.07 (8) 38.22 (5) 36.56 (7) 39.68 (1) 38.03 (6) 38.58 (4) 38.76 (2)

Acc (%) 40.73 (2) 34.93 (8) 39.98 (5) 37.32 (7) 41.92 (1) 39.77 (6) 40.42 (4) 40.59 (3)

Err (%) 44.23 (4) 41.44 (2) 43.39 (3) 40.35 (1) 47.16 (8) 45.21 (5) 45.61 (6) 45.63 (7)

FPos (%) 1.86 (7) 1.12 (1) 1.74 (5) 1.3 (2) 1.96 (8) 1.67 (4) 1.82 (6) 1.42 (3)

FNeg ZT (%) (%) 13.81 59.02 (5) (7) 20.15 64.32 (8) (2) 15.06 58.68 (6) (8) 19.75 60.56 (7) (6) 9.84 61.87 (1) (3) 13.42 61.87 (4) (3) 12.48 61.72 (3) (5) 12.28 67.66 (2) (1)

ZO (%) 44.2 (7) 66.42 (1) 47.8 (5) 60.89 (2) 41.15 (8) 49.93 (4) 45.44 (6) 57.3 (3)

ZI (%) 64.32 (5) 63.57 (6) 62.57 (7) 60.44 (8) 69.29 (2) 66.14 (4) 67.55 (3) 71.37 (1)

Tps Rang (s) 30.94 4 (1) 266.79 6 (7) 60.91 7 (2) 260.91 7 (6) 107.86 2 (3) 132.88 3 (4) 156.79 2 (5) 364.07 1 (8)

Tab. 13 – R´esultats obtenus avec les images poster. Le rang, pour chaque colonne, est affich´e entre parenth`eses et le rang final est ´evalu´e en effectuant le classement des moyennes des rangs sur chaque crit`ere. Cette image poss`ede 9.31% de pixels dans la zone d’influence des occultations.

Mesure SMAD

Algo contsdef

Algo corrkan

Algo postsym

Algo postdil

Algo postdil-cont

Algo fusion

34

Mesure ZNCC

(a)

Fig. 16 – Cartes obtenues avec les images bull.

(b)

(c)

(d)

(a) Cartes de disparit´es. (b) Appariements corrects (noir = correct dans ZO, gris = corrects hors ZO). (c) Zone d’occultation totale (d) Zone d’occultation totale correcte (noir = correct dans ZO, gris = corrects dans ZI)

Annexe

Mesure SMAD

Algo contsdef

Algo corrkan

Algo postsym

Algo postdil

(a)

Fig. 17 – Cartes obtenues avec les images poster.

(b)

Algo postdil-cont

Algo fusion

Map, venus, barn1, barn2, bull et poster

Mesure ZNCC

(c)

(d)

(a) Cartes de disparit´es. (b) Appariements corrects (noir = correct dans ZO, gris = corrects hors ZO). (c) Zone d’occultation totale (d) Zone d’occultation totale correcte (noir = correct dans ZO, gris = corrects dans ZI)

35

36

Annexe

Cones Algo ZNCC SMAD Algo cont-sdef Algo corr-kan Algo post-sym Algo post-dil Algo postdil-cont Algo fusion

Cor (%) 59.06 (7) 63.56 (1) 59 (8) 61.19 (5) 61.15 (6) 62.26 (3) 61.9 (4) 62.9 (2)

Acc (%) 22.25 (6) 23.06 (5) 21.89 (7) 21.59 (8) 23.66 (2) 23.45 (4) 23.52 (3) 24.42 (1)

Err (%) 26.07 (4) 24.76 (2) 25.42 (3) 23.62 (1) 27.85 (7) 26.18 (5) 26.73 (6) 28.31 (8)

FPos (%) 3.95 (7) 2.98 (2) 3.77 (5) 2.91 (1) 4.49 (8) 3.53 (3) 3.88 (6) 3.63 (4)

FNeg ZT (%) (%) 10.99 66.58 (6) (7) 8.76 75.87 (5) (2) 11.88 66.23 (7) (8) 12.35 70.11 (8) (6) 6.58 72.34 (2) (5) 8.09 72.6 (4) (3) 7.55 72.49 (3) (4) 5.07 76.35 (1) (1)

ZO (%) 70.46 (7) 77.7 (2) 71.83 (4) 78.27 (1) 66.43 (8) 73.57 (3) 70.95 (6) 71.69 (5)

ZI (%) 64.09 (7) 74.7 (3) 62.66 (8) 64.9 (6) 76.12 (2) 71.98 (5) 73.43 (4) 79.33 (1)

Tps Rang (s) 70.09 7 (1) 582.92 1 (6) 118.17 7 (2) 726.29 5 (7) 272.25 5 (3) 415.92 5 (5) 395.14 4 (4) 797.81 2 (8)

Tab. 14 – R´esultats obtenus avec les images cones. Le rang, pour chaque colonne, est affich´e entre parenth`eses et le rang final est ´evalu´e en effectuant le classement des moyennes des rangs sur chaque crit`ere. Cette image poss`ede 20.9% de pixels dans la zone d’influence des occultations.

Mesure SMAD

Algo contsdef

Algo corrkan

Algo postsym

Algo postdil

Algo postdil-cont

Algo fusion

Cones

Mesure ZNCC

(a)

Fig. 18 – Cartes obtenues avec les images cones.

(b)

(c)

(d)

(a) Cartes de disparit´es. (b) Appariements corrects (noir = correct dans ZO, gris = corrects hors ZO). (c) Zone d’occultation totale (d) Zone d’occultation totale correcte (noir = correct dans ZO, gris = corrects dans ZI)

37

38

´ erences ´ Ref

R´ ef´ erences ´nchez. (( Symmetrical Dense L. Alvarez, R. Deriche, T. Papadopoulos et J. Sa Optical Flow Estimation with Occlusions Detection )). Dans European Conference on Computer Vision, volume 1, pages 721–735, Copenhague, Danemark, mai 2002. ¨l. Experimental results from a comparative study on [AG92] P. Aschwanden et W. Guggenbu ¨ rstner et Ruwiedel, ´editeurs, Robust correlation type registration algorithms. Dans Fo computer vision: Quality of Vision Algorithms, pages 268–282. Wichmann, Karlsruhe, Allemagne, mars 1992. [BBH03] M. Z. Brown, D. Burschka et G. D. Hager. (( Advances in Computational Stereo )). IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(8):993–1008, aoˆ ut 2003. [BI99] A. F. Bobick et S. S. Intille. (( Large Occlusion Stereo )). International Journal of Computer Vision, 33(3):181–200, septembre 1999. [BM92] P. N. Belhumeur et D. Mumford. (( A bayesian Treatment of the Stereo Correspondence Problem Using Half-Occluded Regions )). Dans IEEE Computer Society Conference ´ on Computer Vision and Pattern Recognition, pages 506–512, Champaign, Etats-Unis, juin 1992. [BN98] D. N. Bhat et S. K. Nayar. (( Ordinal Measures for Image Correspondence )). IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(4):415–423, avril 1998. [BT98] S. Birchfield et C. Tomasi. (( Depth Discontinuities by Pixel-to-Pixel Stereo )). Dans IEEE International Conference on Computer Vision, pages 1073–1080, Mumbai, Inde, janvier 1998. ´ [CC02] S. Chambon et A. Crouzil. (( Evaluation et comparaison de mesures de corr´elation robustes aux occultations )). Rapport de recherche 2002-34-R, Institut de Recherche en Informatique de Toulouse, IRIT, Toulouse, France, d´ecembre 2002. [CC03] S. Chambon et A. Crouzil. (( Dense matching using correlation: new measures that are robust near occlusions )). Dans British Machine Vision Conference, volume 1, pages 143–152, Norwich, Royaume-Uni, septembre 2003. [Cro97] A. Crouzil. (( Perception du relief et du mouvement par analyse d’une s´equence st´er´eoscopique d’images )). Th`ese de doctorat, Universit´e Paul Sabatier, Toulouse, France, septembre 1997. [DMMN02] L. Di Stefano, M. Marchionni, S. Mattocia et G. Neri. (( A Fast Area-Based Stereo Matching Algorithm )). Dans International Conference on Vision Interface, pages 146–153, Calgary, Canada, mai 2002. ´ [DMMR01] O. De Joinville, G. Maillet, H. Maˆıtre et M. Roux. (( Evaluation a priori de la qualit´e d’un MNS )). Dans Actes du congr`es francophone de Vision par Ordinateur, ORASIS, pages 67–76, Cahors, France, juin 2001. [EF03] M. P. Eklund et A. A. Farag. (( Robust correspondence methods for stereo vision )). International Journal of Pattern Recognition and Artificial Intelligence, 17(7):1059–1079, novembre 2003. [EI03] Y. El-Sonbaty et M. A. Ismail. (( Matching Occluded Objects Invariant to Rotations, Translations, Reflections and Scale Changes )). Dans Scandinavian Conference on Image Analysis, pages 836–843, G¨oteborg, Su`ede, juin 2003. [EW00] G. Egnal et R. P. Wildes. (( Detecting Binocular Half-Occlusions : Empirical Comparisons of Four Approaches )). Dans IEEE Computer Society Conference on Computer Vision ´ and Pattern Recognition, volume 2, pages 466–473, Hilton Head Island, Etats-Unis, juin 2000. [ADPS02]

´ erences ´ Ref

[FHZF93]

[FK00] [FRT97]

[Fua93] [Gia00] [GL04]

[GLY95]

[GNS03]

[Got92] [GY03]

[HIG02]

[HSSV03]

[HYI+ 03]

[IB94]

[IG98]

ˇ S03] ˇ [KC

[KO94]

ˇ [KS02]

39

O. Faugeras, B. Hotz, Z. Zhang et P. Fua. (( Real Time Correlation-Based Stereo : Algorithm, Implementation and Applications )). Rapport de recherche RR-2013, Institut National de Recherche en Informatique et en Automatique, INRIA, aoˆ ut 1993. G. Fielding et M. Kam. (( Weighted matchings for dense stereo correspondence )). The Journal of the Pattern Recognition Society, 33(9):1511–1524, septembre 2000. A. Fusiello, V. Roberto et E. Trucco. (( Efficient Stereo with Multiple Windowing )). Dans IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pages 858–863, San Juan, Porto Rico, juin 1997. P. Fua. (( A parallel stereo algorithm that produces dense depth maps and preserves image features )). Journal of Machine Vision and Applications, 6(1):35–49, janvier 1993. A. Giachetti. (( Matching techniques to compute image motion )). International Journal of Image and Vision Computing, 18(3):245–258, f´evrier 2000. ´rrez et J. Luis Marroqu´ın. (( Robust approach for disparity estimation in S. Gutie stereo vision )). International Journal of Image and Vision Computing, 22(3):183–195, mars 2004. D. Geiger, B. Ladendorf et A. Yuille. (( Occlusions and Binocular Stereo )). Dans IEEE International Conference on Image Processing, volume 14, pages 211–226, Wa´ shington, Etats-Unis, octobre 1995. A. Ghafoor, R. Naveed Iqbal et S. Shoad Khan. (( Image Matching Using Distance Transform )). Dans Scandinavian Conference on Image Analysis, pages 654–660, G¨oteborg, Su`ede, juin 2003. L. Gottesfeld Brown. (( A Survey of Image Registration Techniques )). ACM Computing Surveys, 24(4):325–376, d´ecembre 1992. M. Gong et Y.-H. Yang. (( Fast Stereo Matching Using Reliability-Based Dynamic Programming and Consistency Contraints )). Dans IEEE International Conference on Computer Vision, volume 1, pages 610–617, Nice, France, octobre 2003. ¨ller, P. R. Innocent et J. Garibaldi. (( Real-Time Correlation-Based H. Hirschmu Vision with Reduced Border Errors )). International Journal of Computer Vision, 47(1– 3):229–246, avril–juin 2002. ¨sstrunk et M. Vetterli. (( Outlier Modelling in Image D. Hasler, L. Sbaiz, S. Su Matching )). IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(3):301– 315, mars 2003. S. Hwa Lee, S. Yoon Park, N. Ik Cho, Y. Kanatsugu et J.-I Park. (( Occlusion detection and stereo matching in a stochastic method )). Dans IEEE International Conference on Image Processing, Barcelone, Espagne, septembre 2003. S. S. Intille et A. F. Bobick. (( Disparity-Space Images and Large Occlusion Stereo )). Dans European Conference on Computer Vision, volume 1, pages 179–186, Stockholm, Su`ede, mai 1994. H. Ishikawa et D. Geiger. (( Occlusions, Discontinuities, and Epipolar Lines in Stereo )). Dans European Conference on Computer Vision, volume 1, pages 232–248, Freiburg, Allemagne, juin 1998. ˇ ˇa ´, J. Cech ´ra. (( Dense Stereomatching Algorithm Performance J. Kostkova et R. S for View Prediction and Structure Reconstruction )). Dans Scandinavian Conference on Image Analysis, pages 101–107, G¨oteborg, Su`ede, juin 2003. T. Kanade et M. Okutomi. (( A Stereo Matching Algorithm with an Adaptive Window : Theory and Experiment )). IEEE Transactions on Pattern Analysis and Machine Intelligence, 16(9):920–932, septembre 1994. ˇa ´ et R. S ´ra. (( Stable Matching Based on Disparity Components )). Dans J. Kostkova Computer Vision Winter Workshop, Bad Ausse, Autriche, f´evrier 2002.

40

ˇ [KS03]

´ erences ´ Ref

ˇa ´ et R. S ´ra. (( Stratified Dense Matching for Stereopsis in Complex Scenes )). J. Kostkova Dans British Machine Vision Conference, volume 1, pages 339–348, Norwich, RoyaumeUni, septembre 2003. [KSC01] S. B. Kang, R. Szeliski et J. Chai. (( Handling Occlusions in Dense Multi-view Stereo )). Dans IEEE Computer Society Conference on Computer Vision and Pattern Recognition, volume 1, pages 103–110, Kauai, Hawaii, d´ecembre 2001. [KSI03] S. Kaneko, Y. Satoh et S. Igarashi. (( Using selective correlation coefficient for robust image registration )). The Journal of the Pattern Recognition Society, 36(5):1165–1173, mai 2003. [KTG03] D. Kong, H. Tao et H.H. Gonzalez-Banos. (( Sparse IBR Using Range Space Rendering )). Dans British Machine Vision Conference, volume 1, pages 181–190, Norwich, Royaume-Uni, septembre 2003. [KZ01] V. Kolmogorov et R. Zabih. (( Computing Visual Correspondence with Occlusions using Graph Cuts )). Dans IEEE International Conference on Computer Vision, volume 2, pages 508–515, Vancouver, Canada, juillet 2001. [Lan97] Z. D. Lan. (( M´ethodes robustes en vision : application aux appariements visuels )). Th`ese de doctorat, Institut National Polytechnique de Grenoble, France, mai 1997. [LG94] J. L. Lotti et G. Giraudon. (( Correlation algorithm with adaptive window for aerial image in stereo vision )). Dans European Symposium on Satellite Remote Sensing, pages 2315–2325, Rome, Italie, septembre 1994. [Lin02] M. H. Lin. (( Surfaces with Occlusions from Layered Stereo )). Th`ese de doctorat, Uni´ versit´e de Stanford, Etats-Unis, 2002. [Lit92] J. Little. (( Accurate early detection of discontinuities )). Vision Interface, pages 97–102, 1992. [May03] H. Mayer. (( Analysis of Means to Improve Cooperative Disparity Estimation )). Dans ISPRS Conference on Photogrammetric Image Analysis, Universit´e technique de Munich, Allemagne, septembre 2003. ˜oz Barrutia, T. Blu et M. Unser. (( Non-Euclidean Pyramids )). Dans Ma[MBU00] A. Mun thematical Imaging: Wavelet Applications in Signal and Image Processing, volume SPIE– ´ 4119, pages 710–720, San Diego, Etats-Unis, juillet 2000. ¨hlmann, D. Maier, J. Hesser et R. Ma ¨nner. (( Calculating Dense Disparity [MMHM01] K. Mu Maps from Color Stereo Images, an Efficient Implementation )). Dans IEEE Workshop on Stereo and Multi-Baseline Vision, pages 30–36, Kauai, Hawaii, juin 2001. [MT99] R. Manduchi et C. Tomasi. (( Distinctiveness Maps for Image Matching )). Dans International Conference on Image Analysis and Processing, pages 26–31, Venise, Italie, septembre 1999. [OK92] M. Okutomi et T. Kanade. (( A Locally Adaptive Window For Signal Matching )). International Journal of Computer Vision, 7(2):143–162, janvier 1992. [PCJC98] N. Paparoditis, M. Cord, M. Jordan et J.-P. Cocquerez. (( Building Detection and Reconstruction from Mid- and High-Resolution Aerial Imagery )). Computer Vision and Image Understanding, 72(2):122–142, novembre 1998. [Pra78] W. K. Pratt. Digital image processing. Wiley-Interscience Publication, 1978. [SC92] J. Shen et S. Castan. (( An optimal linear operator for step edge detection )). Computer Vision, Graphics, and Image Processing, 54(2):112–133, mars 1992. [SS02] D. Scharstein et R. Szeliski. (( A Taxomomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms )). International Journal of Computer Vision, 47(1):7– 42, avril 2002.

´ erences ´ Ref

[SS03]

[SV01] [SW01]

[TS00]

[Vek03]

[YC03]

[YSH+ 03]

[ZFD96]

[Zha93]

[ZK00]

[ZK02]

[ZW94]

41

D. Scharstein et R. Szeliski. (( High-Accuracy Stereo Depth Maps Using Structured Light )). Dans IEEE Computer Society Conference on Computer Vision and Pattern ´ Recognition, volume 1, pages 195–202, Madison, Etats-Unis, juin 2003. M. Sankar Kishore et K. Veerabhadra Rao. (( Robust correlation tracker )). S¯ adhan¯ a, Academy Proceedings in Engineering Sciences, 26(3):227–236, juin 2001. C. Seob Park et H. Wook Park. (( A robust stereo disparity estimation using adaptive window search and dynamic programming search )). The Journal of the Pattern Recognition Society, 34(12):2573–2576, d´ecembre 2001. H. Tao et H. S. Sawhnwey. (( Global Matching Criterion and Color Segmentation Based Stereo )). Dans Workshop on the Application of Computer Vision, pages 246–253, Palm ´ Springs, Etats-Unis, d´ecembre 2000. O. Veksler. (( Fast Variable Window for Stereo Correspondence using Integral Images )). Dans IEEE Computer Society Conference on Computer Vision and Pattern Recognition, ´ volume 1, pages 565–570, Madison, Etats-Unis, juin 2003. A. Yao et A. Calway. (( Dense 3-D Structure from Image Sequences Using Probabilistic Depth Carving )). Dans British Machine Vision Conference, volume 1, pages 211–220, Norwich, Royaume-Uni, septembre 2003. S. Yoon Park, J. Sun Kim, S. Hwa Lee, N. Ik Cho, G.-S. Lee et C.-H. Ahn. (( Composition of High-Resolution Stereo Images from Hybrid Stereo System )). Dans International Workshop on Advanced Image Technology, Nagasaki, Japon, janvier 2003. I. Zoghlami, O. Faugeras et R. Deriche. (( Traitement des occlusions pour la modification d’objet plan dans une s´equence d’image )). Dans Actes du congr`es francophone de Vision par Ordinateur, ORASIS, pages 93–103, Clermont-Ferrand, France, mai 1996. Z. Zhang. (( Le probl`eme de la mise en correspondance : l’´etat de l’art )). Rapport de recherche RR-2146, Institut National de Recherche en Informatique et en Automatique, INRIA, d´ecembre 1993. C. L. Zitnick et T. Kanade. (( A cooperative Algorithm for Stereo Matching and Occlusion Detection )). IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(7):675–684, juillet 2000. Y. Zhang et C. Kambhamettu. (( Stereo Matching with Segmentation-based Cooperation )). Dans European Conference on Computer Vision, volume 2, pages 556–571, Copenhague, Danemark, mai 2002. R. Zabih et J. Woodfill. (( Non-parametric Local Transforms for Computing Visual Correspondence )). Dans European Conference on Computer Vision, pages 151–158, Stockholm, Su`ede, mai 1994.