Identitet, image og omdømme

O processo de correspondência estéreo busca determinar as projeções nas imagens que re- presentem a mesma região do ambiente, denominadas de pontos homólogos ou corresponden- tes, e calcular o valor de xpE− xpD, que é a disparidade no modelo de sistema estéreo da Figura

2.1. É considerado um problema mal-posto, e o motivo pode ser visto na Figura 2.3: os pontos P e Q possuem como pontos homólogos (pD, qD) e (pE, qE); mas os pares (pD, qE) e (pE, qD), que

caracterizam os pontos errôneos P′_{e Q}′_{, também podem ser tomados como pontos homólogos.}

Isto implica em estabelecer um critério de similaridade entre os pontos, para obter associações referentes a pontos verdadeiros no ambiente. A presença de ruídos, regiões com textura quase uniforme, descontinuidades na fronteira entre objetos e de oclusões [Sun et al. 2003] tornam o problema mais complexo.

O

P

O

z

z

Q

Q'

P'

Figura 2.3: Problema da correspondência estéreo para dois pontos P e Q.

De acordo com Scharstein e Szeliski (2002), as técnicas de correspondência estéreo são classificados em dois grupos principais. O primeiro grupo é composto por técnicas de corres- pondência esparsa, que foram as primeiras a serem desenvolvidas e limitam o processo de correspondência a regiões com alto grau de distinção dentro da cena - denominadas de features. São aplicadas principalmente na reconstrução tridimensional de objetos e podem ser otimizadas se houver algum conhecimento a priori da cena. Neste trabalho, as técnicas de correspondên- cia esparsa não serão tratadas; o foco estará nas técnicas de correspondência densa, onde a

2.2. CORRESPONDÊNCIA ESTÉREO 11 correspondência é estendida a todo o conjunto de projeções de uma imagem que possuem cor- respondentes na outra. Implicitamente, este conjunto de técnicas também permite estabelecer as regiões, em cada imagem, que não possui correspondência - as regiões de oclusão. A defini- ção de correspondência densa é necessária para aplicações como renderização e modelagem de ambientes a partir de imagens [Szeliski 2010].

Ainda de acordo com Szeliski (2010), a maioria dos métodos de correspondência pode ser resumido em quatro etapas: definição de uma medida de dissimilaridade adotada entre os pixels; definição e cálculo de uma medida de dissimilaridade agregada entre regiões das imagens; com- putação e/ou otimização do valor próprio de disparidade a partir das medidas de dissimilaridade obtidas; e refinamento do valor de disparidade obtido.

A definição de uma medida de dissimilaridade entre os pixels associa um valor, um custo ou penalização, ao conjunto de possíveis pares de pontos homólogos. Geralmente esta medida é baseada na diferença de intensidade entre os pixels, sendo comumente utilizados o valor ab- soluto (diferença média absoluta) ou o quadrado (erro médio quadrado) desta diferença. Para um pixel de referência (qualquer pixel tomado a partir da imagem de referência), esta medida é agregada, por meio de somas, médias ou correlações, às medidas de dissimilaridade dos pixels que estejam em seu entorno (frequentemente denominados de vizinhança do pixel). São medi- das de agregação comuns: a soma do quadrado das diferenças de intensidades (Sum of Squared Differences - SSD), a soma das diferenças absolutas (Sum of Absolute Differences - SAD) e a correlação cruzada normalizada (Normalized Cross-Correlation - NCC).

O cálculo destas medidas são feitas para cada pixel de referência e para um conjunto de valores de disparidade pré-estabelecido a partir das restrições epipolar e de ordem, estabelecidas na geometria epipolar. Para a imagem de referência, o conjunto de pixels mais os possíveis valores de disparidade constituem o espaço de disparidade C(x,y,d). O objetivo, neste caso, é determinar, para cada pixel de referência, o valor de disparidade que apresente a menor medida de dissimilaridade agregada. A determinação dos valores de disparidade com medida mínima para toda a imagem de referência gera um mapa ou imagem de disparidade; visto de outra forma, é o conjunto de disparidades que minimizam C(x,y,d). A forma como este conjunto de disparidade é obtido divide os métodos de correspondência densa em dois grupos:

• Nos métodos locais, as medidas de similaridade agregadas são feitas entre um bloco constituído pelo pixel de referência e sua vizinhança, denominada região de suporte, e todas as regiões de mesmo tamanho e formato na outra imagem, denominadas regiões de busca. O conjunto de medidas de disparidade associadas são determinadas a cada valor de disparidade por meio de convolução. A computação do valor de disparidade é feita para o pixel de referência da região de suporte, atribuindo como ponto homólogo o pixel de referência da região de busca da outra imagem com menor medida de dissimilaridade. Neste caso, diz-se que estes métodos realizam uma otimização local do tipo “vencedor leva tudo” [Brown et al. 2003];

• Nos métodos globais, o cálculo da disparidade é feito com base nas medidas de dissi- milaridade (agregadas ou não) entre pixels de imagens distintas, dispensando a definição de regiões de suporte. Para tanto, estabelece-se uma função custo que avalia os pares candidatos a pontos homólogos - ou seja, descreve o custo do espaço de disparidade - cujo formato é mostrado na equação 2.13. Nela, d indica um valor de disparidade, Ed

é conhecido como o termo de dados e dá a medida de dissimilaridade entre os pontos correspondentes nas imagens. Es é o termo de suavidade e representa as condições de

suavidade estabelecidas entre o pixel de referência e sua vizinhança. O fator λ é uma penalização para vizinhanças com descontinuidades.

12 CAPÍTULO 2. VISÃO COMPUTACIONAL E(d) = Ed(d) + λEs(d) (2.13)

Após o estabelecimento do conjunto de pixels que minimizam o espaço de disparidade es- tabelecido, realiza-se ainda, uma etapa de refinamento do resultado obtido. Este refinamento tem como objetivo remover valores extremos de disparidade (eliminando picos e preenchendo lacunas), verificar a consistência dos valores de disparidade, ou aumentar a exatidão dos resul- tados por interpolação a nível de sub-pixel. Na verificação da consistência dos resultados, são avaliadas se as condições impostas para a modelagem da disparidade dentro da técnica de cor- respondência estéreo são satisfeitas e, em caso contrário, é feita uma correção destes valores. Dentre as restrições mais utilizadas estão a unicidade e continuidade da disparidade.

2.2.1 Unicidade e continuidade da disparidade

Devido a correspondência estéreo ser um problema mal-posto, algumas restrições são ado- tadas para se estabelecer a solução. No entanto, estas restrições são desobedecidas em alguns casos, e os algoritmos utilizados precisam tratá-los para seu melhor desempenho. Duas das mais importantes restrições impostas ao problema são a unicidade e a continuidade da disparidade.

A unicidade garante que, para um ponto em uma imagem, há apenas um ponto correspon- dente na outra imagem. Isto implica em uma associação bijetora (ou seja, um-para-um) entre as projeções de um ponto do ambiente nas duas imagens. Esta restrição geralmente é desrespeitada em regiões sem textura, com textura uniforme e para regiões de oclusão.

Para regiões com textura uniforme ou sem textura, uma pequena região de uma imagem pode ter vários outros “potenciais” candidatos que, embora espacialmente diferentes, possuem valores de dissimilaridade muito próximos. Este problema, conhecido na literatura como pro- blema da abertura, provoca uma condição de correspondência de um-para-muitos. Técnicas de correspondência densa local possuem grande dificuldade no tratamento deste problema, e várias alternativas, como o uso de blocos adaptativos, multirresolução ou melhoria da precisão a nível de sub-pixel são adotadas.

No caso de regiões oclusas em uma das imagens, o que ocorre é uma correspondência um-para-nenhum, ou seja, um pixel não possui um ponto homólogo na outra imagem e vice- versa. Esta oclusão pode ocorrer no limite do campo de visão das câmeras ou na fronteira de objetos sobrepostos visualmente por outros. Como as técnicas de correspondência envolvem minimização de algum custo, e sempre será obtido um valor mínimo de a correspondência, regiões oclusas tem um grande potencial de erro associado. Este problema geralmente é tratado de forma específica em técnicas globais, com penalizações próprias para estes casos.

Na continuidade da disparidade, o que se pretende garantir é que o valor de disparidade varie de forma suave da vizinhança de um pixel de referência. Isto não é verdade na fronteira de objetos ou em objetos que sofrem mudança repentina de desenho: de acordo com a distância entre eles, a alteração de luminosidade de escala pode provocar uma diferença abrupta no valor de disparidade entre pixels adjacentes. Isto pode provocar uma baixa medida de dissimilaridade geral, mas com alta medida de dissimilaridade entre pixels. Nas técnicas de correspondência global, geralmente estas associações são penalizadas por um fator de descontinuidade (o valor de λ).