Likheter  og  ulikheter  ved  aksjonene

O algoritmo desenvolvido para detecção de pisos táteis é composto por várias eta- pas, como pode ser observado na figura 4.2 e foi desenvolvido com base no trabalho de Jie et al.[24]. Como descrito na 4.1, o primeiro e o segundo passo consistem, respectivamente, no ajuste do tamanho imagem e na sua transformação para o espaço de cor YCbCr. Em se- guida, inicia-se o processamento para detectar a superfície de piso tátil, que numa primeira etapa encontra e aplica limiares para extrair a área de interesse da imagem, eliminando zonas que não podem ser piso tátil.

Depois disto, ocorre a detecção de bordas e a identificação das linhas retas rela- cionadas a estas bordas. A área entre duas linhas é analisada para verificar se é de um padrão aceitável em relação a superfície de piso tátil. A imagem resultante é, em seguida,

45

Figura 4.2 – Abordagem para a detecção de piso tátil.

segmentada em vários pequenos blocos. Oito matrizes de co-ocorrência (GLCM)[11] são processadas para cada bloco (quatro direções e duas distâncias). Os valores de entropia, contraste, homogeneidade e uniformidade são calculados para cada GLCM.

Os resultados, então, são aplicados a uma Árvore de Decisão[13] que identifica se é piso tátil e de qual tipo, direcional ou de alerta. Finalmente, um feedback de som é emitido para alertar o usuário se há um piso tátil, seu tipo, e sua posição em relação ao centro do piso. A seguir uma descrição detalhada destas etapas apresentadas na figura 4.2.

Após a preparação da imagem, um histograma para cada canal (Y, Cr e Cb) é gerado e normalizado com os valores variando entre 0 e 255. O histograma das imagens (figura 4.3) apresenta picos relativos às cores das superfícies de pisos táteis. Estes picos combinados com algoritmo de limiar são utilizados para determinar na imagem a possível área de piso tátil. Uma vez que pisos táteis possuem padrão de cores diferentes, foram definidas duas configurações para representar suas áreas no histograma, chamadas de Tipo A e Tipo B. Tipo A funciona melhor com cores mais vivas como amarelo ou azul, e Tipo B funciona melhor com cores opacas como cinza. Este processo gera um total de 6 valores limiares para os 3 canais da imagem (Min/Max Y, Min/Max Cr e Min/Max Cb).

Os limiares utilizados são dinâmicos, uma vez que são obtidos através de fórmulas definidas empiricamente. Os valores definidos para o processo de obtenção de limiares fo- ram encontrados após várias heurísticas. As fórmulas podem ser observados na tabela 4.1. Um resultado da aplicação dos limiares pode ser visto na figura 4.4(b). Depois, então, são aplicados operadores morfológicos de erosão e dilatação nestas imagens a fim de eliminar possíveis falsos positivos. Um resultado da aplicação destes operadores é mos- trado na figura 4.4(c). Além disso, se a quantidade de pixels detectada como área de inte- resse é menor do que 10% ou maior do que 40% da quantidade total de pixels da imagem, a imagem é marcada como sem piso tátil.

46

(a) (b)

Figura 4.3 – Histogramas de pisos táteis: (a) tipo A; (b) tipo B.

(a) (b) (c)

Figura 4.4 – Exemplo da aplicação dos limiares e operadores morfológicos: (a) Imagem Original; (b) Após limiares; (c) Após operações morfológicas.

Ao aplicar os limiares de Tipo A ou Tipo B, uma possível área de piso tátil é ex- traída da imagem. Um exemplo da área detectada por este processo pode ser observado na figura 4.5. O uso do Tipo A ou Tipo B no algoritmo é determinado pela falta de de- tecção de “linhas paralelas” na imagem. Neste trabalho, foram consideradas como linhas “paralelas”, duas ou mais linhas que apontem para a mesma direção, mas que não são necessariamente equidistante, sendo capaz de se cruzarem em algum ponto da imagem. O algoritmo começa usando o limiar de Tipo A em um frame, se forem detectadas “linhas paralelas” mantém neste tipo, caso contrário, muda para o limiar de Tipo B. No entanto, após a primeira detecção, se um frame não detectar linhas paralelas, mantém o mesmo limiar para até três frames, só então, se ainda não voltou a detectar, muda o limiar. Esse recurso de manter o limiar por três frames tem como objetivo manter a detecção de piso tátil mesmo em falsos negativos, mas sem permitir que o usuário ande sobre possíveis falsos positivos por muito tempo.

As “linhas paralelas” detectadas para piso tátil são, geralmente, linhas retas longas. Para detectar estas “linhas paralelas” é utilizado o detector de bordas Canny [33]. Como ele produz um melhor resultado se a imagem não possui ruídos, um filtro de desfocagem

47

Tabela 4.1 – Fórmula para formação de limiares.

Tipo Limiar Fórmula

A

Min Cb Sem limiar.

Max Cb É a primeira posição com valor acima de 40 antes do segundo pico do histograma Cb.

Min Cr A partir do primeiro pico no histograma Cr, é a primeira posição na qual

o valor é menor que o valor máximo do primeiro pico do histograma Cr ou o valor é menor que 135.

Max Cr Sem limiar.

Min Y Sem limiar.

Max Y Sem limiar.

B

Min Cb A partir do primeiro pico no histograma Cb, é a primeira posição no

qual o valor é menor que 40. Max Cb Sem limiar.

Min Cr A partir do maior pico no histograma Cr, é a primeira posição no qual

o valor for inferior a 135. Max Cr Sem limiar.

Min Y A partir do primeiro pico no histograma Y, é a primeira posição no qual

o valor é menor que 50.

Max Y Sem limiar.

(a) (b) (c)

Figura 4.5 – Exemplo de área detectada: (a) Original; (b) Tipo A; (c) Tipo B.

(median blur) é aplicado à imagem antes de executar o algoritmo de detecção de bordas para reduzir o ruído. Em seguida, é aplicada na imagem resultante a transformada de Hough [33] para detecção das linhas. Os resultados destes passos podem ser vistos na figura 4.6.

No algoritmo de transformada de Hough é possível definir níveis de limiar de de- tecção, e quanto maior o nível, menos linhas são detectadas. Como cada linha detectada precisa ser analisada, quanto mais linhas, menor é o desempenho. Todavia, quando se utiliza níveis altos, pisos táteis irregulares, sujos ou altamente segmentados, param de ser detectados. Considerando obstáculos no caminho, curvas abruptas ou mesmo um pequeno

48

(a) Imagem Original (b) Canny (c) Canny and Blur (d) Hough Lines

Figura 4.6 – Processo de detecção de linhas

desvio do usuário em relação ao piso tátil, e depois de um estudo dos níveis de limiares, o nível 25 provou ser capaz de detectar pisos táteis curtos e longos sem muitas falhas. Este valor foi, então, escolhido como o nível do limiar aplicado na transformada de Hough.

Muitas linhas detectadas se sobrepõem e representam a mesma linha na imagem original, mas com ângulos ligeiramente diferentes. Então, para ter um melhor desempe- nho e resultado, foi implementada uma função que mescla as linhas detectadas que estão muito próximas e que possuem ângulos semelhantes. Mesmo assim, ainda pode existir mais do que duas linhas nos resultados. Neste caso, são escolhidas as duas linhas “para- lelas” cuja a distância entre elas é compatível com o espaço necessário para um piso tátil. Como o posicionamento da câmera é fixo, é possível definir limites para tamanho de piso tátil. Verifica-se o ângulo θ (é o ângulo em relação ao eixo x, resultado da transformada de Hough) em cada linha e as linhas cujo θ diferem entre 0, 10 e 0, 45 são consideradas “linhas paralelas”. Estes valores foram escolhidos depois de testar vários valores diferentes. Tam- bém é considerada a distância das linhas em relação ao usuário, isto é, na base da imagem (próximo do usuário) a distância entre as linhas precisa ser maior do que na parte superior da imagem.

O par de “linhas paralelas” com os menores valores de θ e que são compatíveis com piso tátil, são, então, selecionados como a fronteira do piso tátil. Embora esse método ainda produza alguns falsos positivos, é o melhor método encontrado em comparação com outras soluções como, por exemplo, simplesmente selecionando as duas “linhas paralelas” maiores ou a aplicação de um preenchimento para verificar se o polígono resultante corres- ponderia a um piso tátil. Depois de detectadas as fronteiras, calcula-se também o centro e direção deste piso.

Porém, a seleção das “linhas paralelas” não garante que as linhas sejam frontei- ras de um piso tátil. Depois de testes em diversos vídeos e imagens tornou-se clara a necessidade da textura da imagem resultante ser analisada. Assim, a imagem resultante é

49

separada em blocos de 25 × 25 pixels. Oito matrizes de co-ocorrência (GLCM) são proces- sadas para cada bloco (quatro direções por duas distâncias). Para cada GLCM gerada, são extraídos os valores de entropia, contraste, homogeneidade e uniformidade (ou energia).

Embora o detector de bordas Canny foi usado antes de aplicar a transformada de Hough para encontrar as linhas “paralelas”, ele não se mostrou adequado para a detecção de pequenas variações. Portanto, após a análise de alguns detectores, optou-se por utilizar o detector de bordas Laplace[33] antes de aplicar a GLCM. Uma comparação dos métodos pode ser observada nas imagens da figura 4.7.

(a) Canny (b) Laplace

Figura 4.7 – Comparação entre diferentes detectores de bordas.

Para melhorar o desempenho, blocos que têm mais do que 75% de pixels pretos são descartados automaticamente (blocos em branco). A divisão de um bloco pode ser observada na Figura 4.8.

Figura 4.8 – Bloco Segmentado.

Usando o minerador de dados RapidMiner2_{, foi extraída uma Árvore de Decisão}

que permite prever o tipo de bloco (Alerta, direcional ou ruído). O resultado, que consiste

50

na árvore de decisão, foi escrito como um algoritmo do sistema através de comandos con- dicionais (ifs) encadeados, sem a necessidade de utilizar bibliotecas externas ou qualquer outro algoritmo.

Para treinar esta Árvore de Decisão foram utilizadas 624 entradas de diferentes tipos de blocos, e para determinar o tipo da imagem foram utilizadas as seguintes regras:

• Alerta: Se dois blocos vizinhos são do tipo de alerta, a imagem é considerada como contendo um piso de alerta;

• Direcional: Se a primeira regra não se aplica e um quadrado 2x2 blocos são do tipo direcional, a imagem é considerada como contendo um piso direcional;

• Ruído: Se nenhuma das regras anteriores se aplica, a imagem é considerada sem piso tátil.

Essas regras ajudam a reduzir a quantidade ocorrências de falsos positivos e, ao mesmo tempo, preservam a qualidade da detecção de pisos táteis. Para melhor exempli- ficar, um exemplo de piso de alerta com ruídos pode ser observado na figura 4.9(a) e os blocos analisados podem ser vistos na figura 4.9(b). Já a figura 4.9(c) contém um exemplo de piso direcional com ruídos cuja os blocos analisados podem ser vistos na figura 4.9(d).

(a) Piso de Alerta (b) Piso de Alerta (c) Piso Direcional (d) Piso Direcional

Figura 4.9 – Exemplo de pisos táteis com ruídos.

Após toda a análise da imagem o sistema retorna um dos três possíveis resultados: piso tátil direcional, piso tátil de alerta ou ruído (sem piso tátil). Se um piso for encontrado, fornece o correto feedback ao usuário através da emissão de sons, ou beeps. São utilizados três sons diferentes, aqui chamados de Beep de Alerta, Beep de Direção, e Beep de Piso. Se o resultado for piso tátil direcional, calcula-se a posição do usuário em relação ao piso e o feedback segue a seguinte regra: Se o usuário está sobre o piso, emite o som

Beep Piso; se o piso está a direita do usuário, emite o som Beep Direção no ouvido direito;

se o piso está a esquerda do usuário, emite o som Beep Direção no ouvido esquerdo. Se o resultado for piso tátil de alerta, o feedback será a emissão do som Beep Alerta. Na falta de um piso tátil o processo é direcionado ao algoritmo de obstáculos em calçadas, descrito na próxima seção.

51

Esta implementação foi desenvolvida para detecção de pisos táteis encontrados em calçadas durante o dia. Mas, o modelo proposto também poderia ser utilizado no pe- ríodo noturno, quando há menos iluminação, e para pisos de outros formatos, desde que fossem feitas alterações no algoritmo. Por exemplo, poderia ser utilizada uma câmera com infravermelho para o caso de haver pouca iluminação e poderia ser feito um novo treina- mento da árvore de decisão para detecção de outros tipos de piso táteis.