Após a limpeza dos dados em cada uma das fontes, as operações devem centrar-se na integração dos esquemas e dados e na remoção de problemas pela reunião de várias fontes. As tarefas apli-
cadas nesta zona são em tudo semelhantes às executadas em cada uma das fontes. Todavia, neste local há particular incidência de umas operações (e.g. remoção de duplicados) em detrimen- to de outras (e.g. decomposição dos dados). A antecipação de algumas tarefas facilita e alivia a complexidade e o número de operações a realizar na ARD.
Recorremos a um exemplo que evidencia a necessidade de procedimentos de limpeza e transfor- mação dos dados e esquemas das tabelas na ARD (tabelas 4-5 e 4-6). Conforme é dado a obser- var, verifica-se que não foram tomadas nenhumas iniciativas prévias de tratamento dos dados nas fontes. Apesar desta ser uma situação perfeitamente plausível de ocorrer (e.g. a inclusão duma fonte de dados exterior à organização), pensamos que não corresponde à melhor abordagem na limpeza dos dados num SDW porque pressiona a ARD, um local que já concentra um alargado número de operações complexas normalmente executadas durante janelas de oportunidade redu- zidas. O exemplo considerado mostra claramente alguns conflitos dos esquemas e dos dados associados. Ao nível do esquema verifica-se o conflito entre os nomes das colunas (sinónimos) e conflitos na estrutura de algumas colunas (diferentes representações do nome e morada). En- quanto que, ao nível das linhas existem diferenças na representação do sexo e na ocorrência de linhas duplicadas.
Cliente (fonte de dados 1)
NC Nome Rua Cidade Sexo
11 Cristina Almeida R. de Sant’ana à Lapa, nº 210 4330 Lisboa 0 24 José F. Lopes Av. Vinte e Quatro, num. 65 r/c esq. Faro 1
Tabela 4-5 – Fonte de dados 1.
Fregueses (fonte de dados 2)
ID Último Nome Primeiros Nomes Morada Sexo
24 Lopes João F. Av. da Infantaria, n. 6 Porto Mas 49 Almeida Cristina J. Rua Santana à Lapa, 210 1350-290 Fem
Tabela 4-6 – Fonte de dados 2.
A resolução destes problemas passa, em primeiro lugar, pela integração dos esquemas e depois pela limpeza dos dados. Porém, reforçamos a necessidade de algumas das técnicas de limpeza (apresentadas anteriormente) serem executadas antes da recolha dos dados para a ARD. Uma possível solução encontra-se ilustrada na tabela 4-7.
Clientes
CC Apelido Nomes Morada Cidade C. Postal Sexo NC ID
1 Almeida Cristina J. R. de Sant’ana à Lapa, 210 Lisboa 1350-290 F 11 49 2 Lopes João F. Av. da Infantaria, 6 Porto M 24 3 Lopes José F. Av. 24, 65 r/c esq. Faro M 24
Tabela 4-7 – Junção das fontes de dados 1 e 2.
A antecipação do tratamento dos dados deve ser concretizada tanto mais cedo, quanto as fontes de dados sejam internas à organização, a janela de oportunidade for manifestamente reduzida, os esquemas das fontes denotem conflitos de vária ordem e os dados sejam muito susceptíveis de denotarem imperfeições. As principais tarefas a realizar neste local são assim, as transformações ao nível do esquema e dos dados e na remoção de linhas duplicadas.
Definição das transformações nos dados
O processo de transformação dos dados consiste, geralmente, num conjunto de etapas que inci- dem nas transformações ao nível do esquema ou das ocorrências dos dados. O número de fases ou operações a realizar varia de acordo com a quantidade de fontes de dados a integrar e com os níveis de anomalias dos dados a corrigir. As operações de transformação podem incidir no es- quema ou nos dados a integrar, implicando a migração dos dados para um esquema destinatário. Este esquema compreende o mapeamento entre o esquema do SO e o DW, conforme ilustra a tabela 4-8, a uniformização dos tipos de dados.
Sistema Sexo Dados Originais Dados Transformados
1 Masculino Mas M 1 Feminino Fem F 2 Masculino 1 M 2 Feminino 0 F
Tabela 4-8 – Uniformização de tipos de dados.
As causas das anomalias nos dados devem ser bem compreendidas, através da acção de ferra- mentas de análise dos dados, de modo a iniciar as medidas correctivas mais adequadas. Assim, implicitamente, o processo de transformação dos dados impõe grandes quantidades de metada- dos, como sejam, ao nível dos esquemas, das características dos dados, dos mapeamentos de transformação, da frescura e completude das fontes de dados.
Eliminação de duplicados
A tarefa de eliminação de duplicados ocorre geralmente após a maioria das outras operações de transformação e de limpeza terem ocorrido, em especial, depois de reparadas as incorrecções e os conflitos de representação em cada fonte de dados. A eliminação de linhas duplicadas pressu- põe a identificação de linhas semelhantes que representem a mesma entidade no mundo real e posteriormente, a fusão dessas linhas numa única capaz de agregar, sem redundância, as colunas relevantes e representativas da entidade considerada [Rahm & Do, 2000].
Esta questão é um dos maiores problemas verificados ao nível da qualidade dos dados e que re- sulta após a reunião de dados provenientes de diversas fontes. Pode ser observada, num primeiro instante, sobre as linhas constantes em cada fonte de dados e num instante posterior, na integra- ção dos dados provenientes das diversas fontes e localizados na ARD. Neste último caso, o en- contro de dados provenientes de fontes heterogéneas e geograficamente dispersas justifica a ne- cessária conferência entre linhas iguais ou semelhantes existentes em cada uma das fontes. Ge- ralmente, as técnicas utilizadas recorrem à confrontação de registos baseada em critérios de se- melhança, pela comparação de valores em determinadas colunas (e.g. o nome, a morada ou o contacto) (tabelas 4-9 e 4-10).
Antes Depois
Organização Contacto Organização Contacto
Metalurgia Industrial João C. Silva Metalurgia Industrial João C. Silva Metalurgia Ind. J. C. Silva Metalurgia Industrial João C. Silva Primeiro Banco de Lx. António P. M. Pedro Primeiro Banco de Lisboa António P. Pedro 1º Banco de Lisboa António Pedro Primeiro Banco de Lisboa António P. Pedro
Tabela 4-9 – Confronto de registos por nome da empresa e contacto.
Antes Depois
Organização Morada Organização Morada
Cerâmicas Luz & Dias, Lda. Rua da Olivença, 123 Cerâmicas Luz & Dias, Lda. R. da Olivença, 123 Cerâmicas Luz e Dias R. da Olivença, nº 123 Cerâmicas Luz & Dias, Lda. R. da Olivença, 123 Paulo Sá Consultores Av. da Armada, 2 4ºesq. Paulo Sá Consultores Av. da Armada, 2 4ºesq. Paulo M. Sá Consultor Avenida Armada, nº2 4ºE Paulo Sá Consultores Av. da Armada, 2 4ºesq.
Tabela 4-10 – Confronto de registos por nome da empresa e morada.
Este tema tem sido alvo de estudo em diversas investigações, sendo o problema da eliminação de valores duplicados nas bases de dados [Low et al., 2001], também referenciado como o problema da identificação do objecto [Galhardas et al., 2000] ou o problema da fusão e remoção [Hernandez
& Stolfo, 1998], ou ainda, o problema da eliminação de linhas ligeiramente duplicadas [Ananthak- rishna et al., 2002].