Esta seção apresenta um comparativo de desempenho de execução da abordagem proposta “SEnsembles” com o método NNM (baseline). Neste comparativo foi utilizado como métrica o tempo total de execução em segundos, considerando-se como o tempo total da abordagem “SEnsembles” a somatória do
tempo necessário para a execução dos processos ECS e ECE. Dessa forma, foram obtidos dois tempos totais finais em cada experimento, ou seja, dois estágios de comparação de métricas, sendo um para a abordagem proposta “SEnsembles” e o outro para o método NNM, conforme se observa-se na Figura 6.40.
Figura 6.40 – Estágios de avaliação da métrica tempo total de execução (em segundos) utilizada para comparar o tempo necessário para a execução da abordagem proposta “SEnsembles” com o método NNM (baseline da comparação).
Nos experimentos utilizou-se o conjunto de dados Lalonde (1986) e o conjunto de dados do Cenário F descrito por Lee et al. (2010), contendo, respectivamente, 614 e 1000 instâncias. Os tempos foram obtidos por meio de 100 execuções para cada caliper utilizado (zero, 0,10, 0,15, 0,20, 0,25 e 0,30). É importante ressaltar que o tempo do processo ECE da abordagem “SEnsembles” foi obtido considerando-se a somatória dos tempos para obter a correspondência das instâncias, quando utilizado os ensembles (bagging, random forest e boosting) em substituição à regressão logística ao estimar os escores de propensão, ou seja, considerou-se o pior cenário possível sem a execução em paralelo (simultânea) desses métodos. Além disso, também não foi considerado a execução em paralelo dos processos ECS e ECE da abordagem proposta “SEnsembles”, isto é, também foi considerado o pior cenário possível nos experimentos realizados.
No experimento que foi utilizado o conjunto de dados Lalonde (1986), a abordagem “SEnsembles” proporcionou os tempos totais de execução próximos de cinco segundos para todos os calipers utilizados, enquanto o método NNM gerou tempos de execução inferiores a um segundo, conforme se observa na Figura 6.41, a qual apresenta o tempo dos processos ECS e ECE e, em seguida, o tempo total da abordagem proposta “SEnsembles” e do método NNM. Observa-se que a maior parte do tempo total de execução da abordagem proposta “SEnsembles” foi gerado pelo processo ECE (em destaque na cor amarela), mais precisamente, pela correspondência que utilizou o ensemble boosting para estimar os escores de propensão das instâncias. Por outro lado, observa-se também que o tempo de execução do processo ECS, seja utilizado a Configuração 1 ou 2, são bem próximos do método NNM (baseline), o que evidencia que o processo ECE foi o responsável por elevar o tempo total da abordagem proposta “SEnsembles” para em torno de cinco segundos.
Figura 6.41 – Resultados dos tempos de execução (em segundos) dos processos ECE e ECS da abordagem proposta “SEnsembles”, Tempo Total da abordagem
proposta “SEnsembles” considerando-se a somatória dos tempos de seus processos (ECE e ECS) e, o Tempo do método NNM (baseline da comparação), com variação de caliper de 0 a 0,30 e, usando o conjunto de dados Lalonde (1986) com 10
covariáveis para efetuar a correspondência das instâncias.
Fonte: Elaborado pelo autor.
Já no experimento que foi utilizado o conjunto de dados do Cenário F, a abordagem “SEnsembles” proporcionou os tempos totais de execução próximos de onze segundos, enquanto o método NNM gerou tempos de execução, novamente, inferiores a um segundo para todos os calipers, conforme se observa na Figura 6.42. Mais uma vez nota-se que os tempos das Configurações 1 e 2 são bem próximos do método NNM em todos os calipers utilizados e, ainda, o ensembles boosting foi responsável por elevar o tempo total da abordagem proposta “SEnsembles” para em torno de onze segundos em todos os calipers. Assim, nos dois experimentos realizados os tempos obtidos tiveram a mesma tendência, com o ensemble boosting elevando o tempo total da abordagem proposta “SEnsembles”, enquanto que as Configurações 1 e 2 do processo ECS gerou tempos de execução próximos aos do método NNM (baseline da comparação).
Figura 6.42 – Resultados dos tempos de execução (em segundos) dos processos ECE e ECS da abordagem proposta “SEnsembles”, Tempo Total da abordagem
proposta “SEnsembles” considerando-se a somatória dos tempos de seus processos (ECE e ECS) e, o Tempo do método NNM (baseline da comparação), com
variação de caliper de 0 a 0,30 e, usando o conjunto de dados do Cenário F (Lee et al., 2010) com 10 covariáveis para efetuar a correspondência das instâncias.
Fonte: Elaborado pelo autor.
Ressalta-se, contudo, mesmo que a abordagem proposta “SEnsembles” tenha gerado um tempo total de execução superior ao baseline da comparação (NNM), em torno de cinco segundos no primeiro experimento, considerando-se todos os calipers utilizados e, em torno de 11 segundos, no segundo experimento, o tempo total de execução não deverá ser levado em consideração pelo usuário especialista, uma vez que a abordagem proposta “SEnsembles” não gerou tempos elevados para se obter melhor qualidade na correspondência de instância.
6.9 Considerações Finais
O presente capítulo apresentou diversas comparações das correspondências geradas pelos processos ECS e ECE da abordagem “SEnsembles”, bem como a comparação desses processos com o método NNM. Observou-se nos experimentos apresentados que a abordagem proposta “SEnsembles” produz correspondência de instâncias mais similares com diversos calipers. Porém, ressalta-se que a prática de executar várias vezes um método de correspondência de instâncias, também se aplica à abordagem “SEnsembles”, uma vez que se permite alterar alguns parâmetros para a sua execução: Configuração 1 ou 2 da ECS, calipers, métrica de avaliação das correspondências e os ensembles a serem utilizados. Além disso, observou-se que o desempenho de execução da abordagem proposta “SEnsembles”, com base nos experimentos realizados, não é um fator que impossibilitará o seu uso pelo usuário especialista, uma vez que o tempo de execução não é elevado para se obter melhor qualidade na correspondência de instância. Por fim, o próximo capítulo apresenta às conclusões da presente pesquisa.