Putting the pieces back together

No que toca à agregação por cliente, esta obteve resultados muito bons tanto para o algoritmo de averaged perceptron como para o algoritmo de logistic regression. De frisar

que apenas a linha vermelha no gráfico 7.4(a) e a linha azul do gráfico 7.4(b) devem ser tidas em consideração na Figura 7.4, pois são essas linhas que dizem respeito ao

7 . 1 . T E S T E S PA R A DA D O S D E S U B S C R I Ç Õ E S

algoritmo em estudo, a outras linhas presentes no gráfico dizem respeito a outros testes que estavam a ser comparados com o gráfico em questão, contudo a visualização dentro do Azure Machine Learning Studio não permite ocultar uma das linhas.

Quando olhamos para as métricas comoaccuracy, recall, precision e F1 Score de ambos

os resultados dos algoritmos as diferenças não são muitas, contudo, no que diz respeito à matriz de confusão a existência de falsos positivos na Figura7.4(a) é algo que difere para a Figura7.4(b), um falso positivo acontece quando é atribuída a noção de possívelchurn

a um cliente que na verdade não está em perigo, do ponto de vista do negócio é preferível este tipo de erro do que deixar o cliente passar sem alerta e perder-se esse mesmo cliente, contudo, uma vez que ambos os modelos têm uma percentagem semelhante de falsos negativos a utilização do algoritmo de averaged perceptron acaba por ser mais vantajosa, pois permite economizar tempo e recursos que de outra forma seriam gastos a combater uma situação que não necessitava de ser combatida, por ser um falso alarme.

(a) Averaged Perceptron (b) Logistic Regression

Figura 7.4: Métricas de desempenho dos algoritmos de Averaged Perceptron e Logistic Regression Jungle para a agregação por cliente e subscrição em função do tempo

Passando agora para a análise dos algoritmos de Bayes Point Machine, Figura7.5(a) e Decision Florest, ilustrado na7.5, foi possível obter valores bastantes bons no que toca a AUC para ambos os algoritmos, contudo apesar de ambos apresentarem um valor de

accuracy e precision igual, os valores tanto de recall como de F1 Score são bastante diferen-

tes. Esta diferença fica a dever-se à diferença de verdadeiros positivos apresentados pelos dois modelos, como é possível verificar, o número de verdadeiros positivos obtidos com o uso do algoritmo de Decision Forest foi bastante inferior, esta fraca classificação leva a que, ao aplicar o algoritmo aos dados reais do problema, se possa incorrer no risco de perderem muitos clientes por falta de aviso, uma vez que as entidades que deveriam ter sido classificadas como verdadeiros foram classificadas como falsos, constando por isso no quadrante dos falsos negativos. Assim sendo, de entre os dois algoritmos representados

na Figura é preferível a utilização do algoritmo deBayes Point Machine para endereçar o

domínio do problema abordado nesta dissertação quando comparado com o algoritmo de

Decision Forest.

(a) Bayes Point Machine (b) Decision Forest

Figura 7.5: Métricas de desempenho dos algoritmos de Bayes Point Machine e Decision Forest para a agregação por cliente e subscrição em função do tempo

No que toca à análise dos últimos dois algoritmos para esta agregação de dados, cujos resultados são apresentados na Figura7.6, os resultados presentes na Figura7.6(a) permitem verificar que não existe a existência de nenhum caso de falso negativo (ver linha azul), o que é bom, pois significa que todos os clientes que estavam em perigo de deixar de ser clientes foram efetivamente identificados. Existem alguns falsos positivos, pelo que irão ser sinalizadas situações que não necessitavam de intervenção, contudo, do ponto de vista do negócio é preferível ter um maior controlo e sinalização do que perder um cliente, pelo que o resultado da aplicação do algoritmo faz todo o sentido do ponto de vista do negócio.

Relativamente ao algoritmo de decision jungle, cujos resultados se encontram na Fi- gura7.6(b), todas as entidades tiveram um valor atribuído de zero, ou seja, como não se encontrando em perigo dechurn. A ausência de verdadeiros positivos e falsos positivos

demonstra que o algoritmo não conseguiu estabelecer a relação entre os dados que permi- tisse classificar as entidades entre as duas classes, sendo que com o algoritmo de decision jungle não foi possível classificar uma única entidade corretamente para o caso dechurn,

podemos desde já excluir este algoritmo como candidato à utilização do modelo final, dado que este não satisfaz as necessidades do domínio de aplicação.

7.1.1.3 Agregação pela métrica Date, Cliente + Produto

Tal como referido na Secção5.2.1.1existem duas agregações que levam em consideração a coluna Date para formar o seu conjunto de dados, sendo que uma delas tem em conta o

7 . 1 . T E S T E S PA R A DA D O S D E S U B S C R I Ç Õ E S

(a) Boosted Decision Tree (b) Decision Jungle

Figura 7.6: Métricas de desempenho dos algoritmos de Boosted Decision Tree e Decision Jungle para a agregação por cliente e subscrição em função do tempo

cliente e o produto da subscrição e outra vai mais fundo nos dados, aumentando o grau de detalhe dos dados adicionando a informação relativa ao serviço. Neste sentido, começando pelos dados que incluem apenas os dados agregador por cliente e produto temos os valores presentes na Figura 7.7, referentes aos algoritmos de Averaged Perceptron e Logistic Regression.

Tal como já havia acontecido para outras agregações de dados tanto o uso de um algoritmo como do outro revelou muito bons resultados, neste caso especifico da agrega- ção por cliente e produto os resultados de ambos são exatamente os mesmos, pelo que podemos atribuir o mesmo grau de eficácia a ambos os modelos. Uma vez que ambos os modelos apresentam valores de classificação excelentes, estes tornam-se candidatos óbvios a serem selecionados para utilização no modelo final do problema.

Passando à análise de mais dois algoritmos para este conjunto de dados, a Figura 7.8(b), ilustra os resultados para o algoritmo de decision forest, que apresenta um elevado número de falsos negativos, este valor leva a que orecall e F1 score do modelo sejam mais

baixos do que o ideal, estes fatores levam à conclusão de que a aprendizagem do modelo por via deste algoritmo não seja a melhor, pelo que podemos deixar de considerar este como uma opção adequada para o uso no projeto. Relativamente ao algoritmo treinado com o algoritmo de bayes point machine, cujos resultados estão na Figura 7.8(a), teve um desempenho tão bom como o demonstrado pelos algoritmos analisados na Figura7.7, sendo por isso uma opção viável na implementação final.

A análise dos algoritmos boosted decision tree e decision jungle encontra-se expressa na Figura7.9, ambas em linhas vermelhas. O primeiro aspeto que salta á vista é a curva obtida pelo modelo ilustrado na Figura7.9(b), relativo ao desempenho do decision jungle. Este algoritmo mostrou-se inadequado para dar resposta ao problema em questão. De

(a) Averaged Perceptron (b) Logistic Regression

Figura 7.7: Métricas de desempenho dos algoritmos de Averaged Perceptron e Logistic Regression para a agregação de cliente e produto, pela métrica Date

(a) Bayes Point Machine (b) Decision Florest

Figura 7.8: Métricas de desempenho dos algoritmos de Bayes Point Machine e Decision Florest para a agregação de cliente e produto, pela métrica Date

facto foi possível classificar algumas entidades corretamente no que diz respeito a verda- deiros positivos, contudo, quando comparado com o número de falsos positivos obtido o algoritmo não teve o desempenho que deveria, ao aplicar este algoritmo na solução do problema este apenas assinalaria uma pequena fração dos clientes que estão efetivamente em perigo de deixar de ser clientes, estas condições não são de todo as mais favoráveis, principalmente pelo facto de já ter sido possível adquirir combinações de conjuntos de dados e algoritmos que demonstraram resultados substancialmente melhores. No que

7 . 1 . T E S T E S PA R A DA D O S D E S U B S C R I Ç Õ E S

toca aos resultados do algoritmo de boosted decision tree, estes mostram que este algo- ritmo é um bom candidato, uma vez que obteve métricas de avaliação tão boas quanto os melhores algoritmos testados e analisados até ao momento.

(a) Boosted Decision Tree (b) Decision Jungle

Figura 7.9: Métricas de desempenho dos algoritmos de Boosted Decision Tree e Decision Jungle para a agregação de cliente e produto, pela métrica Date