Como nos modelos paramétricos previamente testados, regressão logística e discriminante, entrou-se com todas variáveis preditoras ao mesmo tempo, sem exclusão, para que o modelo defina a melhor árvore de decisão utilizando todas as informações possíveis. Dentro os parâmetros selecionados, o tipo de análise escolhida foi classification e método de análise CART. Os parâmetros utilizados na árvore de decisão foram descritos como segue.
Referente ao limite foi utilizado como número mínimo de nós terminais (Terminal
node minimum cases) o valor de 1, ou seja, o sistema pode ir até um segmento final de apenas
1 observação, e para número mínimo de nós familiares (Parent node minimum cases) o valor de 10. Essa classificação permite que o modelo escolha até onde deseje ir, considerando maior precisão, se assim for necessário na discriminação dos grupos.
A parametrização de teste utilizada foi o V-fold-cross-validation = 10, no qual a técnica permite construir a árvore utilizando todos os dados. O teste exige rodar adicionais 10 árvores, em cada qual é testado 10% de diferentes dados, em outras palavras substitui as análises repetitivamente com segmentos diferentes da amostra, típico train–test methodology. Indicado neste caso pelo tamanho da amostra e considerado 10 folds, pois estaticamente é um ponto ótimo segundo manual CART (GOLOVNYA, 2007, p. 97) e na monografia CART por Breiman et al.(1984).
Não foi atribuído nenhum custo para a árvore de decisão. Teria como objetivo aumentar o peso em decidir sobre classificar entre bons e maus pagadores, ou seja, uma parametrização que ajuda a diminuir a classificação errada de bons pagadores no grupo de maus pagadores e vice e versa. Decidiu se por não influenciar o modelo, o que seria indicado se tivéssemos de princípio uma amostra tendenciosa ou o interesse de encontrar o ponto de corte ideal para não incorrer no custo do erro de classificação. Nesse caso deixou que o modelo encontrasse o ponto ótimo.
Finalmente o método escolhido para trabalhar as variáveis na árvore de decisão foi o Gini, que tem a tendência de gerar árvores que incluem alguns pequenos nós altamente concentrados na classe de interesse. Bastante indicado por melhor lidar com as maiorias das bases segundo manual CART (GOLOVNYA, 2007, p. 105).
O sistema CART gerou 14 árvores de decisão, cada uma com quantidades de nós diferentes e percentuais de discriminação distintos. A seguir os resultados gerados:
Figura 10 – Árvore de decisão – seleção de nós
Fonte: CART, (2014).
Tabela 18 – Árvore de decisão – poder explicativo por nós Número de
nós % Maus % Bons % do modelo Custo
ROC learn ROC test 4 74,56% 84,76% 82,13% 0,407 88,00% 84,06% 6 79,82% 81,40% 81,00% 0,388 90,51% 85,29% 8 78,95% 80,49% 80,09% 0,406 91,43% 83,24% 10 77,19% 82,62% 81,22% 0,402 92,69% 84,02% 13 78,95% 82,93% 81,90% 0,381 96,44% 85,29% 14 77,19% 84,45% 82,58% 0,384 96,86% 85,27% 15 75,44% 85,67% 83,03% 0,389 97,48% 83,98% 17 75,44% 85,98% 83,26% 0,386 97,70% 84,19% 18 75,44% 87,20% 84,16% 0,374 97,90% 85,55% 22 72,81% 89,02% 84,84% 0,382 98,56% 84,35% 24 72,81% 89,02% 84,84% 0,382 98,75% 84,68% 26 72,81% 89,01% 84,84% 0,382 98,98% 84,82% 28 72,81% 89,02% 84,84% 0,382 99,23% 84,82%
Fonte: Elaborado pelo autor (2014).
Percebe-se uma melhora no poder explicativo total do modelo quando tem um aumento no número de nós, porém a partir do décimo oitavo nó a árvore de decisão para de aumentar o poder explicativo. Como árvore principal para o estudo foi escolhida a décima oitava, por apresentar um bom poder explicativo 84,16% e também menor custo relativo
0,374, isto significa que quanto menor este custo mais acurado é o modelo, pois representa também uma medida de erro, em outras palavras, o esforço de processamento ponderado pelo nível de acerto do modelo ser ótimo nesse ponto. Verifica-se também na figura 11 um descolamento significativo de poder explicativo entre os bons e maus pagadores a partir da árvore com 18 nós.
Figura 11 – % de poder explicativo versus número de nós
Fonte: Elaborado pelo autor (2014).
Segundo Fávero (2009, p. 454) outra forma de analisar a qualidade relativa do ajuste do modelo é a curva ROC (Receiver Operating Characteristic), quanto mais distante a curva ROC estiver da diagonal, melhor será o poder discriminatório do modelo, pela curva ROC de teste, que valida o modelo, obteve o melhor resultado 85,55% com 18 nós.
72% 74% 76% 78% 80% 82% 84% 86% 88% 90% 4 6 8 10 13 14 15 17 18 22 24 26 28 P o d e r e xp lic at iv o Número de nós
Figura 12 – Curva ROC
Fonte: CART, (2014).
Portanto o poder explicativo total do modelo foi de 84,16%, no qual 87,20% dos bons pagadores foram explicados corretamente e 75,44% dos maus pagadores foram explicados corretamente. As variáveis mais importantes para as árvores de decisão são apresentadas como segue.
Tabela 19 – Importância relativa das variáveis
4 nós 18 nós (melhor custo e árvore selecionada) 28 nós
Importância relativa relativo Score Classificação relativo Score Classificação relativo Score Classificação
Risco 100,00% 1 100,00% 1 100,00% 1
Liquidez geral 57,21% 3 74,87% 2 74,85% 2
Liquidez corrente 65,02% 2 65,57% 3 65,60% 3
Prazo médio de pagamento - - 53,63% 4 57,95% 4
Grau de endividamento 31,51% 4 51,24% 5 55,95% 5 Rentabilidade do ativo 13,57% 8 35,83% 6 41,40% 6 Desempenho de pagamento 28,92% 5 31,34% 7 31,32% 8 Prazo médio de recebimento 2,31% 10 31,18% 8 34,19% 7
Conceito de mercado 15,39% 6 28,82% 9 31,24% 9
Margem bruta - - 25,10% 10 28,43% 10
Margem líquida 5,86% 9 21,84% 11 24,91% 11
Experiência de mercado 13,64% 7 14,14% 13 14,14% 13
Rentabilidade do PL - - 10,40% 14 13,05% 14
Garantias - - 0,06% 15 2,61% 15
Fonte: Elaborado pelo autor (2014).
Observa-se na tabela apresentada que a variável qualitativa risco tem o maior peso relativo na árvore de decisão. Com relação às variáveis qualitativas destaque para os índices de liquidez, prazo médio de pagamento e grau de endividamento, em linha com o referencial teórico e com os outros modelos paramétricos apresentados, regressão logística e análise de discriminante. Na sequência há quase que uma alternância entre variáveis qualitativas e quantitativas, o que reforça a ideia de importância de ambas para qualquer modelo de crédito.
Quando analisado os resultados dos pontos em que ocorrem as divisões da árvore com 18 nós, bom para direita e mau para esquerda, alguns resultados merecem destaque. Os clientes que apresentaram risco alto (1) e médio (2) foram os que apresentaram algum tipo de inadimplência, poucos clientes são considerados risco baixo e todos eles são adimplentes, esse é um dos motivos da variável risco ter tanta importância no modelo. Liquidez corrente apresentou divisão no nó quando o seu valor foi 1,00, ou seja, em termos gerais um cliente com liquidez abaixo de 1,00 pode ser considerado mais arriscado que um cliente com liquidez acima de 1,00. E grau de endividamento apresentou divisão no nó quando seu valor foi 3,86, ou seja, analogamente, porém com direção inversa, clientes com resultados abaixo de 3,86 podem ser considerado menos arriscado que clientes com grau de endividamento acima de 3,86.
Tabela 20 – Divisões de nós