Undersøkelsene i forbindelse med utredningen

Com a finalidade de otimizar a metodologia ao contexto da segmentação cerebral tumoral, foi levado a cabo um estudo dos híper-parâmetros de um classificador. Este estudo apenas se realizou sobre a Extra-Trees.

A procura dos melhores híper-parâmetros de uma floresta é um estudo vasto e demorado que, nesta dissertação, foi efetuado por um algoritmo Grid Search. Com este estudo procura-se obter um novo conjunto de parâmetros, mais adequado, capaz de substituir a configuração definida na secção 6.3.

O algoritmoGrid Search, com base num conjunto pré-definido de parâmetros é responsável por deter- minar a melhor combinação capaz de obter o melhor desempenho, quantificado por um critério específico, a média das métricas no conjunto de validação2_{. Os parâmetros alvo de análise, bem como a respetiva}

gama de análise, foram:

- n_{∈ {100, 125, 150, 175, 200}} - depth_{∈ {30, 40, 50, None}} - split_{∈ {Gini, Entropy}}

- Mf eat ∈ {′sqrt′,′log2′, 0.05, 0.10, 0.15, 0.20, 0.25}

- mleaf = [1, 11]∩ mleaf ∈ N - mnode = [1, 11]∩ mnode ∈ N

Como se pode constatar através da gama de valores permitidos para cada um dos parâmetros, o número de combinações possíveis é 33880. Dado este elevado número de combinações possíveis, ape- nas foram avaliados 100 candidatos, aleatoriamente escolhidos, de onde as três melhores configurações foram selecionadas, com base no critério supracitado. O procedimento demorou 4 dias 3 horas e 22 mi- nutos, reforçando o porquê de este tipo de estudos ser temporalmente e computacionalmente limitativo. Os três melhores candidatos obtidos, de acordo com a média da validação, estão presentes na tabela 6.4.

Tabela 6.4: Três melhores combinações obtidas peloGrid Search, num conjunto de 100 candidatos.

Score n depth split M _f eat m_leaf m_node

1º 0.982 125 30 Entropia 0.2 1 2

2º 0.982 100 None Entropia 0.25 1 7

3º 0.981 100 50 Gini 0.25 2 6

CAPÍTULO 6. RESULTADOS

Após a obtenção dos três melhores conjuntos de parâmetros procedeu-se à implementação do pri- meiro e terceiro melhores candidatos, com o intuito de quantificar as alterações introduzidas por estes no desempenho da classificação. O terceiro candidato foi alvo de testes visto que, por vezes, o primeiro candidato pode apresentar overfitting ao conjunto de treino. Os resultados de ambas as abordagens encontram-se presentes na figura 6.6.

(a)

(b)

Figura 6.6: Gráfico de barras das médias das métricas avaliadas, das segmentações provenientes de um classificador com os parâmetros obtidos pelo primeiro candidato da técnicaGrid Search(azul) e um classificador com os parâmetros do terceiro classificado (cinzento); (a) compreende as métricas de HGG e (b) as métricas de LGG no conjuntoTraining.

Nos gliomas de elevado grau, numa primeira análise constata-se que ambas as configurações de parâmetros têm desempenhos bastante próximos. Neste tipo de glioma, nas três classes avaliadas, não existem diferenças assinaláveis no desempenho de ambas as configurações. Assim sendo, em HGG

CAPÍTULO 6. RESULTADOS

não é possível afirmar qual das configurações de parâmetros daExtra-Treesé a mais adequada para a segmentação de tumores cerebrais.

Focando a análise nos gliomas de baixo grau retira-se que o primeiro candidato é consideravelmente superior ao terceiro candidato. Avaliando o desempenho de todas as métricas, o primeiro candidato supera o terceiro por uma diferença de 3,4%. Esta diferença no desempenho é explicada essencialmente pela incapacidade de classificar corretamente a região ativa contrastante, onde o primeiro candidato tem um desempenho 1,6% superior ao terceiro candidato. Como este tipo de gliomas é um desafio para as metodologias de segmentação tumoral cerebral, o primeiro candidato é de facto a melhor das duas configurações analisadas.

Determinada a melhor das duas configurações de parâmetros avaliadas, torna-se necessária a com- paração do primeiro candidato com os parâmetros implementados até ao presente momento, descritos na secção 6.3. Na figura 6.7 estão presentes os resultados obtidos nos dois tipos de gliomas a segmentar. A nova configuração de parâmetros é capaz de assegurar um melhor desempenho da metodologia. No caso do HGG existe um aumento geral de 7%. Por outro lado, em LGG, o novo conjunto de parâme- tros consegue apresentar uma melhoria geral no desempenho de 5%, considerando todo o conjunto de métricas. Uma particularidade detetada foi o facto de as métricas obtidas pela nova configuração apresen- tarem melhorias consistentes na sensibilidade e consequentemente em Dice. O valor do PPV em todas as classes, em ambos os tipos de glioma na nova configuração, não consegue superar a configuração de parâmetros, até ao presente momento utilizada. Este fenómeno pode ser explicado devido ao número de árvores e respetiva profundidade que definem o primeiro candidato. Comparando com os parâmetros até ao momento utilizados, o aumento do número de árvores conjuntamente com uma menor profun- didade das árvores de decisão pode ser responsável por um maior ajuste do classificador aos dados e portanto uma maior capacidade em detetar pontos pertencentes à classe tumoral. Dado o aumento da confiança em identificar amostras como pertencentes aos diversos tecidos tumorais, traduzindo-se numa maior sensibilidade, existe associado um erro em considerar pontos de tecido cerebral saudável como tumor. Deste modo, pode-se assim justificar a pequena diminuição observada na métrica PPV.

Apesar desta melhoria significativa na qualidade das segmentações obtidas pelo novo conjunto de parâmetros, estes não foram aplicados. O porquê desta ação reside nos elevados tempos de computa- ção associados a esta nova configuração do classificador. Utilizando o conjunto de híper-parâmetros do primeiro candidato a metodologia requer 2 dias, 7 horas e 26 minutos (para todo o conjuntoTraining), ao passo que na configuração da secção 6.3 é de aproximadamente 13 horas. Os elevados tempos de computação associados à nova metodologia podem ser explicados pela dificuldade em otimizar a função de divisão dos nodos, em conformidade com o critério de otimização (entropia).

Sendo um dos principais objetivos da presente dissertação é o desenvolvimento de uma metodologia passível de ser implementada em contexto clínico, o elevado tempo de computação do primeiro candidato presente na tabela 6.4 é um entrave para assegurar um procedimento de segmentação rápido. Assim sendo, as configurações inicialmente propostas foram mantidas ao longo dos testes efetuados posterior- mente, tendo sido mantidos os resultados da configuração inicial.

CAPÍTULO 6. RESULTADOS

(a)

(b)

Figura 6.7: Gráfico de barras das médias das métricas avaliadas, de um classificador com os parâmetros obtidos pelo primeiro candidato da técnicaGrid Search(azul) e o classificador com os parâmetros aplica- dos até ao momento, na secção 6.3 (cinzento); (a) compreende as métricas de HGG e (b) as métricas de LGG no conjuntoTraining.