El mètode científic des del punt de vista teòric. Els criteris

Um dos problemas encontrados nas pesquisas é a apresentação de dados sem interpretação. Não é suficiente realizar os testes, colocar os resultados em tabelas e deixar que o leitor tire suas próprias conclusões (JOHNSON, 2002).

Nessa etapa, espera-se que, no mínimo, devam ser relatados os padrões encontrados nos dados. O relatório do experimento, quando bem estruturado, pode fornecer ao leitor uma orientação padrão, com a descrição dos detalhes necessários para compreender e, se for o caso, reproduzir o experimento.

Conforme Barr, et al., (1995) o relatório deve ser organizado em partes como: 1. Descrição do objetivo geral da pesquisa;

2. Seleção das instâncias de problemas e das medidas de desempenho em execuções preliminares;

46

3. Concretização das questões com os objetivos do experimento e estabelecimento de afirmações e hipóteses a serem testadas;

4. Especificação das instâncias de problema; do algoritmo e de seus parâmetros; das medidas de desempenho e do ambiente de teste;

5. Apresentação dos dados brutos encontrados durante a execução do algoritmo; 6. Descrição de exceções ou padrões incomuns observados sem avaliações

subjetivas; e

7. Conclusão sobre as hipóteses da etapa 3 e fornecimento de interpretações subjetivas necessárias sobre as observações registradas.

4.9 Trabalhos Relacionados

Esta seção é responsável por relatar os trabalhos existentes relacionados com a utilização de planejamento experimental com algoritmos.

Schad, J., et al., 2010 apresentam um estudo da variância do desempenho da infraestrutura em nuvem Amazon EC2 a partir de diferentes perspectivas. Foi usado microbenchmarks estabelecidos para medir a variação de desempenho em CPU, I/O, e rede. Foram coletados dados por um mês inteiro e comparados com os resultados obtidos em um cluster local. Os resultados mostram que o desempenho do EC2 varia muito e, na maioria das vezes, cai duas bandas impactando, segundo os autores, numa grande diferença de desempenho. Foram analisados os resultados considerando diferentes zonas de disponibilidade, diferentes momentos e diferentes locais. Os autores concluem que a variância no EC2 é atualmente tão alta que a resposta dos experimentos (wall clock) deve ser realizada cuidadosamente.

Passamontes, et al., (2006) utilizam o algoritmo Simplex para otimizar o processo de encontrar uma sequência analítica que permite determinar simultaneamente quais características físicas e químicas são semelhantes. Inicialmente, os autores propuseram um planejamento fatorial fracionado 26-2_{, a fim de abordar as respostas, reduzir a experimentação} e estudar quais fatores são significantes na resposta esperada e como esses fatores se interagem.

Ridge, et al., (2010) realizam uma abordagem de experimentos para ajustes dos parâmetros que afetam o desempenho do algoritmo. O estudo de caso abordado nesse trabalho é a resolução Colônia de Formigas aplicado ao problema de roteamento. Foram analisados 12 fatores nesse problema. O tempo de execução do algoritmo, a qualidade da solução e o erro relativo foram as medidas de desempenho analisadas. Como planejamento de experimentos, foi

47

realizado o planejamento experimental fatorial fracionado 212-5_{. Para a análise dos dados foi} utilizado a ANOVA.

Pais, (2014) propõe apresentar uma metodologia baseada no planejamento experimental para obter a configuração ótima dos parâmetros de um algoritmo genético paralelo (AGP) executado em plataforma com processador multicore. Foram analisados 7 fatores relacionados com: número de subpopulações, topologia de migração, frequência de migração, população total, taxa de migrantes, seleção de migrantes, posicionamento de migrantes. Foi aplicado um planejamento fatorial de 27_{. Foram analisadas as funções Rastringin e Rosenbrock. Nos} resultados apresentados, os fatores e interações influentes no desempenho do AGP-I foram diferentes para cada uma das funções de teste. Petrovski, et al., (2005) também aplicaram o uso de planejamento experimental na área de algoritmos genéticos.

Hutter, et al., (2010) usam a metaheurística de busca local iterativa no espaço de parâmetros. O método executa a busca em várias instâncias de um problema, variando um conjunto de parâmetros qualitativos e quantitativos. Os algoritmos testados são Covariance Matrix Adaptation Evolution Strategy (CMA-ES) e Scaling And Probabilistic Smoothing (SAPS). Por fim, os autores fazem um comparação do modelo proposto com os modelos existentes na literatura.

Pallister, et al., (2013) apresentam uma técnica para explorar o efeito no consumo de energia de um grande número de otimizações que podem ser executadas em um compilador. Foram avaliados um conjunto de dez benchmarks para 5 diferentes plataformas. Um planejamento fatorial completo e fracionado foi utilizado para explorar o espaço de otimização e estimar a precisão e combinação dos efeitos. Para cada plataforma foi medido o poder de hardware para garantir que o consumo de energia seja capturado. Os autores concluem que a estrutura do benchmark tem um maior efeito do que a arquitetura do hardware se a otimização for efetiva.

Syed, et al., (2010) exploraram as diversas configurações de hardware e carga do processador sobre a existência de falhas intermitentes e do comportamento não determinístico de sistemas de software. No estudo utilizaram o sistema Mozilla Firefox. Cada condição que causa falhas foi replicada dez vezes para cada um dos nove hardwares estudados. Os fatores estudados foram: velocidade do processador, memória e disco. O planejamento utilizado foi o planejamento fatorial 33_{. Para a análise dos dados foi utilizado a ANOVA. Os dados foram} analisados e os autores concluíram que as configurações de hardware com velocidade menor

48

de processamento e menos memória tiveram mais falhas que os demais. A carga de processamento pode influenciar a ocorrência de algumas falhas.

Sun, et al., (1999) apresentam uma metodologia de avaliação de sistema avançado de memória. A metodologia é baseada em análise fatorial estatística. O planejamento tem como objetivo determinar o impacto do sistema de memória e de programas para o desempenho do conjunto, identificar o gargalo existente em uma hierarquia de memória e fornecer a comparação custo/desempenho através de análise estatística. A metodologia proposta analisa o ambiente em 4 perspectivas (efeito do código e máquina, classificação do código/máquina, escalabilidade e hierarquia memória) e são baseadas em um planejamento fatorial e método de regressão estatística. Para a análise dos dados utilizou a ANOVA. Foram testados cinco tipos de códigos. Os dados são apresentados e o autores concluem informando que a metodologia proposta é uma ferramenta efetiva para projeto e análise para sistema de memória.

Esses trabalhos mostram que é possivel a uilização de plamejamento fatorial na experimentação de algoritmos o que viabiliza a criação de uma metodologia para também analizar caracteristicas vitais para a criação de um ambiente virtual em Computação em Nuvem (quantidade de núcleo, quantidade de memória, tipo de sistema operacional e máquina virtual).

4.10 Considerações Finais do Capítulo

Segundo Cormen et al. (2009), um algoritmo é qualquer procedimento computacional bem definido que toma algum valor ou conjunto de valores como entrada e produz algum valor ou conjunto de valores como saída. A entrada também denominada de instância de um problema satisfaz a quaisquer restrições impostas no enunciado do problema, necessária para se calcular uma resposta.

Trabalhos (CROWDER, ET AL., 1978; BARR, ET AL., 1995; EIBEN, ET AL., 2001; COFFIN, ET AL., 2000; MGARBAGE COLLECTOREOCH, 2001; RARDIN, ET AL., 2001; JOHNSON, 2002; BARTZ-BEIELSTEIN, ET AL., 2010; COSTA, ET AL., 2011; PAIS, ET AL., 2014) apresentam a técnica de planejamento de experimentos com métodos rigorosos para a análise dos dados obtidos e com resultados que podem ser reproduzidos, Seção 4.

As teorias apresentadas são aplicadas no planejamento dos experimentos e estarão descritas no Capítulo 5. A técnica que foi utilizada para conduzir os experimentos com algoritmos está apresentada na Seção 3.3.

49

Capítulo 5

Metodologia para Comparação de

Ambientes Virtuais

Este Capítulo apresenta de forma completa a metodologia proposta para a comparação de ambientes virtuais na computação em nuvem baseada na análise estatística. O processo utilizado para conduzir os experimentos é uma adaptação do método proposto por Barr et Al. (1995) apresentado na Seção 4.1.