Como resultado desta avaliac¸˜ao, cada processo recebeu 33 notas (correspondendo a cada uma das pr´aticas), variando conforme a escala definida. Com o intuito de facilitar a apresentac¸˜ao dos resultados, toda a an´alise foi tabulada. Exemplos podem ser obtidos nas Tabelas 3.2, 3.3 e 3.4, que correspondem aos Processos A, B e C respectivamente. Nas tabelas, as linhas repre- sentam as pr´aticas, enquanto as colunas representam as an´alises das quest˜oes e dos processos. A an´alise completa de todas as pr´aticas ´e encontrada no Anexo A.
Para que fosse poss´ıvel a contabilizac¸˜ao de notas dos processos, e at´e mesmo das fases do processo de teste (ou qualquer outro agrupamento), houve a necessidade de transformar a escala nominal em numeral. Cada grau da escala recebeu um valor de 1 (um) a 4 (quatro), no qual o valor 1 corresponde a N˜ao Aplic´avel, 2 corresponde a Pouco Aplic´avel, 3 corresponde a
Aplic´avel e 4 corresponde a Extremamente Aplic´avel.
O resultado obtido desta An´alise Cr´ıtica ´e encontrado nos gr´aficos das Figuras 3.5, 3.6 e 3.7.
Figura 3.5: Notas Processo A
As raias s˜ao enumeradas de 1 a 33, correspondendo `as pr´aticas do processo de teste definido por (CAMARGO; FERRARI; FABBRI, 2013). Os c´ırculos representam as notas obtidas por cada pr´atica (de 1 a 4, conforme a escala apresentada). O centro corresponde `a nota 1, e o c´ırculo mais externo `a nota 4.
3.3 An´alise Cr´ıtica 57
Tabela 3.2: An´alise Cr´ıtica da Fase Projeto de Casos de Teste do Processo A
Prática (TMMi) Análise Crítica (Processo A)
Atividade envolve tomada de decisão?
Sim. Nesta atividade são definidas quais serão as entradas necessárias e as saídas esperadas. Além disso
existe a tomada de decisão quanto à priorização dos
casos de teste. Atividade exige um ator
com conhecimento especializado?
Sim, conhecimento no domínio é fundamental.
Atividade pode ser automatizada?
Parcialmente. A criação dos casos de teste pode ser
automatizada, mas a priorização necessita de
intervenção humana. Atividade requer a
consulta a um repositório de dados (base histórica
dos projetos)?
Sim. A consulta (e reaproveitamento) a casos de
teste de projetos anteriores pode facilitar a realização da
atividade. Atividade requer o
envolvimento de outras pessoas/equipes?
Não. A identificação dos casos de teste é uma atividade interna à equipe de testes. Atividade pode
influenciar outras atividades (futuras)?
Sim. Casos de teste insuficientes podem influenciar todo o projeto.
Extremamente aplicável
Atividade envolve tomada de decisão?
Sim, decisão sobre a criação dos casos de teste são tomadas nesta atividade. Atividade exige um ator
com conhecimento especializado?
Sim, conhecimento no domínio é fundamental para a
correta identificação dos dados de teste.
Atividade pode ser automatizada?
Não. A seleção dos dados de teste específicos não pode ser
automatizada, pois é uma atividade restrita ao escopo
do projeto.
Atividade requer a consulta a um repositório
de dados (base histórica dos projetos)?
Sim. A consulta (e reaproveitamento) a casos de
teste de projetos anteriores pode facilitar a realização da atividade. Entretanto há a necessidade de adequar tais
casos de teste para os requisitos individuais deste
projeto. Atividade requer o
envolvimento de outras pessoas/equipes?
Não. A identificação dos dados de teste é uma atividade interna à equipe de
testes. Atividade pode
influenciar outras atividades (futuras)?
Sim. Casos de teste insuficientes podem influenciar todo o projeto.
Extremamente aplicável
SP1.3 Identificar dados de teste específicos necessários
São identificados os dados de testes específicos necessários para suportar as condições de teste e execução de casos de
teste.
Este processo é preparado para receber os planos de teste. Oferece apoio para consulta dos planos de projetos anteriores, e também é possível encontrar
pessoas com competências necessárias para a realização da
atividade.
Análise Crítica (Prática)
SP1.2 Identificar e priorizar casos de teste
Caso de teste são identificados e priorizados utilizando técnicas de design
de teste
Este processo é preparado para receber os planos de teste. Oferece apoio para consulta dos planos de projetos anteriores, e também é possível encontrar
pessoas com competências necessárias para a realização da
Tabela 3.3: An´alise Cr´ıtica da Fase Projeto de Casos de Teste do Processo B
Prática (TMMi) Análise Crítica (Processo B)
Atividade envolve tomada de decisão?
Sim. Nesta atividade são definidas quais serão as entradas necessárias e as saídas esperadas. Além disso
existe a tomada de decisão quanto à priorização dos
casos de teste. Atividade exige um ator
com conhecimento especializado?
Sim, conhecimento no domínio é fundamental.
Atividade pode ser automatizada?
Parcialmente. A criação dos casos de teste pode ser
automatizada, mas a priorização necessita de
intervenção humana. Atividade requer a
consulta a um repositório de dados (base histórica
dos projetos)?
Sim. A consulta (e reaproveitamento) a casos de
teste de projetos anteriores pode facilitar a realização da
atividade. Atividade requer o
envolvimento de outras pessoas/equipes?
Não. A identificação dos casos de teste é uma atividade interna à equipe de testes. Atividade pode
influenciar outras atividades (futuras)?
Sim. Casos de teste insuficientes podem influenciar todo o projeto.
Aplicável
Atividade envolve tomada de decisão?
Sim, decisão sobre a criação dos casos de teste são tomadas nesta atividade. Atividade exige um ator
com conhecimento especializado?
Sim, conhecimento no domínio é fundamental para a
correta identificação dos dados de teste.
Atividade pode ser automatizada?
Não. A seleção dos dados de teste específicos não pode ser
automatizada, pois é uma atividade restrita ao escopo
do projeto.
Atividade requer a consulta a um repositório
de dados (base histórica dos projetos)?
Sim. A consulta (e reaproveitamento) a casos de
teste de projetos anteriores pode facilitar a realização da atividade. Entretanto há a necessidade de adequar tais
casos de teste para os requisitos individuais deste
projeto. Atividade requer o
envolvimento de outras pessoas/equipes?
Não. A identificação dos dados de teste é uma atividade interna à equipe de
testes. Atividade pode
influenciar outras atividades (futuras)?
Sim. Casos de teste insuficientes podem influenciar todo o projeto.
Aplicável
SP1.3 Identificar dados de teste específicos necessários
São identificados os dados de testes específicos necessários para suportar as condições de teste e execução de casos de
teste.
O processo não apoia a criação de planos de teste diretamente, pois somente são armazenadas informações do projeto. Mas
oferece meios de encontrar
lessons learned relacionadas a
projetos anteriores, que podem auxiliar em algumas questões. Também é possível encontrar especialistas através das páginas
amarelas.
Análise Crítica (Prática)
SP1.2 Identificar e priorizar casos de teste
Caso de teste são identificados e priorizados utilizando técnicas de design
de teste
O processo não apoia a criação de planos de teste diretamente, pois somente são armazenadas informações do projeto. Mas
oferece meios de encontrar
lessons learned relacionadas a
projetos anteriores, que podem auxiliar em algumas questões. Também é possível encontrar especialistas através das páginas
3.3 An´alise Cr´ıtica 59
Tabela 3.4: An´alise Cr´ıtica da Fase Projeto de Casos de Teste do Processo C
Prática (TMMi) Análise Crítica (Processo C)
Atividade envolve tomada de decisão?
Sim. Nesta atividade são definidas quais serão as entradas necessárias e as saídas esperadas. Além disso
existe a tomada de decisão quanto à priorização dos
casos de teste. Atividade exige um ator
com conhecimento especializado?
Sim, conhecimento no domínio é fundamental.
Atividade pode ser automatizada?
Parcialmente. A criação dos casos de teste pode ser
automatizada, mas a priorização necessita de
intervenção humana. Atividade requer a
consulta a um repositório de dados (base histórica
dos projetos)?
Sim. A consulta (e reaproveitamento) a casos de
teste de projetos anteriores pode facilitar a realização da
atividade. Atividade requer o
envolvimento de outras pessoas/equipes?
Não. A identificação dos casos de teste é uma atividade interna à equipe de testes. Atividade pode
influenciar outras atividades (futuras)?
Sim. Casos de teste insuficientes podem influenciar todo o projeto.
Extremamente aplicável
Atividade envolve tomada de decisão?
Sim, decisão sobre a criação dos casos de teste são tomadas nesta atividade. Atividade exige um ator
com conhecimento especializado?
Sim, conhecimento no domínio é fundamental para a
correta identificação dos dados de teste.
Atividade pode ser automatizada?
Não. A seleção dos dados de teste específicos não pode ser
automatizada, pois é uma atividade restrita ao escopo
do projeto.
Atividade requer a consulta a um repositório
de dados (base histórica dos projetos)?
Sim. A consulta (e reaproveitamento) a casos de
teste de projetos anteriores pode facilitar a realização da atividade. Entretanto há a necessidade de adequar tais
casos de teste para os requisitos individuais deste
projeto. Atividade requer o
envolvimento de outras pessoas/equipes?
Não. A identificação dos dados de teste é uma atividade interna à equipe de
testes. Atividade pode
influenciar outras atividades (futuras)?
Sim. Casos de teste insuficientes podem influenciar todo o projeto.
Extremamente aplicável
SP1.3 Identificar dados de teste específicos necessários
São identificados os dados de testes específicos necessários para suportar as condições de teste e execução de casos de
teste.
O processo não realiza a criação de planos de teste diretamente,
entretanto, informações relevantes podem ser encontradas nos documentos de
conhecimento. O framework também oferece meios de encontrar pessoas que possuem
conhecimento necessário para realização da atividade.
Análise Crítica (Prática)
SP1.2 Identificar e priorizar casos de teste
Caso de teste são identificados e priorizados utilizando técnicas de design
de teste
O processo não realiza a criação de planos de teste diretamente,
entretanto, informações relevantes podem ser encontradas nos documentos de
conhecimento. O framework também oferece meios de encontrar pessoas que possuem
conhecimento necessário para realização da atividade.
Figura 3.6: Notas Processo B
Figura 3.7: Notas Processo C
A relac¸˜ao das pr´aticas ´e encontrada na Tabela A.2.
A Figura 3.8 ilustra as notas obtidas por fase do processo de teste. Foi utilizada a m´edia aritm´etica para obtenc¸˜ao de tais notas, uma vez que todas as pr´aticas possuem o mesmo peso.
3.3 An´alise Cr´ıtica 61
Figura 3.8: An´alise Cr´ıtica Agrupada por Fase do Processo de Teste
A seguir ser˜ao comentados os resultados, agrupados de acordo com as fases do processo de teste (Figura 3.8).
Planejamento
O maior grupo de pr´aticas ´e representado pela fase Planejamento, que contempla 10 das 33 pr´aticas do processo de teste. Dentre as atividades realizadas, est˜ao: an´alise de riscos, definic¸˜ao de cronogramas e definic¸˜ao de abordagem de teste. Ou seja, esta fase atua principalmente na ´area gerencial. As notas obtidas pelos processos na fase Planejamento variaram meio ponto entre si.
Com relac¸˜ao `a fase Planejamento, os processos foram mais bem avaliados para as seguintes pr´aticas:
• Processos A e C:
– SP4.2 Planejar a equipe de teste • Processo B:
– SP1.2 Identificar riscos do produto
– SP2.2 Definir a abordagem de teste – SP4.2 Planejar a equipe de teste
O Processo B destacou-se entre os outros, por ser de cunho gerencial, ou seja, como ´e baseado em documentos lessons learned, o processo armazena informac¸˜oes que s˜ao relevantes `as decis˜oes gerenciais de um projeto.
Os Processos A e C receberam nota 4 (Extremamente Aplic´avel) apenas para a pr´atica Pla- nejar a equipe de teste (SP4.2), o que mostra o car´ater n˜ao gerencial destes processos. Esta pr´atica est´a relacionada `as P´aginas Amarelas, t´ecnica de Gest˜ao do Conhecimento presente em todos os processos avaliados.
Para identificar quais s˜ao as deficiˆencias, foram consideradas as pr´aticas para aos quais os
processos receberam notas 1 ou 2 (N˜ao Aplic´avel e Pouco Aplic´avel, respectivamente). S˜ao elas:
• Processo A:
– SP1.3 Analisar riscos do produto (nota 2) – SP2.4 Definir crit´erios de parada (nota 2)
– SP4.1 Estabelecer o cronograma de teste (nota 1) – SP4.5 Estabelecer o plano de teste (nota 1)
– SP1.3 Analisar os requisitos do ambiente de teste (nota 1) • Processo B:
– SP4.1 Estabelecer o cronograma de teste (nota 1) – SP4.5 Estabelecer o plano de teste (nota 1)
– SP1.3 Analisar os requisitos do ambiente de teste (nota 1) • Processo C:
– SP1.2 Identificar riscos do produto (nota 2) – SP1.3 Analisar riscos do produto (nota 2)
– SP2.1 Identificar elementos e caracter´ısticas a serem testados (nota 2) – SP2.2 Definir a abordagem de teste (nota 2)
3.3 An´alise Cr´ıtica 63
– SP2.4 Definir crit´erios de parada (nota 1)
– SP4.1 Estabelecer o cronograma de teste (nota 1) – SP4.5 Estabelecer o plano de teste (nota 1)
– SP1.1 Obter (eliciar) necessidades do ambiente de teste (nota 2) – SP1.3 Analisar os requisitos do ambiente de teste (nota 1)
Os processos A, B e C obtiveram nota 1, ou seja, foram considerados n˜ao aplic´aveis, em um mesmo conjunto de pr´aticas: Estabelecer o cronograma de teste (SP4.1), Estabelecer o plano de teste (SP4.5), Analisar os requisitos do ambiente de teste (SP1.3). Percebe-se que estas s˜ao falhas gerais aos processos investigados, e as t´ecnicas de Gest˜ao do Conhecimento aplicadas n˜ao conseguem extrair a experiˆencia dos envolvidos para auxiliar a realizac¸˜ao de tais atividades.
Dentre os trˆes processos, o melhor avaliado para a fase de Planejamento foi o B.
Projeto de casos de teste
Composta por apenas duas pr´aticas, esta fase foi aquela que mais se destacou na An´alise Cr´ıtica, pois os processos obtiveram boas notas em ambas as pr´aticas.
Diferentemente da fase anterior (Planejamento), nesta fase os Processos A e C foram os mais bem avaliados, em raz˜ao de se adequarem mais `as necessidades das atividades exerci- das (Projeto de casos de teste). O Processo B, por abranger informac¸˜oes gerenciais (lessons
learned), n˜ao atende por completo os objetivos da fase.
As pr´aticas nas quais os processos foram mais bem avaliados para a fase de Projeto de casos
de testeforam:
• Processos A e C:
– SP1.2 Identificar e priorizar casos de teste
– SP1.3 Identificar dados de teste espec´ıficos necess´arios
Configurac¸ ˜ao de dados e do ambiente de teste
Esta fase resultou em uma das maiores variac¸˜oes entre as notas dos processos. Para esta fase, n˜ao se observou um padr˜ao de avaliac¸˜ao entre as pr´aticas, ou seja, os pontos fortes e as deficiˆencias s˜ao diferentes entre os processos.
Pelas notas obtidas, fica evidente que os processos pouco podem auxiliar nas atividades realizadas na fase Configurac¸˜ao de dados e do ambiente de teste. Apenas uma nota 4 (Extrema-
mente Aplic´avel) foi atribu´ıda, considerando todos os processos. Em particular, para a pr´atica
Desenvolver cronograma de execuc¸˜ao do teste (SP2.4), ao Processo A foi atribu´ıda essa nota. Os processos receberam avaliac¸˜ao baixa (notas 1 - N˜ao Aplic´avel e 2 - Pouco Aplic´avel) para as seguintes pr´aticas:
• Processo A:
– SP2.1 Implementar o ambiente de teste (nota 1)
– SP2.4 Realizar o teste intake (pr´e-teste) do ambiente de teste (nota 2) • Processo B:
– SP2.1 Desenvolver e priorizar os procedimentos de teste (nota 1) – SP2.1 Implementar o ambiente de teste (nota 1)
– SP2.4 Realizar o teste intake (pr´e-teste) do ambiente de teste (nota 1) • Processo C:
– SP2.4 Desenvolver cronograma de execuc¸˜ao do teste (nota 2) – SP2.1 Implementar o ambiente de teste (nota 1)
– SP2.4 Realizar o teste intake (pr´e-teste) do ambiente de teste (nota 1)
As pr´aticas Implementar o ambiente de teste (SP2.1) e Realizar o teste intake (pr´e-teste) do ambiente de teste (SP2.4) foram as menos atendidas pelos processos. Salienta-se assim a inaptid˜ao destas t´ecnicas de Gest˜ao do Conhecimento em atender as atividades de montagem e validac¸˜ao do ambiente de testes.
Dentre os trˆes processos, o melhor avaliado para a fase de Configurac¸˜ao de dados e do
3.3 An´alise Cr´ıtica 65
Execuc¸ ˜ao e avaliac¸ ˜ao do teste
Com o segundo maior grupo de pr´aticas, esta fase obteve o maior n´umero de notas m´aximas. Entretanto, devido `a quantidade de pr´aticas que a comp˜oe, as m´edias calculadas para esta fase n˜ao estiveram entre as mais altas (os valores Pouco Aplic´avel e Aplic´avel), pois os processos tamb´em receberam diversas notas baixas.
As pr´aticas nas quais os processos foram mais bem avaliados (receberam nota 4) na fase
Execuc¸˜ao e avaliac¸˜ao do teste foram:
• Processo A:
– SP3.2 Executar casos de teste
– SP4.1 Decidir sobre incidentes com o grupo de controle de configurac¸˜ao – SP4.2 Executar ac¸˜oes apropriadas para corrigir os incidentes de teste – SP5.1 Executar casos de teste n˜ao funcional
• Processo C:
– SP3.2 Executar casos de teste
– SP4.2 Executar ac¸˜oes apropriadas para corrigir os incidentes de teste – SP5.1 Executar casos de teste n˜ao funcional
Observa-se que os Processos A e C possuem, entre as mais bem atendidas, uma lista de trˆes pr´aticas em comum: Executar casos de teste (SP3.2), Executar ac¸˜oes apropriadas para corrigir os incidentes de teste (SP4.2) e Executar casos de teste n˜ao funcional (SP5.1). As trˆes pr´aticas est˜ao diretamente ligadas `a execuc¸˜ao do teste de software. J´a o Processo B n˜ao foi considerado Extremamente Aplic´avel para nenhuma das pr´aticas.
Este fato contribui para a hip´otese de que o Processo B, por armazenar informac¸˜oes mais gerenciais, atender´a melhor aos objetivos das pr´aticas cuja fase tamb´em tenham cunho gerencial como, por exemplo, a fase Planejamento. Os Processos A e C, por sua vez, tornam-se mais aplic´aveis em fases que est˜ao relacionadas `a execuc¸˜ao do teste de software como, por exemplo, as fases Projeto de casos de teste e Execuc¸˜ao e avaliac¸˜ao do teste.
Dentre as pr´aticas desta fase, aquelas cujos processos obtiveram notas baixas (notas 1 - N˜ao
Aplic´avel e 2 - Pouco Aplic´avel) foram:
– SP3.4 Escrever log de teste (nota 2)
– SP4.3 Acompanhar o status dos incidentes de teste (nota 1) – SP5.3 Escrever log de teste n˜ao funcional (nota 2)
• Processo B:
– SP3.4 Escrever log de teste (nota 1)
– SP4.2 Executar ac¸˜oes apropriadas para corrigir os incidentes de teste (nota 2) – SP4.3 Acompanhar o status dos incidentes de teste (nota 1)
– SP5.3 Escrever log de teste n˜ao funcional (nota 1) • Processo C:
– SP3.4 Escrever log de teste (nota 1)
– SP4.1 Decidir sobre incidentes com o grupo de controle de configurac¸˜ao (nota 1) – SP4.3 Acompanhar o status dos incidentes de teste (nota 1)
– SP5.3 Escrever log de teste n˜ao funcional (nota 1)
A quantidade de notas baixas recebidas nesta fase reduziu a m´edia calculada para os pro-
cessos. Os principais problemas relatados est˜ao relacionados ao registro de log de teste (seja funcional, ou n˜ao funcional), e ao status dos incidentes de teste. Para a pr´atica Acompanhar o status dos incidentes de teste (SP4.3), todos os processos receberam a avaliac¸˜ao de N˜ao
Aplic´avel.
Dentre os trˆes processos, o melhor avaliado para a fase de Execuc¸˜ao e avaliac¸˜ao do teste foi o Processo A.
Monitoramento e controle
Esta fase resultou na pior avaliac¸˜ao dos processos. De acordo com a avaliac¸˜ao realizada, nenhum processo recebeu nota 4 Extremamente Aplic´avel. As m´edias calculadas estiveram en- tre os valores N˜ao Aplic´avel e Pouco Aplic´avel, indicando que nenhuma das t´ecnicas de Gest˜ao do Conhecimento utilizadas nos processos s˜ao aplic´aveis `as atividades de Monitoramento e
controle.
Levando em considerac¸˜ao que os processos receberam notas baixas para quase a totalidade das pr´aticas desta fase, ser˜ao listadas a seguir apenas as pr´aticas nas quais os processos foram considerados Aplic´aveis (receberam nota 3):
3.3 An´alise Cr´ıtica 67
• Processo A:
– SP1.6 Conduzir revis˜oes do progresso do teste • Processo B:
– SP3.1 Analisar problemas – SP3.2 Tomar ac¸˜ao corretiva
Para todas as outras pr´aticas desta fase, os processos obtiveram notas 1 - N˜ao Aplic´avel e 2 - Pouco Aplic´avel.
Constata-se novamente para esta fase, a qual possui cunho gerencial, que o processo B se destacou, especialmente entre as pr´aticas que exigem tomada de decis˜ao.