Transnationalism and transnational communities

Price da ontologia Concepts e Currency da ontologia Currency. O retorno desta operação é um elemento Price da ontologia Concepts.

6.3 Planejamento do Experimento

O planejamento do experimento controlado seguiu a abordagem GQM (Goal/Question/Metric) [Basili et al., 1994]. Nesta abordagem, primeiramente são defi- nidos os objetivos ou metas (Goals) a serem alcançados com o experimento. Em uma segunda etapa, são formuladas questões (Questions) que devem ser respondidas para alcançar os objetivos traçados. Por fim, as métricas (Metrics) são estabelecidas para tornar possível mensurar as questões levantadas.

6.3.1 Objetivos

Os objetivos deste experimento controlado são:

1. Obter um indicativo da qualidade dos artefatos de códigos gerados pela ferramenta AutoWebS;

2. Comparar os tempos de desenvolvimento de serviços Web semânticos obtidos pela ferramenta AutoWebS e pela suíte de aplicativos;

3. Mensurar o esforço despendido e a dificuldade no uso da ferramenta AutoWebS e na suíte de aplicativos OWL-S Editor e Axis2;

4. Verificar se abordagem de integração de ferramentas para criação de serviços Web semânticos é mais eficiente do que a abordagem tradicional (desenvolvimento a partir de duas etapas, (i) criação do serviço Web e (ii) criação da ontologia do serviço Web).

6.3.2 Questões a serem respondidas e métricas correspondentes

Sobre a ferramenta

Q1 Qual ferramenta é mais eficiente sob o ponto de vista da criação da ontologia do serviço Web?

M1.1 Quantidade de problemas reportados durante a execução do experimento.

M1.2 Correture da ontologia do serviço Web gerada pelas ferramentas. Sobre corretude entende-se a quantidade de elementos na ontologia do serviço Web que estão errados ou inconsistentes.

Q2 Qual ferramenta gera a descrição semântica do serviço Web (ontologia do serviço Web) com a menor quantidade de erros?

6.3 Planejamento do Experimento 81

M2.1 Comparação da ontologia do serviço Web com um gabarito (ontologia previamente criada e validada para o serviço Web). Diferença entre o valor encontrado e o valor de referência (gabarito).

Sobre o grau de dificuldade, tempo e esforço despendido na criação das diferentes ontologias dos serviços Web

Q3 As ferramentas apresentaram variação expressiva quanto ao grau de dificuldade para criação das diferentes ontologias dos serviços Web? Qual ferramenta apresenta maior grau de dificuldade para criação das diferentes ontologias dos serviços Web? M3.1 Avaliação subjetiva realizada a partir de questionários.

Q4 O uso da abordagem empregada pelo AutoWebS torna a criação de serviços Web semânticos mais rápida ao se comparar com a abordagem tradicional? Qual ferra- menta proporciona a menor quantidade de tempo para criação da descrição semân- tica de um serviço Web?

M4.1 Cronometrar o tempo total para a criação dos serviços Web semânticos.

Q5 Qual das duas ferramentas necessita de um menor esforço despendido para criação da ontologia de serviços Web?

M5.1 Avaliação subjetiva.

M5.2 Quantidade de problemas reportados. Sobre o uso da ferramenta

Q6 A abordagem proposta pelo AutoWebS na utilização de UML para a modelagem de serviços Web semânticos é mais intuitiva do que a abordagem tradicional, empregada pela ferramenta OWL-S Editor?

M6.1 Avaliação subjetiva.

Q7 A abordagem MDD empregada pela ferramenta AutoWebS é satisfatória do ponto de vista do usuário?

M7.1 Avaliação subjetiva do usuário.

Q8 A integração das funcionalidades para o desenvolvimento de um serviço Web semân- tico em uma ferramenta contribui positivamente?

6.3 Planejamento do Experimento 82

6.3.3 Hipóteses

As seguintes hipóteses deverão ser verificadas com os resultados do experimento:

Alternativas

H1 A ontologia do serviço Web criada com o auxílio do plugin OWL-S do Protégé apresenta menor quantidade de elementos errados ou inconsistentes do que a ontologia do serviço Web criada com o AutoWebS.

H2 O tempo total necessário para criação de serviços Web semânticos utilizando a ferramenta AutoWebS é menor do que quando utilizado a suíte de aplicativos (Eclipse com Axis2 e plugin OWL-S do Protégé).

H3 A integração das várias funcionalidades necessárias para criação de serviços Web semânticos contribui significativamente para o seu desenvolvimento.

H4 A representação de ontologias como classes de um diagrama de classes da UML e, também, a representação da interface de um serviço Web e suas operações como um tipo interface da UML, torna sua compreensão mais fácil para usuários com conhecimento técnico não muito elevado sobre as tecnologias da Web semântica. Nulas

H10 A ontologia do serviço Web criada com o auxílio do plugin OWL-S do Protégé não contribui para um número menor de elementos errados ou inconsistentes no arquivo OWL-S.

H20 Não existe diferenças perceptíveis no tempo necessário para criação de serviços Web semânticos quando utilizado o AutoWebS.

H3₀ A integração das várias funcionalidades necessárias para criação de serviços Web semânticos não contribui significativamente para o seu desenvolvimento.

H40 O uso do perfil UML não torna a compreensão da ontologia de domínio e tão pouco da interface de um serviço Web, mais fáceis.

6.3.4 Variáveis

Variáveis Independentes

Existem duas variáveis independentes para este experimento: 1. Ferramenta 1 - AutoWebS

6.3 Planejamento do Experimento 83

Não é interesse deste experimento a investigação do efeito das diferentes complexidades dos projetos de serviços Web semânticos, nem mesmo a investigação dos níveis de conhecimentos dos usuários. Desta forma, parte-se do pressuposto que os oito projetos utilizados na condução do experimento apresentam a mesma complexidade e que os usuários possuem o mesmo nível de conhecimento das tecnologias dos serviços Web semânticos.

Variáveis Dependentes

As variáveis dependentes foram estabelecidas para mensurar as questões levan- tadas. Neste estudo foram definidas as seguintes variáveis dependentes:

1. Quantidade total de erros ou inconsistências no arquivo OWL-S 2. Tempo total para criação dos serviços Web semântico.

3. Satisfação subjetiva do usuário.

A quantidade total de erros ou inconsistências no arquivo OWL-S diz respeito à com- pletude da ontologia OWL-S criada pela ferramenta. Em alguns casos como, por exem- plo, quando se necessita de transformações XSLT, algumas ferramentas não criam esses scriptsautomaticamente. A variável satisfação subjetiva é medida através de um questio- nário aplicado após a execução do experimento.

Variáveis Controladas

Dois principais fatores podem afetar a condução do experimento. Duas variáveis controladas minimizam os efeitos destes fatores no experimento controlado.

1. Complexidade do projeto do serviço Web

2. Nível de conhecimento do participante sobre as tecnologias dos serviços Web semânticos

6.3.5 Seleção dos Participantes e Treinamento

O experimento controlado teve a participação de dois indivíduos. Os indivíduos, na época do experimento, possuíam conhecimentos básicos a respeito das tecnologias de serviços Web semânticos, conheciam as principais construções das linguagens OWL e OWL-S e dominavam a linguagem para modelagem UML. Foi oferecido um treinamento aos participantes do experimento sobre as ferramentas e linguagens utilizadas. O treina- mento teve como objetivo apresentar noções básicas a respeito de cada ferramenta e as linguagens a fim de nivelar o conhecimento dos indivíduos.