Definic¸ ˜ao do Experimento
Objeto de Estudo: Linguagem de padr˜oes GRN.
Prop´osito: Avaliar a utilizac¸˜ao da GRN na modelagem de sistemas de gest˜ao de recursos de
neg´ocios.
Foco qualitativo: Facilidade de modelagem do sistema.
Perspectiva: A perspectiva ´e em relac¸˜ao a desenvolvedores de sistemas no dom´ınio da GRN. Contexto: o experimento foi realizado em novembro de 2001 por vinte estudantes como sujei-
tos, divididos em grupos, tendo como material b´asico a linguagem de padr˜oes GRN, um processo de uso da mesma e treinamento pr´evio de cerca de trˆes horas/aula. O tempo redu- zido foi devido `as circunstˆancias nas quais o experimento foi realizado: dispunha-se apenas de um s´abado, no qual poderiam ser utilizados os per´ıodos da manh˜a e da tarde no expe- rimento. Participaram do experimento alunos do curso de especializac¸˜ao “Tecnologia da Informac¸˜ao”, ministrado pela UNESP-Campus de Presidente Prudente, em parceria com o SENAC-Presidente Prudente, SP. ´E importante salientar que os alunos j´a atuavam como pro- fissionais de inform´atica, conforme pode ser visto nas tabelas com o perfil dos participantes.
Planejamento do Experimento
6.3 Avaliac¸˜ao da utilidade de linguagens de padr˜oes na modelagem de sistemas 137
Definic¸˜ao da Hip´otese: idem ao E-GRN-1. Selec¸˜ao das vari´aveis:
Vari´aveis Independentes: idem ao E-GRN-1. Vari´aveis Dependentes: idem ao E-GRN-1.
Selec¸˜ao dos sujeitos: idem ao E-GRN-1, mas com vinte alunos de curso de especializac¸˜ao, divi-
didos em seis grupos de trˆes ou quatro alunos cada.
Projeto do Experimento: A Tabela 6.13 mostra a divis˜ao dos grupos e sistemas nas duas etapas
do experimento.
Tabela 6.13: Projeto do E-GRN-3
Grupo Etapa 1: Modelagem com a UML Etapa 2: Modelagem com a GRN
1 Hotel Locadora de Carros 2 Locadora de Carros Hotel 3 Hotel Locadora de Carros 4 Locadora de Carros Hotel 5 Hotel Locadora de Carros 6 Locadora de Carros Hotel
Instrumentac¸˜ao: idem ao E-GRN-1. Avaliac¸˜ao da Validade: idem ao E-GRN-1.
Operac¸ ˜ao do Experimento Preparac¸˜ao: idem ao E-GRN-1.
Participantes: Participaram do experimento vinte alunos de especializac¸˜ao divididos em seis gru-
pos mas, devido `a desistˆencia de alguns grupos (G3 e G4) na entrega da segunda parte do projeto, restaram treze alunos, cujo perfil ´e resumido nas Tabelas 6.14, 6.15 e 6.16.
Tabela 6.14: ´Area de interesse dos alunos do E-GRN-3
´
Area de Interesse N ´umero de alunos Percentual
Redes/Sist Distribu´ıdos 2 15% Banco de Dados 2 15% Banco de Dados/Engenharia de Software 1 8% Inteligˆencia artificial 2 15% Engenharia Soft/Sist. Inform. 6 46% Computac¸˜ao gr´afica 0 0%
Hiperm´ıdia 0 0%
Hardware 0 0%
6.3 Avaliac¸˜ao da utilidade de linguagens de padr˜oes na modelagem de sistemas 138
Tabela 6.15: Experiˆencia dos alunos do E-GRN-3
Experiˆencia no dom´ınio tratado N ´umero de alunos Percentual
Sem experiˆencia 1 8%
Realizou projetos durante disciplinas de graduac¸˜ao/p´os graduac¸˜ao usando an´alise estruturada
1 8%
Realizou projetos durante disciplinas de graduac¸˜ao/p´os graduac¸˜ao usando an´alise orientada a objetos
6 46%
Desenvolveu, profissionalmente, at´e 3 projetos nesse dom´ınio 3 23% Desenvolveu, profissionalmente, mais de 4 projetos nesse dom´ınio 2 15%
Total de alunos que respondeu 13 100%
Tabela 6.16: Cargos desempenhados pelos alunos do E-GRN-3
Cargo G1 G2 G5 G6 Total % Administrador de rede 1 1 8% Analista de sistemas 1 1 2 15% Professor 2 1 3 6 46% Programador 2 2 15% Encarregado administrativo 1 1 8% Assistente de diretoria 1 1 8% Total 4 3 3 3 13 100%
Execuc¸˜ao: similar ao E-GRN-1, exceto quanto `a organizac¸˜ao dos alunos, que trabalharam em
grupos de trˆes a quatro pessoas, e quanto ao prazo de entrega dos modelos obtidos. Neste experimento, a primeira etapa foi feita no per´ıodo da manh˜a, sendo subdividida em duas partes: treinamento de uma hora a respeito da UML e reuni˜ao dos grupos para modelagem do sistema. Ainda antes do almoc¸o o modelo resultante foi entregue. O treinamento para a segunda etapa foi executado no mesmo dia, no per´ıodo da tarde, e a segunda tarefa foi atribu´ıda aos alunos para que entregassem no prazo de duas semanas.
Validac¸˜ao dos Dados: Dois grupos n˜ao entregaram a segunda parte do projeto, que consistia da
modelagem usando a GRN. Portanto, esses grupos foram descartados e dos vinte alunos que iniciaram o projeto, restaram treze alunos com resultados a serem avaliados. Os for- mul´arios distribu´ıdos aos demais participantes foram conferidos para verificar se foram pre- enchidos corretamente. Algumas perguntas foram feitas para assegurar que seguiram as recomendac¸˜oes sugeridas.
An ´alise e Interpretac¸ ˜ao dos Resultados
A Tabela 6.17 mostra os resultados obtidos na primeira etapa do E-GRN-3 (an´alise do sistema usando um processo ad hoc e a notac¸˜ao UML), enquanto a Tabela 6.18 mostra os resultados ob-
tidos na segunda etapa do E-GRN-3 (an´alise do sistema usando a GRN). A observac¸˜ao direta dos resultados indica um maior tempo m´edio de modelagem na abordagem GRN e um menor n´umero m´edio de erros cometidos. A an´alise estat´ıstica n˜ao foi feita devido ao pequeno n´umero de con- juntos de dados neste experimento.
6.3 Avaliac¸˜ao da utilidade de linguagens de padr˜oes na modelagem de sistemas 139
Tabela 6.17: Resultados do E-GRN-3 – Abordagem Ad hoc
Grupo Pessoas/hora #ent #atr #met #rel #car Total de erros Nota
Sistema Hotel
1 7,00 1,00 21,00 11,00 3,00 4,00 40 6,00 5 6,00 1,00 13,00 15,00 6,00 16,00 51 4,75
M´edia 6,50 1,00 17,00 13,00 4,50 10,00 45,5 5,38
Sistema Locadora de Carros
2 5,70 1,00 4,00 2,00 2,00 7,00 16 8,50 6 8,00 1,00 17,00 11,00 5,00 8,00 42 5,75
M´edia 6,85 1,00 10,50 6,50 3,50 7,50 29 7,13
M´edia Geral 6,68 1,00 13,75 9,75 4,00 8,75 37,25 6,25
Tabela 6.18: Resultados do E-GRN-3 – Abordagem GRN
Grupo Pessoas/hora #ent #atr #met #rel #car Total de erros Nota
Sistema Locadora de Carros
1 8,00 1,00 8,00 9,00 3,00 5,00 26 7,50 5 6,00 2,00 9,00 3,00 4,00 8,00 26 7,75 M´edia 7,00 1,50 8,50 6,00 3,50 6,50 26 7,63 Sistema Hotel 2 8,40 1,00 17,00 0,00 2,00 3,00 23 8,25 6 10,50 9,00 28,00 6,00 10,00 9,00 62 3,50 M´edia 9,45 5,00 22,50 3,00 6,00 6,00 42,5 5,88 M´edia Geral 8,23 3,25 15,50 4,50 4,75 6,25 34,25 6,75 Discuss ˜ao
Em relac¸˜ao ao E-GRN-1 e E-GRN-2, o E-GRN-3 foi o experimento no qual o uso da GRN apre- sentou maior dificuldade e menor vantagem. O tempo gasto na modelagem foi semelhante para os trˆes experimentos, levando em conta o n´umero de participantes (os grupos do E-GRN-1 e E-GRN- 3 possu´ıam de trˆes a quatro alunos e o E-GRN-2 foi feito individualmente), pois o valor mostrado na tabela deve ser dividido pelo n´umero de pessoas que executou a modelagem. Por´em, o n´umero de erros cometidos pelos alunos foi visivelmente maior no E-GRN-3. Novamente, como explicado na avaliac¸˜ao do E-GRN-2, pode-se justificar essa dificuldade dos alunos pelo pouco tempo dedi- cado ao treinamento, que foi de cerca de trˆes horas, em comparac¸˜ao ao tempo de treinamento do E-GRN-1, que havia sido de treze horas. Embora esse fato indique a necessidade do correto en- tendimento da GRN para que se obtenha ˆexito na sua aplicac¸˜ao, foram feitos outros usos da GRN sem treinamento pr´evio, visando obter mais evidˆencias que confirmem essa necessidade.
Outro ponto que pode ser discutido em relac¸˜ao aos trˆes experimentos ´e sobre a utilidade da GRN ser influenciada pela experiˆencia de seus usu´arios. Parece haver uma tendˆencia de que ela seja mais ´util para desenvolvedores inexperientes do que para os que j´a tˆem alguma pr´atica na modelagem e desenvolvimento de sistemas. Isso pode ser justificado pelo fato do desenvolvedor experiente j´a possuir em mente os padr˜oes com que trabalhou em projetos anteriores, mesmo que n˜ao tenha consciˆencia disso, ou seja, os padr˜oes s˜ao estruturas que ele aprendeu intuitivamente a usar ao longo dos anos e fazem parte de sua experiˆencia pessoal. Assim, ele prefere fazer a mo- delagem diretamente do que usando padr˜oes aos quais n˜ao est´a habituado, precisando de tempo e treinamento para se adaptar aos novos padr˜oes. Um resultado que ajuda a confirmar essa hip´otese
6.3 Avaliac¸˜ao da utilidade de linguagens de padr˜oes na modelagem de sistemas 140 ´e o fato de ter aumentado o n´umero de entidades erradas na modelagem com a GRN, tanto no E-GRN-2 quanto no E-GRN-3, que tinham participantes com mais experiˆencia. A an´alise dos mo- delos produzidos indica que esses erros ocorreram porque os alunos incluiram entidades que n˜ao faziam parte dos requisitos, por estarem presentes nos padr˜oes, ou deixaram de incluir entidades por n˜ao terem aplicado o padr˜ao correto.