ALLEGED VIOLATION OF ARTICLE 13 OF THE CONVENTION 218. Lastly, the applicants complained that they had had no effective

A qualidade de vocabulário controlado é importante ao sucesso de sistema de informação onde o vocabulário é usado. Defeitos em vocabulário controlado podem resultar, por exemplo, em dificuldade de leitura por ser humano ou em dificuldade na realização de inferência por máquina. Nesse contexto, defeito é uma imperfeição ou deficiência em produto onde esse produto não atende aos requisitos ou especificações e precisa ser reparado ou substituído (PMI,2013). São possíveis defeitos em vocabulários controlados: conceito não documentado, conflito entre termos, conceito órfão (conceito sem relação com outro conceito), relação hierárquica cíclica, relação associativa sem valor, omissão de conceito, falta de termos em vocabulário controlado multilíngue e cobertura incompleta do escopo (BLUMAUER, 2016). Há diversas recomendações para qualidade de vocabulários controlados em normas, guias de melhores práticas, metodologias e teorias. Por exemplo:

Aitchison, Bawden e Gilchrist (2000), Working Group on Guidelines for Multilingual Thesauri (2009), Harpring (2010), Hedden (2010), ISO (2011b), NISO (2005), Soergel

(2002) e Schulz et al.(2012).

8.4.1

Avaliação da qualidade de vocabulário controlado

Para garantir a qualidade de um produto, avaliar o produto é importante. Avaliar consiste em determinar sistematicamente o grau com o qual certo critério é atendido (IEEE,

2016). Em Neuhaus et al. (2013), é sugerida definição de avaliação de ontologia, que, nesta tese, será generalizada para outras classes de vocabulários controlados. Generalizando a definição nessa fonte, avaliação de vocabulário controlado é processo que engloba ativida- des executadas com o objetivo de coletar informação sobre propriedades de vocabulário controlado, comparar resultados com conjunto de requisitos e aferir a adequação do voca- bulário controlado ao propósito especificado. Existem várias abordagens para avaliação da qualidade de vocabulário controlado, por exemplo, as seguintes: avaliação heurística, onde especialista ou grupo de especialistas avalia o vocabulário controlado; modelagem de afinidade, onde usuários agrupam termos do vocabulário controlado, atribuem graus de similaridade a termos do vocabulário controlado e resultados são contrastados com a estrutura proposta para o vocabulário controlado; e teste de usabilidade, abordagem holística onde são usados guias e métodos geralmente originados na área denominada Inte- ração Humano-Computador (IHC). A avaliação heurística pode ser informal e qualitativa (especialistas compartilham suas reações e opiniões) ou formal e quantitativa (especialistas avaliam o vocabulário controlado segundo lista de critérios) (NISO, 2005). A avaliação de vocabulário controlado pode seguir abordagem intrínseca ou extrínseca. Na intrínseca, o objeto de análise é o vocabulário controlado. Na extrínseca, o objeto de análise é o comportamento do vocabulário controlado em processo de indexação ou de recuperação da informação. Quanto ao momento da avaliação, pode ser durante o desenvolvimento do vocabulário controlado ou durante o seu uso. Por fim, a avaliação pode enfocar a qualidade da informação ou a do produto (DUQUE-RAMOS et al.,2011;MARTÍNEZ et al., 2011;

NISO, 2005; STVILIA, 2007).

A avaliação de vocabulário controlado estruturado como taxonomia ou tesauro pode enfocar, por exemplo, aspectos estruturais, aspectos formais, validade semântica e adequação ao contexto de aplicação (BERMEJO; RUBIO; ROJO, 1989). Acerca da avaliação de ontologia, Neuhaus et al. (2013) destacam a sua importância, e sugerem que seja incorporada ao ciclo de vida da ontologia e realizada considerando-se requisitos cuidadosamente identificados. Na avaliação de ontologia, diversos métodos e perspectivas podem ser adotados (BRANK; GROBELNIK; MLADENIĆ, 2005, 2005; HLOMANI; STACEY,2014;HARTMANN et al.,2005;RAAD; CRUZ,2015). A avaliação pode enfocar ferramenta, linguagem, conteúdo, metodologia, custo, sintaxe, vocabulário, estrutura ou estatísticas de uso (LOZANO-TELLO; GÓMEZ-PÉREZ, 2004; STRASUNSKAS; TOMASSEN, 2008). Gavrilova, Gorovoy e Bolotnikova(2010) sugerem que os métodos de

avaliação de ontologias podem ser classificados considerando-se propósito, objeto de análise, meio de análise, grau de automação e estágio de aplicação. Segundo Brank, Grobelnik e Mladenić (2005), os métodos de avaliação frequentemente adotam uma das seguintes abordagens: comparação da ontologia a um padrão (golden standard), que pode ser uma ontologia; aplicação da ontologia e avaliação de resultados; comparação com fontes de dados sobre o domínio da ontologia; pessoas avaliam até que ponto a ontologia atende a critérios, padrões, requisitos etc. Em Stvilia (2007), são relacionadas as seguintes alternativas de avaliação: uso de informação sobre grafo de classes (vide exemplos em Kang et al. (2004) e Gavrilova, Gorovoy e Bolotnikova (2010)), análise de estrutura léxica ou linguística, avaliação externa por ferramentas ou usuários, e combinação dessas abordagens.

Considerando que a estrutura da ontologia pode ser complexa, Brank, Grobelnik e Mladenić (2005) sugerem que diferentes níveis da ontologia sejam enfocados, em vez da ontologia como um todo. Sugerem os seguintes níveis: léxico, vocabulário ou camada de dados; hierarquia ou taxonomia; outras relações semânticas; contexto ou nível de aplicação; nível sintático; estrutura, arquitetura, desenho (design). Segundo Brank, Grobelnik e Mladenić (2005), não existe uma abordagem de avaliação de ontologia que seja a melhor ou a preferida. A escolha da abordagem depende, por exemplo, do propósito da avaliação, do propósito da aplicação onde a ontologia é usada e do aspecto avaliado. Segundo

Neuhaus et al. (2013), falta consenso sobre como avaliar ontologias. Além disso, técnicas e ferramentas de avaliação não são amplamente usadas, o que pode resultar em ontologias de pouca qualidade. Segundo Duque-Ramos et al.(2011), a avaliação de ontologia engloba posicionamento (ranking), seleção e comparação. Segundo essa fonte, esses aspectos têm sido abordados por meios diversos, sem que nenhum deles tenha se tornado padrão e há necessidade de métodos de avaliação padronizados. Finalmente, é importante destacar que existem diversas ferramentas para a avaliação de ontologias, tais como ODEclean,

ODEval, OntoCheck, MonKi e OntOlogy Pitfall Scanner! (OOPS! ) (POVEDA-VILLALÓN; GÓMEZ-PÉREZ; SUÁREZ-FIGUEROA,2014).