Sejersted om historiefaget

Neste ponto, pretendemos avaliar o resultado das várias tarefas descritas na secção anterior, que contribuíram para a construção da biblioteca digital. Vamos fazê-lo em duas partes, uma sobre a interface Web da biblioteca digital e outra sobre os aspectos organizacionais. Os resultados foram registados em duas tabelas (Anexos 2 e 3), precedidas da respectiva discussão e fundamentação.

3.1 Avaliação da interface do utilizador ou sítio Web

O resultado visível do projecto é um sítio Web temático, especializado em azulejaria e cerâmica portuguesas, que dispõe de funcionalidades específicas para apresentar a informação. Portanto, é por aí que vamos começar: avaliação da interface Web com o URL http://digitile.gulbenkian.pt.

A aplicação – Contentdm - que lhe dá suporte foi desenvolvida especificamente para a publicação de conteúdos estruturados e tem implementado, à partida, o esquema de metadados Dublin Core qualificado, também referido como

Dublin Core Terms. Não se trata, pois, de avaliar este produto, já que essa avaliação foi

feita quando se tratou da sua aquisição para o projecto, embora alguns aspectos possam ser apontados.

Como se pode verificar pela descrição apresentada no capítulo anterior, foi necessário adequar a aplicação aos objectivos e às especificidades do projecto, o que implicou as várias tarefas. Não se tratou apenas de personalizar a aparência da interface ou de parametrizar as funcionalidades de pesquisa. Foi necessário representar a estrutura das colecções e definir como utilizar os metadados disponíveis para descrever os conteúdos. Portanto, o que queremos avaliar é se o trabalho de adaptação desenvolvido deu os resultados esperados ou se há melhorias a fazer.

É necessário definir que tipo de avaliação pretendemos e com que profundidade. No âmbito deste trabalho não foi possível uma avaliação muito aprofundada, por diversas razões. O esforço maior foi concentrado na execução das tarefas e, posteriormente, na sua descrição e fundamentação em literatura de referência. Uma avaliação do sítio Web baseada na experiência dos utilizadores seria interessante mas pouco realista para o tempo disponível. Criar um focus group ou lançar um inquérito para recolher informações sobre a usabilidade ou a performance daria mais

89 informação sobre a própria aplicação Contentdm do que sobre o nosso trabalho. Além disso, inquirir sobre um projecto com tão recente seria precoce para retirar conclusões relevantes.

A avaliação deve ser genérica e qualitativa, pois interessa antes de mais verificar se as tarefas desenvolvidas produziram os resultados desejados na interface. Dito isto, resta eleger o método a utilizar para fazer a avaliação dos resultados.

A literatura consultada confirmou a importância da avaliação em sistemas complexos como o das bibliotecas digitais. Esse esforço é visível em alguns projectos de âmbito mais amplo, e não apenas para conteúdos digitais, como o da Libqual+81, nos Estados Unidos. A mesma determinação encontra-se nas inúmeras recomendações e

standards de boas práticas na publicação de conteúdos digitais, um pouco por todo o

mundo (os ISO da classe 9000, as recomendações NISO, por ex.). Na Europa, a preocupação em promover a construção de bibliotecas digitais com qualidade começou relativamente cedo com a criação de projectos específicos para esta matéria.

O projecto “Delos Network Excellence on Digital Libraries”82 _{foi criado em}

2002 e, em 2004, com o apoio da Comissão Europeia. O grupo de trabalho propôs um modelo de avaliação composto por três componentes: o sistema informático, o conteúdo e o utilizador. Da relação entre eles é possível fazer uma avaliação em três eixos: performance, usabilidade e utilidade.

Fig. 42: Modelo Delos para avaliação de bibliotecas digitais

81 _{GREEN, David ; KYRILLIDOU, Martha – Procedures manual : Libqual+ [Em linha]. Washington :}

Association of Research Libraries, 2011. [Consult. 31 Jul. 2016]. Disponível em WWW:<URL: http://www.libqual.org/documents/LibQual/publications/2011_ProceduresManual.pdf>.

82 _{FUHR, Norbert ; TSAKONAS, Giannis ; AALBERG, Trond, et al. – “Evaluation of digital libraries”.}

In International Journal on Digital Libraries [Em linha]. ISSN 1432-5012. 8: 1(2007), 21-38. [Consult. 31 Jul. 2016]. Disponível em WWW: <http://link.springer.com/article/10.1007/s00799-007- 0011-z>. DOI:10.1007/s00799-007-0011-z.

90 Este é o modelo que utilizámos para fazer uma avaliação à interface Web do projecto “Bilbioteca DigiTile – azulejaria e cerâmica on line”. Porém, tornou-se necessário criar uma tabela adequada ao nível genérico que pretendemos para a avaliação e limitarmo-nos à atribuição de uma avaliação qualitativa83.

Os eixos de avaliação do modelo DELOS (performance, usabilidade e utilidade) constituem uma estrutura simplificada, mas eficaz84. Seria possível considerar outras perspectivas na avaliação de uma biblioteca digital, que pode e deve ser vista como um sistema muito mais completo do que a sua aparência de sítio Web85. O projecto DELOS ainda mantém disponíveis os resultados da sua investigação. Um deles, muito interessante, é uma lista para verificar a conformidade das bibliotecas digitais com as boas práticas - DELOS Conformance Check List86. O seu propósito é uma verificação exaustiva e pelo que não foi adoptada com esse pormenor, nesta avaliação. Uma tabela simplificada, baseada nos três eixos, construída em função deste projecto, responde ao que pretendemos.

A partir de uma lista com espaço para observações, são descritas as funcionalidades ou os aspectos relevantes da interface. A cada um é atribuída uma classificação qualitativa: Bom, Razoável, Menos bom. A partir desta avaliação é possível evidenciar os aspectos positivos da biblioteca digital e identificar aqueles em que é necessário melhorar (Tabela 5).

83_{Avaliação da interface Web da biblioteca digital. Tabela de avaliação. Ver anexo 2.}

84 _{TSAKONAS, Giannis ; PAPATHEODOROU, Christos – “Exploring usefulness and usability in the}

evaluation of open access digital libraries”. In Information Processing & Management. 44: 3(May, 2008) 1234–1250. DOI: http://dx.doi.org/10.1016/j.ipm.2007.07.008

85 _{GONCALVES, M.A. ; FOX, E. ; KIPP, N. et. al. – “Streams, structures, spaces, scenarios, societies}

(5S): a formal model for digital libraries”. ACM Transactions on Information Systems,22, 270–312 (2004).

86 _{DL.ORG - Digital library interoperability, best practices and modelling foundations [Em linha].}

Commissão Europeia - Framework Programme 7 (FP7) ICT Programme. Sítio Web do projecto. [Consult. 31 Jul. 2016]. Disponível em WWW:<URL: http://www.dlorg.eu/index.php/outcomes>.

91 Tabela 5: Avaliação da interface Web da biblioteca digital. (Ver anexo 2)