3. Evaluering av IA-avtalen
3.6 Oppsummering og kommentarer
Adequando a proposta do modelo genérico ao atual sistema Currículo Lattes, modificações seriam necessárias tanto na apresentação das telas do sistema quanto nos algoritmos que tratam as consultas às informações.
Primeiramente, se o foco está voltado para o Currículo Lattes de consulta ao domínio público, seria necessário exigir uma autenticação no sistema antes da realização de consultas, permitindo assim capturar
66 Espera-se que profissionais que tenham atuado por mais tempo em determinada área possuam melhor
conhecimento acerca deste campo.
67
Até mesmo variáveis qualitativas podem ser acrescentadas, como o “nível do curso de pós-graduação onde é docente”. O administrador do sistema de recomendação deve fazer um estudo minucioso do que é ou não importante da necessidade de informação de seus usuários.
informações implícitas e explícitas da interação do usuário com o sistema. Sem isso, dados das consultas anônimas não seriam confiáveis para gerar recomendações para os grupos.
Tomando como premissa que o usuário já se identificou para o sistema, os ganhos que as recomendações trariam para o Currículo Lattes seriam: (a) Ordenação do resultado das consultas por Ranking de Recomendação, (b) identificação e apresentação de perfis semelhantes, (c) feedback dos usuários quanto aos perfis de pesquisadores semelhantes a ele.
O item (a) facilitaria identificar os pesquisadores com maior relevância de opinião. Ajudaria, por exemplo, na seleção da composição de bancas para avaliação de projetos do CNPq, uma das carências do uso interno do sistema. Essa vantagem — a ordenação por perfis segundo a relevância de opinião — se mostra extremamente interessante do ponto de vista técnico.
No dia-a-dia o CNPq utiliza outros critérios, tais como áreas de atuação, projetos realizados, dentre outros, e critérios excludentes, como não ter sido orientador ou professor, não participar da equipe do projeto, não pertencer à mesma instituição, não ter participado de projeto conjunto ou de redação de artigo em conjunto. Como o número de variáveis é maior, mais difícil é estabelecer pesos para elas. O melhor é permitir que o usuário selecione as variáveis e seus pesos para o cálculo do Ranking de Recomendação.
Figura 41 - Busca pelo assunto "inteligência artificial"
Fonte: elaboração própria, a partir de consulta ao Currículo Lattes
A Figura 41 apresenta os resultados de uma consulta ao sistema pelo assunto “inteligência artificial”. O critério para ordenação dos resultados não é claro, portanto não é possível que atenda a necessidade do usuário.
Realizando nova consulta, cerca de um minuto depois, para verificar se a apresentação dos resultados era ou não randômica, foi interessante constatar que diminuíram dois currículos do número de perfis68:
68
Uma terceira consulta foi realizada e o número caiu para 3124. Talvez o sistema estivesse passando por uma manutenção, ou então há muitos usuários com interesse em inteligência artificial deletando seus perfis ou desistindo dessa área de interesse.
Figura 42 - Redução do resultado na mesma consulta por assunto
Fonte: elaboração própria, a partir de consulta ao Currículo Lattes
A única interação que o sistema permite após a apresentação dos resultados está no link “Opções de visualização”, que é um filtro para selecionar os campos a serem mostrados, e/ou apresentação de período mais recente de produção científica, como mostrado na Figura 43.
Figura 43 - Opções de visualização
Fonte: elaboração própria, a partir de consulta ao Currículo Lattes
Para confirmar que o sistema não permitia filtrar os resultados por período da produção, foi alterado o campo “A partir do ano” para 2003, e depois clicado em nova consulta. Confirmou-se que “Opções de visualização” é apenas um filtro sobre o que será mostrado após clicar em algum dos currículos apresentados. O mais curioso é que o resultado caiu para 3122, sendo que um dos primeiros perfis da lista de resultados não mais aparecia.
Figura 44 - Mudança nos resultados da busca por assunto
Fonte: elaboração própria, a partir de consulta ao Currículo Lattes
Na consulta pelo perfil desaparecido, verificou-se que ainda consta “inteligência artificial” como palavra-chave, porém o perfil sofrera atualização no mesmo dia da consulta. O sistema Currículo Lattes altera a ordenação baseando-se na data de atualização? Essa dúvida não poderá ser sanada neste momento, ficando registrada para futura investigação.
Declarado como as recomendações auxiliariam o Currículo Lattes na ordenação dos resultados, o item (b) mostra como a prática da abordagem Cross-Sell facilitaria encontrar especialistas semelhantes. Foi feita uma busca por usuários interessados em recuperação da informação. Os resultados estão apresentados na Figura 45.
Figura 45 - Resultados da consulta por "recuperação da informação"
Fonte: elaboração própria, a partir de consulta ao Currículo Lattes
Selecionou-se o primeiro currículo da lista para trabalhar a tela de forma a apresentar a utilização da abordagem Cross-Sell. Abaixo segue a tela original (Figura 46):
Figura 46 - Primeiro currículo da consulta por "recuperação da informação"
Fonte: elaboração própria, a partir de consulta ao Currículo Lattes
Interessante observar que o Currículo Lattes está em constante evolução. No início deste projeto as consultas não mostravam fotos dos usuários, tampouco recomendava os links ao lado, onde mostra o pesquisador no diretório de grupos de pesquisa e o link para a universidade a qual o pesquisador está vinculado. A estratégia utilizada na criação desses links foi a abordagem baseada no conteúdo.
Com o uso da abordagem Cross-Sell, o sistema poderia apresentar o currículo da forma mostrada na Figura 47.
Figura 47 - Uso da abordagem Cross-Sell no Curriculo Lattes
Fonte: elaboração própria, adaptado de consulta ao Currículo Lattes
Para identificar perfis semelhantes poderiam ser trabalhadas variáveis, como o argumento da busca — neste caso, “recuperação da informação” —, índices semelhantes de RRárea e a filtragem de campos que justifiquem a indicação de um usuário semelhante — campos estes que poderiam ser elaborados pelo administrador do sistema, mas que permitissem modificações pelo usuário69, garantindo a satisfação de sua necessidade de informação.
O terceiro item — item (c), feedback dos usuários quanto aos perfis de pesquisadores semelhantes a ele — se trata de uma coleta explícita da interação do usuário com o sistema. No sistema implementado por este
69
projeto, o 2coracoes, utilizamos uma interface com os símbolos de positivo e negativo para que o usuário informasse se o perfil retornado em um resultado de busca era ou não de seu interesse, nos moldes de “gostei” ou “não gostei”. De forma semelhante, aplicando esta funcionalidade na avaliação de currículos no sistema Currículo Lattes, poderíamos utilizar os mesmos símbolos nos moldes de “tem relação com minha área de atuação” ou “não tem relação com minha área de atuação”.
Explicando melhor a situação descrita no parágrafo anterior, o sistema disponibilizaria uma funcionalidade que permitiria a interação do usuário na avaliação de currículos que podem estar relacionados à sua área de atuação. Esta funcionalidade não seria mostrada em todos os currículos visualizados, somente naqueles que o sistema identificasse como currículos semelhantes ao do usuário. Na prática essa variável não poderia ser tratada como quantitativa, seria uma variável qualitativa que ajudaria o sistema a identificar grupos específicos dentro das áreas de interesse identificadas automaticamente, melhorando cada vez mais o sistema na geração de recomendações mais precisas.
Figura 48 - Funcionalidade para avaliação de currículos semelhantes
Fonte: elaboração própria, adaptado de consulta ao Currículo Lattes
Além da forma ilustrada na Figura 48, poderia ser acrescentada na tela inicial do sistema uma aba “avaliar perfis semelhantes”, um convite para os usuários auxiliarem o sistema indicando se os currículos apresentados estão ou não relacionados à sua área de atuação. A cada modificação em um dos currículos avaliados, seria necessária nova avaliação. Na Figura 49 segue a tela inicial do sistema, onde poderia ser acrescentada a aba sugerida.
Figura 49 - Tela inicial após autenticação no Currículo Lattes (parte superior)
Fonte: elaboração própria, a partir de consulta ao Currículo Lattes