Tabela 15 – Varia¸c˜oes do algoritmo InteliGER
Classificador Treinamento Entrada Varia¸c˜ao
SVM
All VAR- SVM All VAR- VAR+ SVM All VAR+ Speaker VAR- SVM Speaker VAR-
VAR+ SVM Speaker VAR+ Profile VAR- SVM Profile VAR-
VAR+ SVM Profile VAR+
CART
All VAR- CART All VAR- VAR+ CART All VAR+ Speaker VAR- CART Speaker VAR-
VAR+ CART Speaker VAR+ Profile VAR- CART Profile VAR-
VAR+ CART Profile VAR+
5.4
Constru¸c˜ao do C´orpus
Zoom
Com o intuito de investigar a varia¸c˜ao humana em GER, construiu-se um novo c´orpus de express˜oes de referˆencia denominado Zoom. Este c´orpus foi elaborado em parceria com o Departamento de Ciˆencias da Computa¸c˜ao da Universidade de C´ordoba1
para coletar descri¸c˜oes a objetos em mapas geogr´aficos de participantes que tenham como l´ıngua nativa o portuguˆes e o espanhol.
Como motiva¸c˜ao para sua cria¸c˜ao, acredita-se que em um c´orpus composto por express˜oes de referˆencia a um ou dois objetos-alvo, geradas por um grande n´umero de participantes de l´ınguas nativas diferentes, em um dom´ınio mais realista que c´orpus ante- riores realizados em ambientes controlados, permitir´a um estudo mais aprofundado sobre a varia¸c˜ao humana na tarefa de GER. Partindo desta premissa, embora a constru¸c˜ao deste recurso n˜ao seja o objetivo principal do trabalho, coletou-se o c´orpus Zoom de ma- neira que houvesse descri¸c˜oes produzidas por indiv´ıduos distintos nos mesmos contextos, ao contr´ario de c´orpus j´a existentes em que contextos de referˆencia podem variar de um locutor para outro. A coleta e anota¸c˜ao dos dados deste c´orpus ´e explicada a seguir.
5.4.1
Coleta e Anota¸c˜ao dos Dados
Para coleta dos dados, foi elaborado um experimento online na forma de dois question´arios abertos, um para cada categoria de participante, levando em conta sua l´ıngua nativa. Nestes question´arios, s˜ao mostradas 22 imagens de mapas retirados do s´ıtio OpenStreetMap2. Nestas imagens editadas, os objetos-alvo s˜ao apontados por uma seta,
1
http://www.cs.famaf.unc.edu.ar
2
5.4 Constru¸c˜ao do C´orpus Zoom 78
conforme a figura 18. Para cada imagem, pede-se ao participante completar a frase “Seria interessante conhecer” em uma caixa de texto, onde se deve referenciar os objetos-alvo. Para o question´ario destinado aos nativos da l´ıngua portuguesa, os mapas apresentados mostram regi˜oes da cidade de Lisboa em Portugal; e para os nativos da l´ıngua espanhola, os mapas apresentados mostram regi˜oes da cidade de Madrid na Espanha. Das 22 imagens, as duas primeiras servem apenas para ambienta¸c˜ao dos participantes ao experimento e n˜ao s˜ao inclu´ıdas nos dados coletados.
Os question´arios foram disponibilizados atrav´es de um website3 criado pelos cola-
boradores da Universidade de C´ordoba. Pelo fato de ser um experimento online, a tarefa ´e conduzida de maneira n˜ao-supervisionada e em regime volunt´ario.
Figura 18 – Exemplo de cena mostrada ao participante no experimento do c´orpus Zoom
Estabeleceu-se como meta a coleta de express˜oes de referˆencia de 100 participan- tes para cada uma das l´ınguas que o experimento abrange. A coleta das descri¸c˜oes dos participantes nativos da l´ıngua portuguesa foi finalizada em Setembro de 2013. Posterior- mente, as 2000 express˜oes de referˆencia resultantes foram anotadas por dois colaborado- res independentes segundo um esquema previamente estabelecido pelos idealizadores do c´orpus.
3
5.4 Constru¸c˜ao do C´orpus Zoom 79
Neste esquema, cada express˜ao de referˆencia ´e composta de uma descri¸c˜ao para cada objeto-alvo e para cada um dos quatro pontos de referˆencia que podem ser descritos para cada objeto-alvo. Os objetos-alvo podem ser representados por 11 atributos, sendo 4 n˜ao-relacionais e 9 relacionais. Quanto aos pontos de referˆencia, esses somente podem ser representados pelos 4 atributos atˆomicos. Assim, a anota¸c˜ao de uma express˜ao completa pode envolver at´e 54 atributos. Os atributos e seus valores poss´ıveis para a cena do experimento representada na figura 18 s˜ao ilustrados no Apˆendice A.
Ap´os o fim da anota¸c˜ao, o respons´avel por este projeto assumiu o papel de ju´ız e realizou a an´alise de concordˆancia entre os trabalhos dos dois anotadores para a produ¸c˜ao da vers˜ao final do c´orpus em portuguˆes. Segundo o ´ındice Kappa (COHEN, 1960), a
concordˆancia entre os anotadores foi de 84% em n´ıvel de atributo. Nesta an´alise de con- cordˆancia entre os anotadores, todas as descri¸c˜oes de 4 participantes, juntamente com mais 106 express˜oes de referˆencia de diversos outros, foram descartadas por n˜ao convergi- rem com o objetivo do experimento. Sendo assim, o c´orpus Zoom na vers˜ao em portuguˆes conta com 1814 express˜oes de referˆencia de 96 participantes. Al´em da anota¸c˜ao das ex- press˜oes de referˆencia, as 22 imagens do s´ıtio OpenStreetMap, utilizadas no experimento, tamb´em foram anotadas para uso como entrada a algoritmos de GER. A por¸c˜ao em es- panhol do c´orpus ainda encontra-se em fase de anota¸c˜ao pela equipe de colaboradores no exterior e n˜ao foi aproveitada no presente trabalho. A por¸c˜ao em portuguˆes aqui considerada ´e denominada Zoom-Pt.
80
Cap´ıtulo 6
Avalia¸c˜ao
Neste cap´ıtulo ´e apresentada a avalia¸c˜ao intr´ınseca dos modelos computacionais de GER implementados na presente pesquisa. Na Se¸c˜ao 6.1, os c´orpus de express˜oes de referˆencia utilizados como conjunto de dados s˜ao apresentados; na Se¸c˜ao 6.2, apresenta-se os modelos computacionais de GER avaliados; na Se¸c˜ao 6.3, est˜ao as hip´oteses do estudo; na Se¸c˜ao 6.4, o procedimento adotado para condu¸c˜ao dos diferentes experimentos feitos est´a detalhado; na Se¸c˜ao 6.5, os resultados obtidos s˜ao apresentados; e na Se¸c˜ao 6.6, apresenta-se a discuss˜ao sobre esses.