2. Erfaringene
2.2. De pedagogiske lederne
Comparando com os resultados anteriores para o mesmo problema temos: Algoritmo A de Nunes (2007)
Repetindo a execu¸c˜ao deste algoritmo para as mesmas condi¸c˜oes de avalia¸c˜ao das experiˆencias atr´as descritas e levando em considera¸c˜ao todas as instˆancias, amb´ıguas e n˜ao amb´ıguas, obtemos uma precis˜ao de 94.31% e uma abrangˆencia de 83.58%, o que resulta numa medida-f de 88.62%. Considerando os algoritmos base compar´aveis a este, encontramos como resultados de medida-f: 88.31% para o Naive Bayes, e de 88.49% para o SVM com contexto de t´opicos; 76.29% para o Naive Bayes e 88.39% para SVM com contexto local; e 87.98% para o Naive Bayes e 88.47% para o SVM usando ambas as modela¸c˜oes de contexto em conjunto.
Como se pode ver, os valores s˜ao todos inferiores, ainda que bastante pr´oximos, `a excep¸c˜ao do Naive Bayes usando contexto local, que fica bastante abaixo. Assim, n˜ao consideramos para j´a que haja grandes melhorias ou vantagens em usar um dos novos algoritmos testados neste trabalho em vez dos algoritmos baseados na heur´ıstica de m´axima verosimilhan¸ca.
Na repeti¸c˜ao de experiˆencia com o algoritmo A que realiz´amos, os tra¸cos foram tidos em conta juntamente com a etiqueta morfossint´actica, tal como tem sido feito para as outras experiˆencias neste trabalho.
Algortimo B de Nunes (2007)
Repetindo a execu¸c˜ao deste algoritmo nas mesmas condi¸c˜oes de avalia¸c˜ao das experiˆencias descritas nas sec¸c˜oes anteriores e levando em considera¸c˜ao todas as instˆancias, amb´ıguas e n˜ao amb´ıguas, obtemos uma medida-f de 94.30%. Para efeitos de contraste com os novos algoritmos equipar´aveis agora testados, usamos as vers˜oes melhores para cada modela¸c˜ao de contexto, com as melhores marcas para a abrangˆencia, isto ´e as vers˜oes de algoritmo + aglomerados + lematizador. Assim, temos uma medida-f de 94.07% para o Naive Bayes e 94.23% para o SVM usando contexto de t´opicos; 82.07% para o Naive Bayes e 94.12% para o SVM usando con- texto local, e finalmente 93.74% para o Naive Bayes e 94.21% para o SVM usando ambas as modela¸c˜oes de contexto em conjunto.
O algoritmo baseado em m´axima verosimilhan¸ca continua portanto a ser com- parativamente o algoritmo com melhor desempenho.
O algoritmo C de Nunes (2007) para al´em de ter tido piores resultados nas condi¸c˜oes de avalia¸c˜ao de Nunes (2007), como j´a foi referido na sec¸c˜ao 3.3, n˜ao ´e adequado a realizar a totalidade do problema em quest˜ao, como tal n˜ao o iremos repetir.
De notar que sendo os valores de precis˜ao acima bastante elevados, isto pode levar a achar que se est´a perto de um limite para esta tarefa. Por´em, se retirarmos os verbos n˜ao amb´ıguos no corpus, temos apenas uma precis˜ao de 85.81% para o Algoritmo A e 86.36% para o Algoritmo B. O que deixa ainda uma boa margem a melhorar.
Cap´ıtulo 4. Desambigua¸c˜ao de flex˜ao verbal: uma abordagem DAP 71
Bayes, a utiliza¸c˜ao de aglomerados conjuntamente com o lematizador ´e melhor que usar simplesmente a heur´ıstica do Algoritmo B para as formas que n˜ao ocorrem no treino, ou seja de complementar o trabalho dos classificadores, expandindo a sua abrangˆencia apenas `a custa do trabalho do lematizador. Neste aspecto, encontramos aqui um passo em frente relativamente ao que foi obtido por Nunes (2007), o que levou `a cria¸c˜ao do algoritmo A+A+L que supera todos os outros, com uma medida-f de 86.50%, com apenas instˆancias amb´ıguas, e 94.36%, com todas as instˆancias.
Compara¸c˜ao com trabalhos que inspiraram esta abordagem:
Para a tarefa DAP em geral, tanto (Escudero et al., 2000) como Agirre e Ed- monds (2006), apresentam classificadores cujo desempenho ultrapassa os valores base respectivos. Em (Escudero et al., 2000) o valor base 48.7% ´e ultrapassado pe- los 64.8% com o Naive Bayes, e pelos 68.8% com o Exemplar-Based approach (EB), sendo que o Naive Bayes obt´em melhores resultados apenas com contexto local e o EB com o conjunto das duas modela¸c˜oes do contexto, embora a diferen¸ca seja pouca.
Em (Agirre e Edmonds, 2006), e s´o para a DAP dos verbos, o valor base ´e de 46.49%, que ´e ultrapassado pelos 60.18% com o Naive Bayes, e pelos 67.54% com o SVM, usando uma modela¸c˜ao de contexto local combinado com contexto de t´opicos. H´a que ter em conta que, em rela¸c˜ao aos trabalhos de DAP apresentados em cima, a natureza do problema, como j´a foi referido, ´e diferente e uma compara¸c˜ao directa pode n˜ao ser adequada. Para al´em disso, o corpus que se usa tamb´em ´e diferente. Posto isto, o nosso valor base de 85.81% de precis˜ao usando o algoritmo A sobre apenas instˆancias amb´ıguas, ´e significativamente mais elevado que os valores base dos respectivos trabalhos de DAP mencionados e o melhor m´etodo usado neste trabalho, SVM com contexto de t´opicos,26
com 85.45%, apesar de n˜ao passar este valor base, est´a acima dos valores alcan¸cados nos trabalhos de DAP mencionados.
26
De forma a ser compar´avel, s´o se tˆem em conta os algoritmos simples, pois nos trabalhos de DAP n˜ao h´a processamento para tratar de formas que n˜ao ocorrem no treino
Cap´ıtulo 5
Conclus˜ao e trabalho futuro
Numa tentativa de se procurar um classificador que conseguisse melhores resultados para a desambigua¸c˜ao da flex˜ao verbal em contexto que o valor base, dado pelo algoritmo de atribui¸c˜ao da flex˜ao mais frequente,1
foram feitas v´arias experiˆencias explorando abordagens que s˜ao comumente adoptadas na literatura para a tarefa de desambigua¸c˜ao da acep¸c˜ao da palavra em geral, abordagens baseadas no classificador Naive Bayes e no classificador SVM.
De igual forma usaram-se duas modela¸c˜oes de contexto que tamb´em s˜ao comuns, contexto de t´opicos e contexto local, e foram ainda feitas algumas experiˆencias com varia¸c˜oes dessas modela¸c˜oes.
Usando o contexto de t´opicos obtiveram-se resultados bastante pr´oximos do valor base, mas ainda assim abaixo do mesmo. Com o contexto local os resultados obtidos s˜ao piores que com o contexto de t´opicos. Quando se juntam as duas modela¸c˜oes de contexto, os resultados encontram-se abaixo da modela¸c˜ao com contexto de t´opicos, e acima da modela¸c˜ao com contexto local.
O classificador SVM fica sempre `a frente do classificador Naive Bayes.
No que diz respeito ao alargamento de abrangˆencia e na tentativa de classificar instˆancias fora dos dados de treino, verificamos que o uso daquilo que design´amos por aglomerados de potencial de flex˜ao em conjun¸c˜ao com o lematizador supera o simples uso do lematizador.
Em nenhum caso se conseguiu por´em melhores resultados do que os resultados dados pelo algoritmo que definia o valor base, o algoritmo de m´axima verosimilhan¸ca. Avan¸cou-se com uma poss´ıvel explica¸c˜ao para esta circunstˆancia. Na composi¸c˜ao do corpus, cerca de 94% das ocorrˆencias das formas verbais expressam o seu tra¸co de flex˜ao mais frequente no corpus, e formas verbais mais frequentes expressam um n´umero menor de tra¸cos de flex˜ao.
Fica a faltar fazer em trabalho futuro uma descri¸c˜ao detalhada dos casos em que os algortimos falham, de forma a tentar perceber melhor quais se adequam melhor
1
Referido ao logo deste trabalho como algoritmo de m´axima verosimilhan¸ca.
Cap´ıtulo 5. Conclus˜ao e trabalho futuro 73
em situa¸c˜oes diferentes, podendo at´e virem a ser combinados. Uma escolha mais pormenorizada das instˆancias de treino e teste pode tamb´em ajudar a perceber os melhores m´etodos a usar, e em conjunto com uma an´alise do contexto de cada frase, perceber de que forma se pode usar o contexto mais eficientemente.
Bibliografia
Agirre, Eneko e Philip Edmonds, editores, 2006. Word Sense Disambiguation Algorithms and Applications. Springer. ISBN 978-1-4020-4808-4.
Bergstr¨om, Magnus e Neves Reis, 2004. Prontu´ario Ortogr´afico e Guia da L´ıngua Portugesa. Editorial not´ıcias, 47a
edi¸c˜ao edi¸c˜ao. ISBN 972-46-0840-9. Branco, Ant´onio, Francisco Costa, e Filipe Nunes, 2007. The processing
of verbal inflection ambiguity: characterization of the problem space. In In Actas do XXI Encontro Anual da Associa¸c˜ao Portuguesa de Lingu´ıstica.
Branco, Ant´onio, Filipe Nunes, e Jo˜ao Silva, 2006. Verb analysis in an inflective language: Simpler is better. Relat´orio t´ecnico, University of Lisbon. Brants, Thorsten, 2000. TnT — a statistical part-of-speech tagger, version
2.2. In Proceedings of the 6th Applied Natural Language Processing and 1st North
American Chapter of the Association of Computational Linguistics. p´ags. 224–231. Camarillo, Gonzalo e Miguel-Angel Garcia-Martin, 2005. The 3G IP Multimedia Subsystem (IMS): Merging the Internet and the Cellular Worlds. John Wiley and Sons Ltd, second edi¸c˜ao.
Chrupa la, Grzegorz, 2006. Simple data-driven context-sensitive lemmatization. In Proceedings of the Sociedad Espa˜nola para el Procesamiento del Lenguaje Nat- ural (SEPLN) 2006. p´ags. 121–127.
Crammer, Koby e Yoram Singer, 2001. On the algorithmic implementation of multiclass kernel-based vector machines. Journal of Machine Learning Research, 2:265–292.
Cunha, Celso e Lindley Cintra, 1986. Nova Gram´atica do Portuguˆes Con- temporˆaneo. Edi¸c˜oes Jo˜ao S´a da Costa, 3a
edi¸c˜ao.
Escudero, Gerard, Llu´ıs M`arquez, e German Rigau, 2000. Naive bayes and exemplar-based approaches to word sense disambiguation revisited. In Proceedings of the 14th European Conference on Artificial Intelligence, ECAI’2000. p´ags. 421– 425.
Bibliografia 75
John, George H. e Pat Langley, 1995. Estimating continuous distributions in bayesian classifiers. In Proceedings of the the Eleventh Conference on Uncertainty in Artificial Intelligence. p´ags. 338–345.
Manning, Christopher e Hinrich Sch¨utze, 1999. Foundations of Statistical Natural Language Processing. The MIT Press, 1st
edi¸c˜ao. ISBN 0-262-13360-1.
Mitchell, Tom, 1997. Machine Learning. McGraw Hill.
Moreno-Sandoval, Antonio e Jos´e M. Guirao, 2006. Morpho-syntactic tagging of the spanish c-oral-rom corpus — methodology, tools and evaluation. In Spoken Language Corpus and Linguistic Informatics. John Benjamins, p´ags. 199–218.
Morgan, Tony, 2002. Business Rules and Information Systems: Aligning IT with Business Goals. Addison Wesley Professional.
Nunes, Filipe, 2007. Verbal Lemmatization and Featurization of Portuguese with Ambiguity Resolution in Context. Tese de Mestrado, Universidade de Lisboa, Portugal.
Pederson, Ted e Rada Mihalcea, 2005. Advances in word sense disambigua- tion — tutorial dado como parte da ACL.
Pinto, Jos´e Manuel Castro, 2004. Novo Prontu´ario Ortogr´afico. Pl´atano Editora, 5a
edi¸c˜ao edi¸c˜ao. ISBN 972-770-002-0.
Ratnaparkhi, Adwait, 1996. A maximum entropy model for part-of-speech tag- ging. In Proceedings of the 1st Conference on Empirical Methods in Natural Lan-
guage Processing. p´ags. 133–142.
Silva, Jo˜ao Ricardo, 2007. Shallow Processing of Portuguese: From Sentence Chunking to Nominal Lemmatization. Tese de Mestrado, Universidade de Lisboa, Portugal.
Storkey, Amos, 2001. Aula intitulada: Learning from data 1 - naive bayes.