Etiquetador/Lematizador do Galego Actual (XIADA)
Táboa de contidos
Título do proxecto
Etiquetador e Lematizador do Galego Actual
Descrición
O obxectivo deste proxecto é o desenvolvemento de ferramentas que permitan o recoñecemento e a análise automática do galego actual. En particular, ten especial interese o desenvolvemento dun etiquetador e lematizador de moi alta precisión que permita etiquetar e lematizar automaticamente os documentos do proxecto CORGA, e poder así desenvolver un sistema de consultas que utilice esta información lingüística (categorías gramaticais, lemas, etc.).
Dirección/Coordinación
Guillermo Rojo
Manuel Vilares Ferro
Persoal Vinculado
Equipo lingüístico
Eva Domínguez Noya
Marisol López Martínez
Francisco García Gondar
Equipo Informático
Fco. Mario Barcala Rodríguez
Miguel A. Molinero Álvarez (2005-)
Jorge Graña Gil
Miguel A. Alonso Pardo
Publicacións resultantes
- Corpus de adestramento do Etiquetador/Lematizador do Galego Actual (XIADA), versións 2.3 e 2.4, Guillermo Rojo, Marisol López Martínez, Eva Domínguez Noya e Fco. Mario Barcala. Centro Ramón Piñeiro para a Investigación en Humanidades, <http://corpus.cirp.es/xiada>, 2009 e 2010.
- Léxico do Etiquetador/Lematizador do Galego Actual (XIADA), versións 2.2 e 2.4, Guillermo Rojo, Marisol López Martínez, Eva Domínguez Noya e Fco. Mario Barcala. Centro Ramón Piñeiro para a Investigación en Humanidades, <http://corpus.cirp.es/xiada>, 2009 e 2010.
- Avaliación dun etiquetador automático estatístico para o galego actual: Xiada, Eva Domínguez Noya, Fco. Mario Barcala Rodríguez e Miguel Ángel Molinero Álvarez. Cadernos de Lingua, num. 30/31, A Coruña, 2009, Real Academia Galega, pp. 151-193.
- Practical application of one-pass Viterbi algorithm in tokenization and part-of-speech tagging, Miguel A. Molinero, Fco. Mario Barcala, Juan Otero, Jorge Graña. Proc. of International Conference RANLP 2007, Recent Advances in Natural Language Processing, Borovets, Bulgaria, 2007, pp. 35-40.
- XML rules for enclitic segmentation, Fco. Mario Barcala, Miguel A. Molinero, Eva Domínguez. Computer Aided Systems Theory - EUROCAST 2007, Revised Selected Papers, Lecture Notes in Computer Science, 4739 Springer-Verlag, Berlin-Heidelberg-New York, 2007, pp. 273-281.
- XML rules for enclitic segmentation, Fco. Mario Barcala, Miguel A. Molinero, Eva Domínguez. Alexis Quesada-Arencibia, José Carlos Rodríguez-Rodríguez, Roberto Moreno-Díaz jr., Roberto Moreno-Díaz (eds.). Proc. of Eleventh Computer Aided Systems Theory - EUROCAST 2007, Extendeds Abstracts, Las Palmas de Gran Canaria, España, 2007, pp. 93-94.
- Automatic Spelling Correction in Galician. Manuel Vilares, Juan Otero, Fco. Mario Barcala, Eva Domínguez. José Luis Vicedo, Patricio Martínez-Barco, Rafael Muñoz and Maximiliano Saiz Noeda (eds.), Advances in Natural Language Processing, volume 3230 of Lecture Notes in Artificial Intelligence, Springer-Verlag, Berlin-Heidelberg-New York, 2004, pp. 51-57.
- Formal Methods of Tokenization for Part-of-Speech Tagging. Jorge Graña, Fco. Mario Barcala, Jesús Vilares. Alexander Gelbukh (ed.), Computational Linguistics and Intelligent Text Processing, volume 2276 of Lecture Notes in Computer Science, Springer-Verlag, Berlin-Heidelberg-New York, 2002, pp. 240-249.
- A Common Solution for Tokenization and Part-of-Speech Tagging: One-Pass Viterbi Algorithm vs. Iterative Approaches, Jorge Graña, Miguel A. Alonso, Manuel Vilares. Petr Sojka, Ivan Kopecek and Karel Pala (eds.), Text, Speech and Dialogue, volume 2448 of Lecture Notes in Artificial Intelligence, Springer-Verlag, Berlin-Heidelberg-New York, 2002, pp. 3-10.
Participación en reunións científicas, congresos, encontros, cursos e outros eventos
- RANLP 2007: Recent Advances in Natural Language Processing. Borovets (Bulgaria), 27-29 de setembro de 2007, Miguel A. Molinero Álvarez.
- EUROCAST 2007: Eleventh International Conference on Computer Aided Systems Theory. Las Palmas de Gran Canaria, 12-16 de febreiro de 2007, Miguel A. Molinero Álvarez.
- ESTAL 2004: España for Natural Language Processing. Alicante, 20-22 de outubro de 2004, Juan Otero Pombo.
Resultados
No 2003 rematouse unha primeira versión operativa do etiquetador que traballaba con arquivos de texto que se adecuaban á normativa. Ademais, para obter esta versión foi necesario o desenvolvemento do xogo de etiquetas apropiado, dun lexicón formado por aproximadamente 31200 lemas e 6300000 formas, e dun subcorpus anotado de adestramento dunhas 100000 formas.
No 2005 externalizáronse as regras de funcionamento do mesmo, facilitando así a actualización e/ou modificación das mesmas.
Durante o 2006 adaptouse o etiquetador para que puidese traballar con arquivos codificados en XML e, polo tanto, cos arquivos da nova codificación dos documentos do CORGA. Tamén neste ano se desenvolveu un sistema xenérico de resolución de ambigüidades segmentais e ampliouse considerablemente o lexicón que utiliza, que ademais inclúe moitas formas non normativas para que poidan ser recoñecidas, etc.
No 2007 publicouse o etiquetario utilizado polo proxecto.
No 2009 faise pública unha demostración do funcionamento do etiquetador, e libéranse a primeira versión (2.2) do léxico e do corpus de adestramento (2.3) que utiliza. Este último inclúe 309.505 elementos gramaticais.
No 2010 publícase a versión 2.4, que inclúe as liberacións dunha nova versión do léxico, con 718.189 entradas e 53.888 lemas (427 lemas máis que na versión anterior) e do corpus de adestramento, con 426.051 elementos gramaticais e a demostración do etiquetador adestrado con estes novos recursos. Tamén se actualiza na web o etiquetario que emprega o etiquetador (383 etiquetas) e recompílanse exemplos de uso de cada etiqueta.
Estado actual
Actualmente estamos traballando nun sistema de regras que poida mellorar, aínda máis, a porcentaxe de acerto do etiquetador cando a estatística non axuda, especialmente para os casos de ambigüidades segmentais complexas.
A versión do etiquetador dispoñible actualmente, publicada no 2010, está optimizada para traballar con textos xornalísticos, polo que é con textos escritos nese estilo onde mellor se comporta o etiquetador. No futuro esperamos ter diferentes perfís para mellorar o rendemento noutros contextos.
Acceso
Pode obterse diferente tipo de información relacionada co proxecto no seguinte enderezo:
Contacto
Se ten algunha dúbida ou pregunta sobre calquera aspecto relacionado con este proxecto, pode contactar con nós a través de: corga@cirp.es
| Data da última actualización: 27/10/2010 |
