Sobre la tarea
La negación es un fenómeno lingüístico complejo de creciente interés en lingüística computacional. La detección y tratamiento de la negación es relevante en una amplia gama de aplicaciones, como la extracción de información, la traducción automática o el análisis de sentimientos, donde es crucial conocer cuándo una parte del texto debe tener un significado diferente debido a la presencia de negación. En los últimos años, algunos desafíos y tareas compartidas se han centrado en el procesamiento de la negación: NeSp- NLP 2010 (Morante and Sporleder, 2010), CoNLL-2010 share task (Farkas et al., 2010) y SEM 2012 shared task (Morante and Blanco, 2012). Sin embargo, la mayor parte de la investigación sobre la negación se ha realizado para inglés.
Por lo tanto, esta tarea pretende avanzar en el estudio de este fenómeno en español, la segunda lengua más hablada en el mundo y la tercera más utilizada en Internet. El principal objetivo es reunir a la comunidad científica que está trabajando en este tema para poder debatir sobre cómo se está abordando este fenómeno, cuáles son los principales problemas encontrados, así como la puesta en común de recursos y herramientas orientadas a la negación en español. Esta tarea también se organizó el año pasado como un taller, NEGES: Taller de NEGación en ESpañol (Jiménez-Zafra et al., 2018a; Jiménez-Zafra et al., 2018b), celebrado en el marco de la XXXIV edición de la Conferencia Internacional de la Sociedad Española para el Procesamiento del Lenguaje Natural (SEPLN 2018). Este año se presenta en IberLEF (Iberian Languages Evaluation Forum), que se celebrará en el marco de la Conferencia SEPLN 2019, con el objetivo de aunar esfuerzos con otros investigadores para crear un foro de referencia en español con tareas de relevancia para el procesamiento de algunas de las lenguas que se hablan en la Península Ibérica.
Subtarea A: Identificación de claves de negación
Con esta tarea se pretende avanzar en la identificación de claves de negación de forma automática. Para ello, los participantes deben desarrollar un sistema que sea capaz de identificar todas las claves de negación presentes en un documento. Por ejemplo, en la oración (1) los sistemas tendrán que identificar que hay tres claves de negación: i) No, ii) en mi vida y iii) sin.
(1) No recomiendo el libro, en mi vida he leído un libro peor, sin sentido.
Conjunto de datos
El corpus SFU ReviewSP-NEG (Jiménez-Zafra et al., 2018c) se utilizará para entrenar y probar los sistemas. La calidad del conjunto de datos ha sido medida en términos del coeficiente de Kappa, siendo de 0,97 para la anotación de claves de negación. Una discusión detallada de las principales fuentes de desacuerdo se puede encontrar en (Jiménez-Zafra et al., 2016).
Es necesario tener una cuenta para descargar el conjunto de datos. Si no la tiene, regístrese aquí. Si ya dispone de una,
iniciar sesión.Medidas de evaluación
Las medidas utilizadas para evaluar los sistemas serán Precisión, Cobertura y F1. Se evaluarán por clase y utilizando el promedio a través de la medida macro-promedio.
Envío
Los archivos deben tener el formato especificado en el apartado "OUTPUT" del archivo README proporcionado con el conjunto de datos y deben ser nombrados de la siguiente manera, equipo_dominio_subtareaA.txt.
Para enviar los archivos, los participantes deben
iniciar sesión.Formato artículos
Los detalles de formato se comunicarán en breve, de acuerdo con las indicaciones de los organizadores de IberLEF.
Subtarea B: Papel de la negación en el análisis de sentimientos
Se trata de una tarea específica cuyo objetivo es evaluar el papel de la negación en el análisis de sentimientos. En este caso, los participantes deberán desarrollar un sistema que utilice la información de negación que contiene el corpus SFU ReviewSP-NEG (Jiménez-Zafra et al., 2017) para mejorar la clasificación de opiniones. Los sistemas tendrán que clasificar cada comentario como positivo o negativo utilizando una heurística en la que procese la negación.
Conjunto de datos
El corpus SFU ReviewSP-NEG (Jiménez-Zafra et al., 2018c) se utilizará para entrenar y probar los sistemas. La calidad del conjunto de datos ha sido medida en términos del coeficiente de Kappa, siendo de 0,97 para la anotación de claves de negación, 0,94 para la de ámbitos, 0,95 para la de eventos, 0,95 para la del tipo de estructura de negación y 0,99 para el tipo de modificación en la polaridad. Una discusión detallada de las principales fuentes de desacuerdo se puede encontrar en (Jiménez-Zafra et al., 2016).
Es necesario tener una cuenta para descargar el conjunto de datos. Si no la tiene, regístrese aquí. Si ya dispone de una,
iniciar sesión.Medidas de evaluación
Las medidas utilizadas para evaluar los sistemas serán Precisión, Cobertura y F1. Se evaluarán por clase y utilizando el promedio a través de la medida macro-promedio.
Envío
Los archivos deben tener el formato especificado en el apartado "OUTPUT FORMAT" del archivo README proporcionado con el conjunto de datos y deben ser nombrados de la siguiente manera, equipo_subtareaB.txt.
Para enviar los archivos, los participantes deben
iniciar sesión.Formato artículos
Los detalles de formato se comunicarán en breve, de acuerdo con las indicaciones de los organizadores de IberLEF.
Registro
NOTA: El envío de este formulario sólo supone el registro en la tarea NEGES. Para asistir a ella habrá que realizar el registro pertinente a través del espacio habilitado para tal fin en la página del XXXV Congreso Internacional de la Sociedad Española para el Procesamiento del Lenguaje Natural (http://hitz.eus/sepln2019).
Agenda
-
18 de febrero de 2019
Registro abierto
-
25 de febrero de 2019
Liberación de los conjuntos de entrenamiento y desarrollo
-
12 de abril de 2019
Liberación del conjunto de test
-
24 de mayo de 2019 (23:59 UTC+2)
Fin de envío de sistemas
-
1 de junio de 2019
Publicación de resultados
-
7 de junio de 2019 (23:59 UTC+2)
Fecha fin para la entrega de artículos
-
14 de junio de 2019
Notificación de aceptación
-
21 de junio de 2019 (23:59 UTC+2)
Fecha fin para la entrega de la versión final del artículo
-
24 de Septiembre 2019
IberLEF, SEPLN 2019, Bilbao (España)
-
9.00 AM
Registro
-
10.00 AM
Bienvenida y presentación del taller
-
11.00 AM
Presentación de trabajos Tarea 2
Task 2: Negation cues detection -
12.00 AM
Presentación de trabajos Tarea 3
Task 3: Sentiment analysis -
12.30 AM
Pausa café
-
1.00 PM
Mesa de debate Tarea 1
Tarea 1: Guías de anotación -
2.00 PM
Conclusiones y cierre
Referencias
- Farkas, R., Vincze, V., Móra, G., Csirik, J., & Szarvas, G. (2010, July). The CoNLL- 2010 shared task: learning to detect hedges and their scope in natural language text. In Proceedings of the Fourteenth Conference on Computational Natural Language Learning---Shared Task (pp. 1-12). Association for Computational Linguistics.
- Jiménez-Zafra, S. M., Martín-Valdivia, M. T., Ureña-Lopez, L. A., Marti, T., & Taulé, M. (2016). Problematic cases in the annotation of negation in Spanish. In Proceedings of the Workshop on Extra-Propositional Aspects of Meaning in Computational Linguistics (ExProM) (pp. 42-48).
- Jiménez-Zafra, S. M., Díaz, N. P. C., Morante, R., & Martın-Valdivia, M. T. (2018a). Tarea 1 del Taller NEGES 2018: Guías de Anotación. In Proceedings of NEGES 2018: Workshop on Negation in Spanish (Vol. 2174, pp. 15-21).
- Jiménez-Zafra, S. M., Cruz-Díaz, N. P., Morante, R., & Martín-Valdivia, M. T. (2018b). Tarea 2 del Taller NEGES 2018: Detección de Claves de Negación. In Proceedings of NEGES 2018: Workshop on Negation in Spanish (Vol. 2174, pp. 35- 41).
- Jiménez-Zafra, S. M., Taulé, M., Martín-Valdivia, M. T., Ureña-López, L. A., & Martí, M. A. (2018c). SFU Review SP-NEG: a Spanish corpus annotated with negation for sentiment analysis. A typology of negation patterns. Language Resources and Evaluation, 52(2), 533-569. First published online May 22, 2017. https://doi.org/10.1007/s10579-017-9391-x
- Morante, R., & Blanco, E. (2012, June). * SEM 2012 shared task: Resolving the scope and focus of negation. In Proceedings of the First Joint Conference on Lexical and Computational Semantics-Volume 1: Proceedings of the main conference and the shared task, and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation (pp. 265-274). Association for Computational Linguistics.
- Morante, R., & Sporleder, C. (2010). Proceedings of the Workshop on Negation and Speculation in Natural Language Processing. In Proceedings of the Workshop on Negation and Speculation in Natural Language Processing.
Comité organizador
Salud María Jiménez Zafra
Universidad de Jaén
Maite Martín Valdivia
Universidad de Jaén
Noa Cruz Díaz
Bankia, Madrid
Roser Morante
VU Amsterdam
Comité de programa
- Altuna, Begoña (Unversidad del País Vasco)
- Bel, Nuria (Universitat Pompeu Fabra, España)
- Blanco, Eduardo (University of North Texas, USA)
- Carrillo de Albornoz, Jorge (UNED, España)
- Casillas, Arantza (Universidad del País Vasco, España)
- Cruz Díaz, Noa (Bankia, Madrid. España)
- Fernández-Gavilanes, Milagros (Centro Universitario de la Defensa - Universidad de Vigo, España)
- García Méndez, Silvia (Universidad de Vigo, España)
- Jiménez Zafra, Salud María (Universidad de Jaén, España)
- Maña, Manuel (Universidad de Huelva, España)
- Marimón, Montserrat (Barcelona Supercomputing Center, España)
- Martí, M. Antonia (Universitat de Barcelona, España)
- Martín Valdivia, Maite (Universidad de Jaén, España)
- Martínez, Paloma (Universidad Carlos III, Madrid, España)
- Martínez Barco, Patricio (Universidad de Alicante, España)
- Martínez-Cámara, Eugenio (Universidad de Granada, España)
- Morante, Roser (VU Amsterdam, Países Bajos)
- Segura, Isabel (Universidad Carlos III, Madrid, España)
- Taboada, Maite (Simon Fraser University, Canadá)
- Taulé, Mariona (Universitat de Barcelona, España)
- Vilares, David (Universidad de la Coruña, España)
- Vivaldi, Jorge (Universitat Pompeu Fabra, España)