Evaluación del rendimiento de los sistemas de búsqueda de respuestas de dominio general

• Autores: María-Dolores Olvera-Lobo , Juncal Gutiérrez Artacho
• Localización: Revista española de documentación científica, ISSN-e 1988-4621, ISSN 0210-0614, Vol. 36, Nº 2, 2013, 10 págs.
• Idioma: español
• DOI: 10.3989/redc.2013.2.921
• Enlaces
  • Texto completo
• Resumen

  • Los sistemas de búsqueda de respuestas (SBR) son una alternativa a los tradicionales sistemas de recuperación de información tratando de ofrecer respuestas precisas y comprensibles a preguntas factuales, en lugar de presentar al usuario una lista de documentos relacionados con su búsqueda. Se ha evaluado la eficacia de cuatro SBR disponibles en la Web �QuALiM, SEMOTE, START, y TrueKnowledge�, mediante una amplia muestra de preguntas de definición, factuales y de lista, pertenecientes a distintos dominios temáticos. Se utilizó una colección de 500 preguntas cuyas respuestas fueron valoradas por los usuarios y, posteriormente, se aplicaron varias medidas para su evaluación (MRR, TRR, FHS, MAP y precisión). Se observa que START y TrueKnowledge presentan un nivel aceptable de respuestas correctas, precisas y en una secuencia bien ordenada. Los resultados obtenidos revelan el potencial de esta clase de herramientas en el ámbito del acceso y la recuperación de información de dominio general.

• Referencias bibliográficas
  • Abdou, S.; Savoy, J.; Ruch, P. (2006). Dépister efficacement de l’information dans une banque documentaire: L’exemple de MEDLINE. En: Actes...
  • Belkin, N.J.; Vickery, A. (1985). Interaction in Information Systems: A Review of Research from Document Retrieval to Knowledge-based systems...
  • Blair-Goldensohn, S.; McKeown, K.; Schlaikjer, A. H. (2004). Answering Definitional Questions: A Hybrid Approach. En: Maybury, M. T. (ed.),...
  • Buckley, C.; Voorhees, E. M. (2000). Evaluating evaluation measure stability. IGIR ‘00 Proceedings of the 23rd annual international ACM SIGIR...
  • Cleverdon, C. (1997). The Cranfield tests on index languages devices. En: Sparck Jones, K.; Willett, P. (eds.), Readings in information retrieval....
  • Cui, H.; Kan, M. Y.; Cua, T. S.; Xiao, J. (2004). A Comparative Study on Sentence Retrieval for Definitional Question Answering. SIGIR Workshop...
  • Crouch, D.; Saurí, R.; Fowler, A. (2005). AQUAINT Pilot Knowledge-Based Evaluation: Annotation Guidelines: Palo Alto Research Center. Disponible...
  • Fukumoto, J.; Kato, T.; Masui, F. (2004). Question Answering Challenge (QAC-1) an evaluation of question answering tasks at the NTCIRWorkshop...
  • Green, B. F.; Wolf, A. K.; Chomsky, C.; Laughery, K. (1961). Baseball: An Automatic Question Answerer. Proceedings of the Western Joint Computer...
  • Greenwood, M. A.; Saggion, H. (2004). A Pattern Based Approach to Answering Factoid, List and Definition Questions. Proceedings of the 7th...
  • Harman, D. K. (1998). Text retrieval conferences (TRECs): providing a test-bed for information retrieval systems. Bulletin of the American...
  • Jackson, P.; Schilder, F. (2005). Natural Language Processing: Overview. En: Brown, (ed.), Encyclopedia of Language & Linguistics, 2....
  • Kaisser, M. (2008). The QuALiM question answering demo: supplementing answers with paragraphs drawn from Wikipedia. Proceedings of the 46th...
  • Kangavari, M. R.; Ghandchi, S.; Golpour, M. (2008). A New Model for Question Answering Systems. World Academy of Science, Engineering and...
  • Katz, B.; Borchardt, G.; Felshin, S.; Shen, Y.; Zaccak, G. (2007). Answering English questions using foreign-language, semistructured sources....
  • Kolomityets, O.; Moens, M. F. (2011). A Survey on Question Answering Technology from an Information Retrieval Perspective. Information Sciences...
  • Olvera-Lobo, M. D.; Gutiérrez-Artacho, J. (2010). Question-Answering Systems as Efficient Sources of Terminological Information: Evaluation....
  • Olvera-Lobo, M. D.; Gutiérrez-Artacho, J. (2011a). Evaluation of Open -vs. Restricted- Domain Question Answering Systems in the Biomedical...
  • Olvera-Lobo, M. D.; Gutiérrez-Artacho, J. (2011b). Language resources used in multi-lingual Question Answering Systems. Online Information...
  • Olvera-Lobo, M. D.; Gutiérrez-Artacho, J. (2011c). Multilingual Question-Answering System in Biomedical Domain on the Web: An Evaluation....
  • Pérez-Coutiño, M.; Solorio, T.; Montes y Gómez, M.; López López, A.; Villaseñor Pineda, L. (2004). The Use of Lexical Context in Question...
  • Peters, C. (2009). What Happened in CLEF 2009: Introduction to the Working Notes. Working Notes for the CLEF 2009 Workshop. http://www.clef-campaign.org/2009/working_notes/...
  • Radev, D. R.; Qi, H.; Wu, H.; Fan, W. (2001). Evaluating Web-based Question Answering Systems. Informe técnico. University of Michigan.
  • Rodrigo, A.; Pérez-Iglesias, J.; Peñas, A.; Garrido, G.; Araujo, L. (2010). A Question Answering System based on Information Retrieval and...
  • Salton, G.; McGill, J. (1983). Introduction to modern information retrieval. New York: McGraw-Hill.
  • Sultan, M. (2006). Multiple Choice Question Answering. Sheffield: University of Sheffield. Tesis doctoral.
  • Tsur, O. (2003). Definitional Question-Answering Using Trainable Text Classifiers. University of Amsterdam: Amsterdam. Tesis doctoral.
  • Voorhees, E. M. (1999). The TREC 8 Question Answering Track Report. Proceedings of the 8th Text Retrieval Conference. http://trec.nist.gov/pubs/trec8/papers/qa_report.pdf.
  • Voorhees, E. M. (2002). Overview of the TREC 2002 Question Answering Track. Proceedings of the Eleventh Text Retrieval Conference. http://comminfo.rutgers.edu/~muresan/IR/TREC/Proceedings/t11_proceedings/t11_proceedings.html...
  • Voorhees, E. M.; Tice, D. (1999). The TREC-8 question answering track evaluation. En: Voorhees, E. M.; Harman, D. Proceedings of the Eleventh...
  • Warren, D. (1981). Efficient Processing of Interactive Relational Database Queries Expressed in Logic. Proceedings Seventh International Conference...
  • Weizenbaum, J. (1966). Eliza: A computer program for the study of natural language communication between man and machine. Communications of...
  • Woods, W. A.; Kaplan, R. M.; Nash-Webber, B. (1972). The Lunar Sciences Natural Language Information System. En: BBN Final Report 2378. Cambridge:...
  • Zweigenbaum, P. (2005). Question answering in biomedicine. Proceedings Workshop on Natural Language Processing for answering. Budapest: ACL,...