Measurement of Perceived Quality in Conversational Systems (Chatbots)

Abstract

El aumento en el número de sistemas conversacionales (chatbots) aplicados a distintos escenarios de la sociedad es notable. Sin embargo, el desarrollo de métricas y métodos de evaluación para chatbots continúa siendo una línea de investigación abierta. El objetivo es crear métodos de evaluación cada vez menos invasivos y que no reduzcan la participación de los usuarios ni de otros agentes humanos. En este trabajo, en la sección de métodos, se realiza una revisión sistemática de distintos métodos de evaluación de chatbots. Posteriormente, en la misma sección, se presentan nuevas métricas para la evaluación de conversaciones con chatbots, inspiradas en la teoría neutrosófica. En la sección de resultados se lleva a cabo la validación del modelo propuesto. Se evalúa la aplicabilidad del modelo y la propuesta se somete a métodos de triangulación por expertos. El trabajo demuestra que la aplicación de la lógica neutrosófica puede contribuir a lograr respuestas más naturales por parte de los chatbots. Este efecto puede ser útil para mitigar la aparición de respuestas falsas o alucinaciones.Más...