Ver PDF
Registro

Evaluación de la experiencia de usuario en sitios web: Un análisis comparativo entre evaluadores humanos y sistemas de inteligencia artificial

Vorotnikov Rubatino, Alexandr ; Cosme Toribio, Noriel ; Jaramillo Carrasquilla, Melany

Evaluation of user experience on websites: a comparative analysis between human evaluators and artificial intelligence systems



Autores Vorotnikov Rubatino, Alexandr
Autores Cosme Toribio, Noriel
Autores Jaramillo Carrasquilla, Melany
Tema User experience
Tema Usability evaluation
Tema Artificial intelligence
Tema Human–AI agreement
Tema Website assessment
Tema Experiencia de usuario
Tema Evaluación de usabilidad
Tema Inteligencia artificial
Tema Concordancia humana–IA
Tema Evaluación de sitios web
Descripción The present study proposes and applies an evaluation tool aimed at measuring the level of website friendliness through a structured rubric based on user experience (UX) principles. The instrument allows the analysis of key dimensions such as usability, content clarity, accessibility, information architecture, visual design, and overall user satisfaction during interaction with different websites. The methodological approach combines evaluations conducted by two types of agents: human evaluators and artificial intelligence systems configured for usability and user experience analysis. Each website was independently assessed by both groups using a five-level ordinal rubric, which facilitated a systematic comparison of the scores obtained. For the statistical analysis, mixed ordinal logistic models were employed, incorporating random effects associated with the websites and the evaluators in order to control for observation dependence and unexplained variability. The results reveal a high degree of overall agreement between human evaluations and those generated by artificial intelligence systems, with no statistically significant differences between the two types of evaluators. The observed variations are primarily explained by the specific characteristics of the websites and by heterogeneity among individual evaluators, rather than by the type of evaluating agent. Additionally, the content and communicational clarity criterion showed a higher probability of consistently receiving high scores, regardless of the evaluator. Overall, the findings support the feasibility of hybrid evaluation approaches in which artificial intelligence complements expert human judgment, contributing to more replicable, scalable, and systematic UX assessments.
Descripción El presente estudio propone y aplica una herramienta de evaluación orientada a medir el nivel de amabilidad de sitios web mediante una rúbrica estructurada basada en principios de experiencia de usuario (UX). El instrumento permite analizar dimensiones clave como la usabilidad, la claridad del contenido, la accesibilidad, la arquitectura de la información, el diseño visual y la percepción general de satisfacción durante la interacción con diferentes páginas web. El enfoque metodológico combina evaluaciones realizadas por dos tipos de agentes: evaluadores humanos y sistemas de inteligencia artificial configurados para el análisis de usabilidad y experiencia de usuario. Cada sitio web fue evaluado de manera independiente por ambos grupos utilizando una rúbrica ordinal de cinco niveles, lo que facilitó la comparación sistemática de las puntuaciones obtenidas. Para el análisis estadístico se emplearon modelos logísticos ordinales mixtos, incorporando efectos aleatorios asociados a los sitios web y a los evaluadores, con el fin de controlar la dependencia entre observaciones y la variabilidad no explicada. Los resultados evidencian un alto grado de concordancia global entre las evaluaciones humanas y las generadas por sistemas de inteligencia artificial, sin diferencias estadísticamente significativas entre ambos tipos de evaluadores. Las variaciones observadas se explican principalmente por las características específicas de los sitios web y por la heterogeneidad entre evaluadores individuales. Asimismo, el criterio de contenido y claridad comunicacional mostró una mayor probabilidad de recibir puntuaciones altas de forma consistente, independientemente del evaluador. Los hallazgos respaldan la viabilidad de enfoques de evaluación híbridos, en los que la inteligencia artificial complementa el juicio humano experto, contribuyendo a evaluaciones UX más replicables, escalables y sistemáticas.
Editorial Universidad Metropolitana de Educación, Ciencia y Tecnología
Fecha 2026-06-30
Tipo info:eu-repo/semantics/article
Tipo info:eu-repo/semantics/publishedVersion
Formato application/pdf
Formato application/epub+zip
Identificador https://revistas.umecit.edu.pa/index.php/oratores/article/view/2113
Identificador 10.37594/oratores.n24.2113
Fuente Oratores Journal; No. 24 (2026): ORATORES June - November 2026; 110-120
Fuente Revista Oratores; Núm. 24 (2026): ORATORES Junio - Noviembre 2026; 110-120
Fuente 2644-3988
Fuente 2410-8928
Fuente 10.37594/oratores.n24
Idioma spa
Relación https://revistas.umecit.edu.pa/index.php/oratores/article/view/2113/3058
Relación https://revistas.umecit.edu.pa/index.php/oratores/article/view/2113/3059
Relación Arango, A. (2020). Experiencia de usuario en portales institucionales. Revista Latinoamericana de Tecnología, 15(2), 45–60.
Relación Caballero, M., & Martínez, C. (2020). Gobierno digital en la región. Gestión Pública, 22(4), 30–48.
Relación Cabrera, J., Pérez, L., & Mora, D. (2020). Accesibilidad digital en América Latina. Interacción Digital, 8(1), 76–92.
Relación Garrett, J. J. (2011). The elements of user experience: User-centered design for the web and beyond (2nd ed.). New Riders.
Relación Hartson, R., & Pyla, P. (2012). The UX Book.
Relación Hernández, L. (2021). Brecha digital en servicios públicos. Revista Gestión y Sociedad, 13(2), 9–27.
Relación ISO. (2019). ISO 9241-210:2019 Ergonomics of human-system interaction.
Relación Krug, S. (2006). No me hagas pensar: Una aproximación a la usabilidad en la web. Prentice-Hall.
Relación Lavie, T., & Tractinsky, N. (2004). Assessing Web Aesthetics.
Relación Law, E., Roto, V., Hassenzahl, M., Vermeeren, A., & Kort, J. (2009). Understanding, scoping and defining user experience: A survey approach. In Proceedings of the 27th International Conference on Human Factors in Computing Systems (pp. 719–728). ACM. https://doi.org/10.1145/1518701.1518813
Relación Nielsen, J. (1993). Usability Engineering.
Relación Nielsen, J. (2020). 10 Usability Heuristics for User Interface Design. NN/g.
Relación Norman, D. (2013). The Design of Everyday Things.
Relación Perurena, E., & Moráguez, J. (2013). Fundamentos de usabilidad y experiencia de usuario. Editorial de la Universidad de La Habana.
Relación R Core Team. (2022). R: A language and environment for statistical computing. R Foundation for Statistical Computing.
Relación Rodríguez, S., Ramírez, A., & Pérez, C. (2022). Adopción digital en Panamá. Tecnología y Sociedad, 9(3), 50–68.
Relación Sauro, J., & Lewis, J. R. (2016). Quantifying the User Experience.
Relación Tullis, T., & Albert, B. (2013). Measuring the User Experience.
Relación Vega, R. (2023). Confianza en servicios digitales. Revista Iberoamericana de Tecnología, 11(1), 101–119.
Derechos Derechos de autor 2026 Revista ORATORES
Derechos https://creativecommons.org/licenses/by-nc-sa/4.0