Guía de Aplicación del Modelo de DeLone y McLean para la Evaluación de Productos de Software

Application Guide for the Evaluation of Software Products based on the DeLone and McLean Model of Success

Vianca Vega-Zepeda ¹, Aldo Quelopana ¹, Carolina Flores¹, Alejandro Munizaga¹

¹ Departamento de Ingeniería de Sistemas y Computación, Universidad Católica del Norte, Av. Angamos 0610, 1270709, Antofagasta, Chile. vvega@ucn.cl, aldo.quelopana@ucn.cl, cfb007@alumnos.ucn.cl, amv001@alumnos.ucn.cl

RESUMEN

En el año 1992 DeLone & McLean (D&M) definieron por medio de un modelo de medida multidimensional, qué es el éxito de un SI y sus correspondientes medidas, clasificándolas en seis categorías interdependientes. Considerando que los pequeños entornos generalmente no cuentan con personal especializado en este tipo de temas, en este trabajo se propone una guía que facilita la aplicación del modelo de D&M para la evaluación de productos de software para pequeños entornos. El principal aporte de esta guía radica en la definición de pasos y en el catálogo de preguntas pre-establecidas para que un pequeño entorno, sin poseer conocimientos acabados en el modelo, pueda rápidamente preparar los instrumentos necesarios para su aplicación. Esta guía fue aplicada en una empresa, demostrando su utilidad para ayudar a los pequeños entornos en la evaluación de los productos de software que dan soporte a sus procesos de negocio.

Palabras-clave: Modelo DeLone y McLean; Evaluación de Producto de Software.

In 1992 DeLone & McLean defined a model of Information Systems Success which includes six interdependent categories. Considering that small-environment software developments usually do not have specialized personnel in this type of topic, this paper proposes a guide that facilitates the application of the D&M model for the evaluation of software products. The main contribution of this guideline lies on the definition of steps and on the catalog of pre-established questions which helps small-environment software developments quickly prepare the necessary instruments for its application. This guide was applied in a firm, demonstrating its utility to this type of environments in the evaluation of software products that support their business processes.

Keywords: D&M Model; Evaluation of Software Product.

1. Introducción

El avance informático en la actualidad ha sido muy alto en términos de desarrollo de software, en especial en el ámbito de nuevas herramientas para acelerar los procesos de desarrollo. Sin embargo, estas ventajas que se obtienen gracias a estos avances, en ocasiones han influido en el descuido de la calidad del producto que es entregado, la cual no es solamente la calidad gráfica, o la calidad de respuesta, sino se debe tener en cuenta otras cualidades para afirmar que un software es integral y de calidad, y que es realmente útil y considerado exitoso dentro del ambiente en el que se utiliza. Como indican (Jiménez Puello, San Feliú, & Calvo-Manzano, 2016) en la actualidad la calidad es el atributo que tiene mayor relevancia en la determinación de si un producto de software es exitoso.

Se entiende por calidad del software al grado con el que un sistema, componente o proceso cumple con los requisitos especificados y las necesidades o expectativas del cliente o usuario (Geraci, Katki, McMonegal, Meyer, & Porteous, 1991). Sin embargo, si bien la calidad de un software es un aspecto importante que influye en el éxito del producto, no es el único factor a considerar.

Desde hace décadas se ha utilizado como una herramienta para la evaluación de sistemas de información (SI) el Modelo de DeLone y McLean (D&M) (DeLone & McLean, 2003).

Para proveer una definición general y comprensiva del éxito de un SI que cubra las diferentes perspectivas de evaluación, en el año 1992 D&M realizaron las definiciones existentes del éxito de un SI y sus correspondientes medidas y las clasificaron en seis grandes categorías. Así, ellos crearon un modelo de medida multidimensional con interdependencias entre las diferentes categorías de éxito.

Diez años después de la publicación del primer modelo y basado en la evaluación de las muchas contribuciones al mismo, D&M propusieron una actualización al modelo de éxito de los SI (DeLone & McLean, 2003).

En este trabajo se propone una guía que facilite la aplicación del modelo de D&M para la evaluación de productos de software en pequeños entornos. Este tipo de organizaciones, rara vez cuenta con personal especializado o con los conocimientos necesarios para realizar una evaluación de sus productos, por lo cual, contar con una guía detallada que indique los pasos a seguir y que además provee un conjunto de preguntas pre-establecidas para evaluar cada factor, es un facilitador para los pequeños entornos, quienes sin contar con un conocimiento acabado del modelo, o sin invertir demasiado tiempo en el diseño del instrumento de evaluación, podrían aplicarlo.

Contar con una herramienta de este estilo es muy útil ya que permite medir el éxito del producto, otorgándole mayor valor al entorno en que se utiliza. El realizar una investigación de este tipo contribuye a proveer de herramientas más inteligentes y estructuradas que ayudan a detectar oportunidades de mejora para un producto de software. La medición del éxito o eficacia de los productos de software es una actividad crítica para el entendimiento del valor que otorgan las inversiones que se realizan en éstos. La evaluación y publicación de los resultados de las evaluaciones aplicadas a distintos productos de software será de ayuda para las empresas que adquieren software ya que podrán contar con una aproximación confiable para decidir entre varias opciones y verificar cuál se desempeñaría mejor según sus necesidades. Por otro lado, las empresas desarrolladoras de software serían capaces de evaluar el desempeño de sus propios productos, detectando oportunidades de mejora para ofrecer mejores productos y, además, permitirá comparar el nivel de éxito de sus propios productos con los de la competencia.

El artículo se organiza de la siguiente forma: en la sección uno se presenta un resumen de trabajos relacionados con la evaluación de sistemas de información y/o productos de software. En la segunda sección se detalla la guía propuesta para luego mostrar su aplicación en un caso de estudio en la sección 3. Se finaliza el artículo con las conclusiones y trabajo futuro.

2. Trabajos Relacionados

Un proyecto de software exitoso ha sido descrito como aquel que se realiza dentro del presupuesto, según lo previsto, y que cumple con los objetivos de negocio (Berntsson-Svensson & Aurum, 2006) (Vasconcelos et al., 2017). También se sugiere que el éxito depende de la perspectiva de las partes interesadas. Según Linberg (Linberg, 1999), existen diferencias de opinión entre los participantes del proyecto (desarrolladores) y los gestores a la hora de definir lo que constituye un proyecto de software exitoso. Este autor sugiere que podría ser necesaria una nueva teoría de éxito que explique las diferencias en las opiniones y experiencias en diferentes industrias con respecto a los factores de éxito en el desarrollo de software (Berntsson-Svensson & Aurum, 2006).

De acuerdo con (Baccarini, 1999), el éxito de los proyectos requiere una combinación de éxito en la gestión del proyecto y éxito en el producto. El éxito de la gestión de un proyecto está relacionado con la eficiencia del proceso de gestión del proyecto en términos de costo, tiempo y calidad. Por otro lado, el éxito de un producto de un proyecto está relacionado con la efectividad del producto final.

Todas estas aplicaciones reportadas, corresponden a sistemas utilizados por grandes organizaciones, no se identificaron aplicaciones en pequeños entornos. Además, todas ellas utilizan como instrumento de medición, encuestas, en donde sólo se reportan los resultados, sin detallar cómo fueron construidos estos instrumentos.

3. Guía Propuesta

Muchos investigadores han comentado sobre la dificultad de aplicar el modelo de éxito de SI de D&M para definir y poner en uso la evaluación del éxito de SI en contextos de investigación específicos (Baccarini, 1999) (Jiang & Klein, 1999) (Whyte, Bytheway, & Edwards, 1997). La misma definición inicial del modelo de D&M indica que ninguna variable es intrínsecamente mejor que otra, la elección de variables de éxito suele estar definida en función del objetivo del estudio y del contexto organizacional (DeLone & McLean, 2003).

Por este motivo, en vez de proponer un formato general de evaluación, en este trabajo se optó por proponer una guía que indica los pasos a seguir para generar un instrumento de evaluación que permite determinar si un software es exitoso o no, destacando la necesidad de considerar el contexto en el que este esté siendo utilizado al momento de evaluar.

3.1. Estructura de la Guía

En primer lugar, es necesario identificar el contexto en el que se está utilizando el software, profundizando en las características de éste y en los usuarios que lo utilizan. Según esa información se debe definir las dimensiones y las medidas que son aplicables para evaluarlo, esto es considerado como una segunda etapa donde se analiza el modelo de D&M. Posteriormente se puede diseñar el formato del instrumento de medición, en esta etapa es donde se genera la herramienta de evaluación. Una vez que se ha definido el formato se procede a aplicar la encuesta dentro de su contexto. Luego de haber obtenido la cantidad de respuestas necesarias comienza la etapa de análisis de la información obtenida. Finalmente, se procede a discutir los resultados y elaborar las conclusiones del estudio basadas en el previo análisis. A continuación, se detallan las etapas y actividades.

Identificación del Contexto

En esta etapa se realizan dos actividades:

1.    Identificar características básicas del producto de software que se desea evaluar con el objetivo de contextualizar al usuario que responderá la encuesta. Algunas características a identificar son el nombre del software, su objetivo dentro de la empresa, tiempo que lleva funcionando, uso voluntario o mandatorio, entre otros. Para facilitar la identificación de estas características, se incluyen en la guía algunas preguntas sugeridas para plantear en este punto.

Análisis del Modelo

En esta etapa se realizan dos actividades:

1.    Análisis de las dimensiones incluidas en el modelo. Su objetivo es determinar las dimensiones que son factibles evaluar para la empresa, es decir, se deben descartar aquellas que están enfocadas a evaluar algún aspecto que no aplica a su contexto, o que no se requiere evaluar. Para facilitar el análisis de las dimensiones se incluye en la guía una breve descripción de lo que busca evaluar cada dimensión.

Para la dimensión de Uso/Intención de Uso se recomienda utilizar Intención de Uso como una medida alternativa de Uso para algunos contextos, como son los de uso mandatorio del software. En caso de que su uso sea voluntario, el Uso real representa una medida de éxito más apropiada. Esto se debe a que, si los usuarios deben usar el software por obligación, la medida del Uso entregará información sobre la naturaleza del uso que le den al software, pero su cantidad de uso no dependerá del usuario que esté respondiendo la entrevista, por otro lado, si se evalúa la Intención de Uso que el usuario tiene hacia un software obligatorio, se puede detectar la actitud que tiene hacia el uso de éste.

2.   Determinar las medidas a evaluar en cada dimensión identificada en el punto anterior. Para facilitar esta tarea la guía incorpora un catálogo de posibles medidas a utilizar para evaluar el software, recopiladas de estudios de distintos autores. Se sugiere seleccionar aquellas medidas que son relevantes dentro del contexto y de este modo reducirlas hasta contar solamente con las medidas válidas que influyen en la evaluación. Este ejercicio permite depurar el listado de medidas para utilizarlas posteriormente en la elaboración de la herramienta de evaluación. Se sugiere reunir un grupo de expertos dentro de la empresa para debatir y seleccionar las medidas válidas, y que hagan sus aportes y comentarios de acuerdo a su experiencia e interacción con el software.

Diseño del Instrumento de Medición

En esta etapa se consideran dos actividades:

1.    Datos demográficos. Se busca identificar preguntas generales con información ajustada al contexto y que sea de interés al momento de discutir los resultados, como, por ejemplo: el nombre (en caso de no ser anónima), edad, sexo, rol de usuario, área o departamento, tiempo de uso del software, entre otros. Cabe mencionar que la inclusión de los datos demográficos debe analizarse según la realidad de cada organización, para asegurar que, si la encuesta es anónima, éstos no permitan identificar al usuario que respondió.

2.   Herramienta de evaluación. Se utiliza la escala Likert para la evaluación, que consiste en una serie de sentencias en las cuales el cuestionado selecciona un grado de aceptación o rechazo de acuerdo a la escala propuesta. Las sentencias a generar deben estar agrupadas por dimensión. Estas aseveraciones deben estar relacionadas con las medidas válidas identificadas en la actividad dos de la segunda etapa. Es posible generar más de una sentencia para evaluar una medida ya que en el análisis posterior se realiza una tabulación de las preguntas para estos casos.

Otro punto a tener en cuenta es la forma en que se redactan las sentencias de las dimensiones Uso e Intención de Uso. Si bien éstas utilizan las mismas medidas, se diferencian si el software a evaluar es voluntario o mandatorio. Por ejemplo, si se quiere medir la frecuencia del uso de un software voluntario, la sentencia podría redactarse “Yo uso el software muy frecuentemente”. En el caso de un software mandatorio, una sentencia más apropiada sería: “Tengo la intención de usar el software frecuentemente”.

Se debe recordar incluir en el instrumento la información recopilada en la actividad uno de la primera etapa.

Recolección de Datos

Esta etapa considera dos actividades:

1.     Determinar la población objetivo. Teniendo en cuenta que es probable que al aplicar la encuesta la cantidad de muestras válidas obtenidas finalmente sea menor que la cantidad de la población encuestada, se debe calcular el valor de la muestra mínima necesaria n para obtener resultados representativos en relación a la población bajo estudio. Se sugiere utilizar la fórmula de la Ecuación (1) para determinar el tamaño de la muestra.

2.    Donde n es el tamaño de la muestra (valor a ser calculado); N es el tamaño de la población (cantidad total de personas a ser encuestadas); Z es la desviación del valor de la media aceptado para obtener el nivel de confianza deseado. Dependiendo del nivel de confianza que se dispone a aceptar, se determina un valor a partir de la distribución Gaussiana. Los niveles de confianza más utilizados son de 90%, 95% y 99%, lo que implica un valor de Z=1,645, Z=1,96 y Z=2,575, respectivamente. La variable e es el máximo margen de error tolerado. Se sugiere usar un 5%; p es la proporción de individuos que se espera obtener. Si no se tiene una noción de qué valor esperar, pensar en el escenario del peor caso, en el que se divide a la población equitativamente, es decir, se define p en 50%.

Análisis y Discución de la Información Recopilada

En esta etapa se incluyen seis actividades:

1.    Análisis de la información general o demográfica obtenida, ya que puede ayudar al momento de obtener las conclusiones. Sin embargo, esta es una tarea opcional que no afectará en los cálculos del éxito del producto.

2.   Tabulación de los resultados, en el que se debe identificar, para cada sentencia, la cantidad de encuestados que eligió cada opción.

3.   Análisis de frecuencia por medida. Para cada medida, se debe calcular el promedio de encuestados que eligió cada opción considerando todos los ítems asociados a la medida.

4.   Análisis de favorabilidad por medida. Para representar esto, se utiliza la propuesta de (Ayala, 2012) quien sugiere elaborar un diagrama de percepción positiva por medida (Ver Figura 3 del caso de estudio). Para construir este tipo de diagrama, se debe realizar el cálculo, para cada medida, de su porcentaje de desfavorabilidad, favorabilidad e indecisión. El diagrama deberá contener las dimensiones y medidas, y para cada medida se debe denotar mediante un color la percepción que tuvieron los encuestados de ella.

5.   Analizar la favorabilidad y desfavorabilidad de cada dimensión. También se utiliza el diagrama de percepción propuesto en (Ayala, 2012). El diagrama deberá contener las dimensiones, y para cada medida se debe denotar mediante porcentajes la percepción de desfavorabilidad y favorabilidad que tuvieron los encuestados con respecto a ellas.

6.   Discusión de los resultados, identificando las posibles brechas que pueda tener el software según las dimensiones evaluadas como desfavorables, y con base en esto identificar oportunidades de mejora y reportar las recomendaciones. En este punto es posible incorporar la información demográfica obtenida. Esta información no afecta directamente en el análisis del éxito del software, pero sí puede ser relevante para usar como guía para aplicar mejoras al software.

4.   Aplicación en un Caso de Estudio

La guía propuesta fue aplicada en una pequeña empresa de servicios comunicacionales con más de 15 años de experiencia, dedicada a apoyar la gestión de empresas de diversos ámbitos. La empresa está compuesta por tres principales áreas: diseño, prensa y Soporte, Ingeniería y Tecnología (SIT). Durante la aplicación de esta propuesta se contó con el apoyo del Gerente de Producción de la empresa, quién además fue el creador del producto de software a evaluar.

El producto evaluado lleva varios años en uso. Es una plataforma desarrollada en Microsoft Sharepoint Foundation 2010 que cuenta con diversos módulos que apoyan la gestión interna de la empresa. Este sistema es accesible desde la intranet de la empresa, y busca mejorar la toma de decisiones basadas en el registro y gestión de la información. Es usado por todas las áreas de la empresa, y hasta el día de hoy se siguen desarrollando nuevos módulos para complementarlo según vayan surgiendo nuevas necesidades. A continuación, se presenta la aplicación de la guía.

Etapa 1: Identificación del Contexto

La Tabla 1 muestra las preguntas que apoyan la realización de la actividad “Identificación del Software”. Todas estas preguntas fueron respondidas por el Gerente de Producción.

La Tabla 2 muestra las preguntas que se realizaron para la identificación de usuarios. Algunas respuestas han sido omitidas de la tabla por cuestiones de confidencialidad.

Etapa 2: Análisis del Modelo

Se determinan las dimensiones del modelo a evaluar. En este caso la organización decidió evaluar todas las dimensiones. Luego, se realiza la identificación de medidas válidas, a partir de un catálogo de medidas por dimensión que forma parte de esta guía propuesta, la organización seleccionó aquéllas que serían consideradas en la evaluación. La Tabla 3 muestra el total de medidas por dimensión disponibles en el catálogo, y la cantidad de medidas seleccionadas por la organización.

Etapa 3: Diseño del instrumento de evaluación

Se comienza por la elección de los datos demográficos a considerar. En este caso, la organización decidió realizar una encuesta de carácter anónimo, cuyas preguntas generales son Sexo (Masculino, femenino); Área (Gerencia, Administración, Prensa, Diseño, SIT); Experiencia de uso del software (menos de medio año, un año, dos años, más de dos años).

Luego se realiza la creación del instrumento, a partir de las medidas seleccionadas. Como ejemplo, la Tabla 4 muestra algunas preguntas que se asocian a la dimensión Beneficios Netos. Las preguntas se responden con base en la escala Likert definida por esta guía (Ver sección 2.4).

Etapa 4: Recolección de datos

Se realizó la determinación de la población objetivo, con base en la fórmula mostrada en la ecuación (1). Para este caso, la población objetivo son todos los trabajadores de la empresa que son usuarios del SIG, en total 19 personas. Considerando un nivel de confianza de 90%, y un error esperado de 5%, se obtiene al aplicar la ecuación que 18 es la cantidad mínima de personas que deben responder la encuesta para obtener resultados representativos.

Luego se procede a la aplicación de la encuesta. Ésta estuvo disponible 7 días a través de la herramienta Google Forms. Los trabajadores recibieron el enlace a la encuesta a través de sus correos institucionales. La Tabla 5 muestra el número de preguntas por dimensión. De las 19 personas consultadas, 18 respondieron la encuesta.

Etapa 5: Análisis de la información recopilada

Se realiza la tabulación de la información general o demográfica. Para este caso, 18 personas respondieron la encuesta. Se identificó un 72,2% de participación masculina y un 27,8% femenina. Por otro lado, el 27,8% de los encuestados pertenece al área de Prensa, al igual que SIT, mientras que un 22,2% pertenece al área de Diseño. Un 16,7% pertenece al área de Gerencia y un 5,6% al área de Administración. La mayoría de los encuestados posee más de dos años utilizando el sistema (44,4%), mientras que el 22,2% lo ha utilizado entre uno y dos años. Un 5,6% señala que lo ha utilizado entre seis meses y un año y un 27,8% en menos de seis meses.

La Tabla 6 muestra un ejemplo de la tabulación de resultados de los valores de frecuencia por ítem. En esta Tabla, la columna (1) representa “muy en desacuerdo”, la columna (2) “medianamente en desacuerdo”, la columna (3) “Ni de acuerdo, ni en desacuerdo”, la columna (4) “Medianamente de acuerdo” y la columna (5) “Muy de acuerdo”. Luego, la Tabla 7 muestra un ejemplo de los valores obtenidos en el análisis de frecuencia por medida.

Con esta información se procedió a analizar cada medida, organizadas por dimensión. Como ejemplo, la Tabla 8 muestra el análisis de algunas de las medidas correspondientes a la dimensión Calidad del Software. La Figura 2 muestra un ejemplo de los gráficos generados como parte de este análisis.

Se procede con el Análisis de Favorabilidad y Desfavorabilidad por medida, lo que se traduce en un análisis de apreciación para cada medida. Si la persona encuestada marcó “muy en desacuerdo” o “medianamente en desacuerdo” indica desfavorabilidad. Por otro lado, si la persona marcó “muy de acuerdo” o “medianamente de acuerdo” este indica favorabilidad. Si la persona no ha indicado favorabilidad o desfavorabilidad se considera indecisión. La Tabla 9 muestra un ejemplo de los porcentajes calculados.

Para visualizar de mejor forma los resultados obtenidos, se elaboró un diagrama de percepción positiva por medida que se muestra en la Figura 3.

Después, se elaboró un diagrama de percepción por dimensión que se muestra en la Figura 4.

Finalmente se realiza la discusión de los resultados. Entre las conclusiones más relevantes, se puede mencionar que las dimensiones más exitosas determinadas por el estudio son la Calidad del Servicio (80,56% de favorabilidad), la Satisfacción de Usuario (73,61% de favorabilidad), y la Calidad de la Información (72,22% de favorabilidad). Es importante destacar que la dimensión de la Calidad del Software es la peor evaluada (55,83% de favorabilidad y un 20,83% de desfavorabilidad), debido a que se ven afectados dentro de esta dimensión aspectos como la facilidad de aprendizaje / uso, flexibilidad, integración, interactividad y navegación. Esta oportunidad de mejora se encuentra asociada principalmente a las limitaciones que presenta la plataforma Microsoft Sharepoint 2010, ya que, pese a ser utilizada hace bastante tiempo por la empresa, su falta de actualización restringe la forma de interacción con el usuario al presentar limitadas opciones para desplegar información. Además, se discutieron los resultados obtenidos en cada una de las preguntas, ordenados por dimensión. En cada una se destacan aquellas medidas evaluadas como no exitosas, identificando de manera explícita oportunidades de mejora.

5. Conclusiones

Se pudo apreciar la importancia de diferenciar calidad de éxito. Si bien el éxito de un producto puede ir de la mano con la calidad de éste, los métodos de evaluación de calidad no engloban el concepto de éxito en su totalidad.

En la revisión de literatura realizada, no se encontró aplicaciones del modelo D&M en pequeños entornos, ni especificaciones detalladas de cómo generar el instrumento de evaluación.

La guía propuesta busca facilitar la evaluación de sistemas utilizados por pequeños entornos, con base en el modelo de D&M, a través de la definición de etapas y actividades concretas a desarrollar, además de proveer un conjunto de preguntas que aceleran el diseño del instrumento.

Al aplicar la propuesta en una pequeña empresa, se pudo observar que el instrumento de medición generado a partir del modelo es útil en la evaluación del éxito del producto de software, reflejando de manera simple y clara los aspectos en los que es posible realizar mejoras. De hecho, para el caso de estudio se pudo evidenciar que la dimensión de la Calidad del Software fue la menos favorable.

El realizar una investigación de este tipo contribuye a proveer de herramientas más inteligentes y conocimiento estructurado que facilite la evaluación del éxito que ha tenido un producto de software dentro de su entorno, proporcionando la detección de oportunidades de mejora del mismo.

La guía desarrollada en este trabajo es útil para determinar qué aspectos del producto de software evaluado se están desempeñando bien, y de esta forma también detectar oportunidades de mejora.

Durante la etapa de la aplicación de la propuesta en un caso de estudio se pudo detectar posibles mejoras al formato de evaluación:

Agregar un espacio al final de las sentencias para que, opcionalmente, los encuestados puedan escribir sus opiniones, sugerencias u observaciones con respecto al sistema. Esto puede resultar de gran utilidad al momento de discutir los resultados.

Realizar un análisis con los resultados obtenidos de las sentencias que permita filtrar datos según la información demográfica.

REFERENCIAS

Ayala, A. (2012). Evaluación del módulo de Recursos Humanos del Enterprise Resource Planning (ERP) en una empresa colombiana usando el modelo de Delone y Mclean. Universidad Nacional de Colombia., desde:  http://bdigital.unal.edu.co/8595/1/2822130.2012.pdf (Obtenido 24 septiembre 2018).         [ Links ]

Baccarini, D. (1999). The Logical Framework Method for Defining Project Success. Project Management Journal, 30(4), 25-32.         [ Links ]

Berntsson-Svensson, R., & Aurum, A. (2006). Successful software project and products. En ISESE ’06 Proceedings of the 2006 ACM/IEEE International Symposium on Empirical Software Engineering. doi: 10.1145/1159733.1159757.         [ Links ]

Bossen, C., Jensen, L., & Udsen, F. (2013). Evaluation of a comprehensive EHR based on the DeLone and McLean model for IS success: Approach, results, and success factors. International Journal of Medical Informatics, 82(10), 940-953.         [ Links ]

Cohen, J., Coleman, E., & Kangethe, M. (2016). An importance-performance analysis of hospital information system attributes: A nurses’ perspective. International Journal of Medical Informatics, 86, 82-90.         [ Links ]

DeLone, W., & McLean, E. (2003). The Delone and McLean Model of Information Systems Success: A Ten-Year Update. Journal of Management Information Systems, 19(4), 9-30.         [ Links ]

Gay, G. (2016). An assessment of online instructor e-learning readiness before, during, and after course delivery. Journal of Computing in Higher Education, 28(2), 199-220.         [ Links ]

Geraci, A., Katki, F., McMonegal, L., Meyer, B., & Porteous, H. (1991). IEEE Standard Computer Dictionary. A Compilation of IEEE Standard Computer Glossaries. IEEE Std 610.         [ Links ]

Hung-Joubert, Y. (2017). Investigating the construct validity of quality measures influencing online shopping in a south african context. Management & Marketing, 12(3), 376-401.         [ Links ]

Jiang, J., & Klein, G. (1999). User evaluation of information systems: by system typology. IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans, 29(1), 111-116.         [ Links ]

Jiménez, J., San Feliú, T. & Calvo-Manzano, J. (2016). Una aproximación basada en metamodelado del área de proceso de Validación del CMMI: Un caso de estudio. Revista Ibérica de Sistemas y Tecnologías de Información RISTI, 17, 26-40.

Keikhosrokiani, P., Mustaffa, N., & Zakaria, N. (2018). Success factors in developing iHeart as a patient-centric healthcare system: A multi-group analysis. Telematics and Informatics, 35(4), 753-775.         [ Links ]

Linberg, K. (1999). Software developer perceptions about software project failure: a case of study. Journal of Systems and Software, 49(2-3), 177-192.         [ Links ]

Roky, H., & Al-Meriouh, Y. (2015). Evaluation by Users of an Industrial Information System (XPPS) Based on the DeLone and McLean Model for IS Success. Procedia Economics and Finance, 26, 903-913.         [ Links ]

Tam, C., & Oliveira, T. (2016). Understanding the impact of m-banking on individual performance: DeLone & McLean and TTF perspective. Computers in Human Behavior, 61, 233-244.         [ Links ]

Tubaishat, A. (2017). Evaluation of electronic health record implementation in hospitals. CIN - Computers Informatics Nursing, 35(7), 364-372.         [ Links ]

Vasconcelos, J. B., Kimble, C., Carreteiro, P., & Rocha, Á. (2017). The application of knowledge management to software evolution. International Journal of Information Management, 37(1), 1499-1506.         [ Links ]

Wang, Y., Li, C., Yeh, C., Cheng, S., Chiou, C., Tang, Y., & Tang, T. (2016). A conceptual model for assessing blog-based learning system success in the context of business education. The International Journal of Management Education, 14(3), 379-387.         [ Links ]

Weerakkody, V., Irani, Z., Lee, H., Hindi, N., & Osman, I. (2016). Are U.K. Citizens Satisfied With E-Government Services? Identifying and Testing Antecedents of Satisfaction. Information Systems Management, 33(4), 331-343.         [ Links ]

Whyte, G., Bytheway, A., & Edwards, C. (1997). Understanding user perceptions of information systems success. Journal of Strategic Information Systems, 6(1), 35-68.         [ Links ]

Yang, M., Shao, Z., Liu, Q., & Liu, C. (2017). Understanding the quality factors that influence the continuance intention of students toward participation in MOOCs. Educational Technology Research and Development, 65(5), 1195-1214.         [ Links ]

Recebido/Submission: 22/07/2018

Aceitação/Acceptance: 20/09/2018