Propuesta de paquete de laboratorio para experimentos de ingeniería de software

Resumen

En la ingeniería de software empírica se aplican diversos métodos para promover la generación y validación de conocimiento. La realización de experimentos es un paso necesario del método científico. Para que el conocimiento empírico pueda madurar se requiere que los experimentos sean replicados. El propósito de la replicación es aumentar la confianza sobre los resultados y profundizar en los detalles del fenómeno estudiado. Este trabajo pretende facilitar la replicación de experimentos de ingeniería de software. Para satisfacer este objetivo, se realiza una propuesta de paquete de laboratorio para experimentos de ingeniería de software. El paquete de laboratorio es el contenedor del conocimiento relativo a un experimento. Esto incluye las instrucciones y materiales del experimento con el objetivo de replicarlo. La propuesta está compuesta por una estructura y guías para la elaboración del contenido de un paquete de laboratorio en el contexto de la investigación experimental en ingeniería de software. Para distintos experimentos de ingeniería de software se puede instanciar un paquete de laboratorio de acuerdo a la propuesta que facilite la replicación. Para obtener la propuesta de paquete de laboratorio se sigue un proceso empírico e inductivo. En primer lugar, se elabora un modelo de evaluación de replicaciones. El modelo define un conjunto de aspectos de evaluación que permiten comparar los resultados de replicaciones que usan distintos tipos de instrumentos e identificar los incidentes ocurridos. Mediante el análisis de los incidentes, el estudio de la usabilidad de la documentación y las propuestas de los usuarios, se desarrolla una propuesta genérica de paquete de laboratorio. La validación de la propuesta se realiza mediante la instanciación de paquetes de laboratorio para experimentos concretos y usándolos en replicaciones. La instanciación de paquetes de laboratorio para varios de experimentos muestra la viabilidad y flexibilidad de la propuesta. Las evaluaciones de replicaciones que usan paquetes de laboratorio estructurados de acuerdo a la propuesta muestran mejores resultados en los aspectos: completitud, usabilidad, eficacia, eficiencia y satisfacción del investigador participante. Abstract Several methods are used in empirical software engineering to generate and validate knowledge. Performing experiments is a necessary step of the scientific method. Replication of experiments is required to mature the empirical knowledge. The objective of replication is to gain trust on the results and dig into the details of the studied phenomenon. The goal of this work is to facilitate replication of software engineering experiments. In order to satisfy this objective, a laboratory package proposal for software engineering experiments is made. The laboratory package is the container of the knowledge about an experiment. This includes experiment instructions and materials with the objective of replication. The proposal is composed by a structure and content guidelines in the context of experimental software engineering research. For different experiments a laboratory package can be instantiated according to the proposal to facilitate replication. An empirical and inductive process is used to obtain the laboratory package proposal. First, a replication evaluation model is created. The model defines a set of evaluation aspects to allow the comparison of replications which use different types of instruments and to identify incidents. A generic laboratory package proposal is developed using the incident analysis, the study of document usability and the users’ requests. The proposal is validated with the instantiation of laboratory packages for concrete experiments and using them in replications. The instantiation of laboratory packages for different experiments shows the viability and flexibility of the proposal. The evaluation of replications which use laboratory packages structured according to the proposal shows better results in the aspects: completeness, usability, efficacy, efficiency and satisfaction of the participating researcher.