Selección de conjuntos de datos a publicar en abierto basada en el Método Delphi Difuso

• Autores: Robert Arturo Enriquez Reyes
• Directores de la Tesis: José-Norberto Mazón López (dir. tes.) , Andrés Fuster Guilló (codir. tes.)
• Lectura: En la Universitat d'Alacant / Universidad de Alicante ( España ) en 2019
• Idioma: español
• Tribunal Calificador de la Tesis: Belén Vela (presid.) , Irene Garrigós Fernández (secret.) , José María Cecilia Canales (voc.)
• Enlaces
  • Tesis en acceso abierto en: RUA
• Resumen

  • Este trabajo de investigación se enfoca inicialmente en la realización de un mapeo sistemático para clasificar y analizar la investigación de datos abiertos realizada en la comunidad científica desde un punto de vista tecnológico, proporcionando una categorización de los trabajos de investigación basada en cinco facetas clave: impacto, tema, dominio, fases y tipo de investigación. Por lo tanto, este documento proporciona una visión general del área de datos abiertos que permite a los lectores identificar temas bien establecidos, tendencias y líneas de investigación abiertas. Además, se ofrece una extensa discusión cuantitativa y cualitativa que puede ser de utilidad para futuras investigaciones. La primera fase de identificación resultó en 671 artículos relevantes revisados por pares, publicados entre 2006 y 2017 en una amplia variedad de lugares. Se observa que el debate actual de la apertura de datos se centra en abrir los datos, especialmente públicos, teniendo en cuenta la ley de transparencia y la de protección de datos de cada país. Sin embargo, el mero cumpliendo de estas leyes no asegura la generación de valor a partir de los datos abiertos, ya que uno de sus beneficios más importantes se consigue cuando se reutilizan para crear productos y servicios TI de valor agregado. Uno de los problemas que necesariamente deben abordar las organizaciones que emprenden procesos de apertura es la selección de los conjuntos de datos a abrir. Se debe conocer qué datos de origen de la institución serían los más usados para generar valor a la sociedad con el fin de seleccionarlos para su apertura. Sin embargo, conocer los conjuntos de datos solicitados por la comunidad reutilizadora no es suficiente, pues publicar los datos tiene un costo en cuanto a hardware, software y recursos humanos que es necesario valorar. Por tanto, es necesario encontrar un equilibrio entre el interés reutilizador de los conjuntos de datos y su coste de publicación. Las propuestas estudiadas no combinan el criterio de los reutilizadores y el de los publicadores, ni utilizan un método formal conduciendo a resultados poco objetivos. En este trabajo de tesis doctoral se propone paliar esta problemática mediante la aplicación del Método Delphi Difuso con el fin de determinar qué conjuntos de datos son más susceptibles de ser reutilizados y qué conjuntos de datos tendrán un costo asumible para su publicación para proceder a su apertura. Se establece, además, a lo largo del trabajo de investigación un caso concreto de aplicación en el ámbito de las universidades ecuatorianas. Estas se encuentran en un proceso constante de innovación y buscan la participación y colaboración de los estudiantes y la comunidad universitaria en general, para generar productos y servicios TI de valor agregado a través de la apertura de sus conjuntos de datos.

    INTRODUCCION: El uso intensivo de las tecnologías de la información y comunicaciones, Internet, los dispositivos móviles al alcance de todos, los sensores, el internet de las cosas (IoT, Internet of the Things), el creciente impacto de las redes sociales y la Web 2.0, han generado un crecimiento exponencial en la producción de datos tanto en el sector público como en el privado [1]. Con el impulso del concepto de “Gobierno Abierto”, las instituciones públicas están publicando sus datos en abierto para que sean reutilizados con el fin de estimular el crecimiento económico y social. La comunidad reutilizadora (ciudadanos, universidades, estudiantes, empresas, periodistas, desarrolladores de software, investigadores, ONGs, etc…) reconoce la importancia de que dichos datos sean publicados en abierto [2], [3]. Para que estos conjuntos de datos tengan la máxima efectividad en la reutilización, debe de asegurarse que estén disponibles de manera estable en el tiempo, así como un mantenimiento adecuado [4]. Esto implica costos de publicación a nivel económico, tanto en tiempo como a nivel presupuestario. Por tanto, las entidades públicas deben implementar estrategias que permitan publicar sus datos en abierto teniendo en cuenta un coste adecuado, evitando publicar datos que no se reutilicen. En la investigación desarrollada en esta tesis doctoral se plantea una propuesta formal que permita dotar a las organizaciones que quieran publicar sus datos en abierto del conocimiento adecuado para trazar este tipo de estrategias.

    DESARROLLO TEORICO:

    Método de selección de conjuntos de datos a abrir Un de las cuestiones clave para las instituciones que abordan procesos de apertura de datos, es la selección de los conjuntos de datos a abrir. Se observa en este estudio previo que esta selección debe incorporar criterios para maximizar el potencial reutilizador de los conjuntos, minimizando los costes de apertura. El método propuesto toma en cuenta lo analizado en el estado del arte, donde para lograr una alta efectividad, tanto en uso como en costo de publicación, se debe tomar en cuenta a los reutilizadores y a los publicadores. Una vez con los conjuntos de datos seleccionados por los reutilizadores se debe optimizar la publicación de acuerdo al coste por los publicadores que son los que colocarán los conjuntos de datos en los portales de datos abiertos. Se realiza la consulta en primer lugar a los reutilizadores debido a que, de los conjuntos de datos que pueden estar en abierto solo se reutilizan aquellos en los que más interés tengan los reutilizadores.

    Para conseguir esta selección efectiva de conjuntos de datos para abrir se propone un método que consiste en cuatro pasos. Este método utiliza como base de selección a los expertos, tanto reutilizadores como publicadores, quienes con el Método Delphi Difuso logran consensos para seleccionar los conjuntos de datos a abrir, debido a que serán los que más potencial tengan para crear productos y servicios TI de valor agregado, además de un menor costo de apertura.

    El método de selección de conjuntos de datos a abrir (ODSM del inglés Open Data Selecting Method) empieza con: (i) Definición de conjuntos de datos iniciales, dependiendo de la industria o sector donde se necesite abrir conjuntos de datos. Se puede tomar como referencia instituciones similares de otros países o experiencias de expertos. (ii) Aplicación a estos conjuntos de un método de selección basada en la consulta a expertos reutilizadores y utilizando el Método Delphi Difuso (MDD). (iii) Aplicación de un método de selección basados en la consulta a expertos publicadores que seleccionarán, entre los conjuntos seleccionados por los reutilizadores, los que sean factibles desde el punto de vista del costo asumible para su publicación, utilizando el mismo MDD para su definición. (iv) Se obtiene como producto los conjuntos de datos a abrir tomando en cuenta el punto de vista del reutilizador y el publicador haciendo efectiva su selección y apertura.

    Método de selección de conjuntos de datos según el reutilizador Para su aplicación se propone un método dividido en fases, cuyo objetivo es lograr identificar los conjuntos de datos a abrir según el criterio de los reutilizadores. A continuación, se describen estas fases De acuerdo a lo descrito previamente en el método, se selecciona los conjuntos de datos a abrir desde el punto de vista del reutilizador, en el cual se aplica la teoría difusa al Método Delphi y las funciones de membresía triangular, explicadas a detalle en el capítulo de metodología. La imprecisión del consenso de expertos se resuelve utilizando la teoría difusa, evaluándose en una escala más flexible. Con este método se consigue una manera formal y sistemática de definir los conjuntos de datos a abrir desde el punto de vista del reutilizador.

    Fase 1: Conjunto de datos iniciales.

    Se realiza una búsqueda de un mínimo conjunto de datos representativos publicados en el sector público o privado a analizar. Los pasos que se ejecutan son: 1) Definición: Se determinan conjuntos de datos abiertos publicados en el sector. Para esta definición se puede buscar por sector de industria en los portales abiertos publicados o consultar a expertos del área, también es importante la experiencia del investigador que va a aplicar el método.

    2) Eliminación: Se eliminan los conjuntos de datos duplicados.

    3) Consolidación: De los conjuntos de datos sin duplicación se realiza una depuración consolidando en grupos de conjuntos de datos bajo algún criterio, por ejemplo, de información contenida.

    Fase 2: Selección de los expertos.

    Los expertos son personas del entorno del sector de la industria analizada que deben estar relacionadas con el ámbito de actuación y que tengan conocimiento de datos abiertos, preferiblemente que hayan participado como infomediarios de los mismos.

    Fase 3: Aplicación del Método Delphi Difuso Una vez definida la línea base y seleccionado el grupo de expertos, se procede a aplicar el Método Delphi Difuso. Se elabora un cuestionario que será respondido por los expertos reutilizadores y servirá para la primera iteración. Se realizan iteraciones con las que se debe conseguir los consensos necesarios para definir los conjuntos de datos a abrir desde el punto de vista de los expertos reutilizadores.

    Se debe estructurar la pregunta de tal manera que los expertos puedan dar su criterio de acuerdo a la probabilidad de uso de los conjuntos de datos de entrada.

    Como ejemplo de preguntas tipo se propone las siguientes:

    Primera iteración: Pregunta 1: ¿Cuál es la probabilidad que los siguientes conjuntos de datos se reutilicen para generar aplicaciones o servicios de valor agregado para el sector? Indique el porcentaje más pesimista, moderado y optimista de acuerdo a su criterio de probabilidad de reutilización.

    Pregunta 2: ¿Piensa que existen conjuntos de datos abiertos importantes que faltan?, Si es así, ¿podría sugerir nuevos conjuntos de datos que puedan ser abiertos para ser implementados en aplicaciones del sector? Segunda iteración: Para la segunda iteración se presentan los resultados obtenidos a cada experto, añadiendo la media geométrica de cada valor dado y los comentarios de los conjuntos de datos analizados. Con esta información se solicita que ajusten sus valores iniciales o se mantengan en los mismos. Se debe incluir los nuevos conjuntos de datos que ellos propongan.

    Fase 4: Conjuntos de datos seleccionados por los reutilizadores.

    Con los resultados obtenidos de la aplicación del MDD, se elabora una tabla resumen donde se ubican los conjuntos de datos con sus valores de S_"j" > r, queda a criterio del investigador tomar el valor de referencia de acuerdo al índice de confiabilidad que necesite.

    Resultados del método de selección de conjuntos de datos según el reutilizador.

    Al aplicar el método definido se deben logran seleccionar conjuntos de datos, con su número nítido S_"j" > r para su análisis.

    Se debe mantener un número mínimo de participación de expertos.

    Método de Selección de Conjuntos de Datos según el publicador Los conjuntos de datos obtenidos desde el punto de vista del reutilizador representan el conjunto de información de entrada para el método de selección desde el punto de vista del publicador. Los expertos publicadores seleccionan los conjuntos a abrir según el costo, en términos de hardware, software y recursos humanos para preparar los datos para publicarlos en una plataforma de datos abiertos Fase 1: Conjuntos de datos de entrada para los publicadores.

    Los conjuntos seleccionados por los reutilizadores son los conjuntos de entrada para el método de selección de los expertos publicadores.

    Fase 2: Selección de los expertos.

    Los expertos serán escogidos por su participación en la implementación de portales de datos abiertos y que conocen los datos que se generan en el sector analizado y la estimación de su costo de publicación. Se debe cuidar un número mínimo de participantes.

    Fase 3: Aplicación del Método Delphi Difuso Una vez definida la línea base se procede a aplicar el Método Delphi Difuso para lo cual se elabora el cuestionario contestado por los expertos publicadores. Para cada sector se podría escoger el cuestionario adecuado, como ejemplo se propone:

    Primera iteración: Pregunta: La comunidad reutilizadora ha definido los siguientes conjuntos de datos para que sean publicados. Como usted conoce existe un costo involucrado, en términos de personas, infraestructura y aplicaciones, para preparar los datos para publicarlos en una plataforma de datos abiertos. Tomando en cuenta que estos datos no estuvieran digitalizados ¿Cuál es el costo más bajo, más probable y más alto que se tendría para publicar cada uno de los siguientes conjuntos de datos? Tomar una escala del 1 al 10 donde 10 es el costo más alto posible.

    Segunda iteración: Para la segunda iteración se presentan los resultados obtenidos. Se entrega a cada experto la media geométrica de cada valor dado y los comentarios de los conjuntos de datos analizados. Con esta información se solicita ajusten sus valores o se mantengan en los mismos.

    Fase 4: Presentación de resultados Con los resultados obtenidos de la aplicación del MDD, se elabora una tabla resumen donde se ubican los conjuntos de datos que deberían publicarse.

    Resultados Método de Selección de Conjuntos de Datos según el Publicador Se debe realizar un análisis de los resultados obtenidos. Es conveniente construir tablas con la información necesaria para este análisis. Se deben presentar que conjuntos de datos alcanzan los consensos en la primera iteración y en las siguientes iteraciones.

    Resultados del Método de Selección de Conjuntos de Datos Considerando un costo razonable de publicación se debe construir una tabla con los resultados finales de los conjuntos de datos a publicar.

    CONCLUSIONES: Para lograr identificar espacios de mejora en el método de apertura de datos, un objetivo de esta tesis era analizar y clasificar la investigación de datos abiertos realizada en la comunidad desde el punto de vista tecnológico. Esto se logra implementando un estudio de mapeo sistemático a 671 publicaciones sobre datos abiertos con las siguientes aportaciones: Proporciona una visión general y consolidada del campo de los datos abiertos y sus tendencias.

    Determina las publicaciones y foros científicos más utilizadas sobre datos abiertos desde el punto de vista técnico.

    Define los espacios de tiempo donde han sido identificados los mayores aportes de publicaciones en el tema de datos abiertos.

    Encuentra que la Web Semántica, la Ingeniería de Software y el Gobierno son los temas más importantes abordados en la investigación. El gran reto de los datos abiertos es lograr una legislación adecuada que balancee la apertura de datos con la privacidad de datos personales, sin ser contrapuestos, sino más bien se complementan.

    Determina que los infomediarios es el dominio más desarrollado en las publicaciones, así como las fases de Explotación y Exploración de datos. Lo que confirma la necesidad de tomar en cuenta en la publicación de datos a los reutilizadores para aperturar los conjuntos de datos de las instituciones.

    Encuentra que las fases relacionadas con el consumo de datos están muy poco representadas y que se debe realizar un esfuerzo desde el lado de la investigación para publicar conjuntos de datos que finalmente se utilicen. Identifica que existen proyectos con financiamiento para impulsar iniciativas innovadoras en el campo de los datos abiertos y su impacto en la generación de empleo para la comunidad y beneficio social para la ciudadanía.

    Permite concluir la necesidad de proponer métodos formales de selección de conjuntos de datos a abrir por parte de las instituciones, teniendo en cuenta el punto de vista del reutilizador y el publicador.

    Apoyado en las conclusiones del estado del arte, este trabajo de investigación también tenía como objetivo proporcionar un método para la selección de los conjuntos de datos a abrir por parte de organizaciones que aborden procesos de apertura. El método se propone con el objetivo de ser general y aplicable en diferentes contextos que impliquen distintas organizaciones y colectivos. Además, se busca que sea un método científico, debiendo estar dotado del formalismo necesario para garantizar una aplicabilidad y obtención de resultados sistemática. Finalmente, de acuerdo con las conclusiones del estado del arte, este método deberá integrar el punto de vista del reutilizador, así como el del publicador. Dicho método ha sido implementado con la utilización de un método de selección de conjuntos de datos a ser abiertos desde el punto de vista de su potencial de reutilización y el costo de publicación, consultando la opinión de expertos, para lo que se utiliza el Método Delphi Difuso, presentando las siguientes aportaciones: Creación de un método general de selección de conjuntos de datos donde se consulta expertos reutilizadores que generan una escala de prioridad de conjuntos a abrirse. Estos conjuntos son evaluados por expertos publicadores tomando en cuenta el coste asumible para su publicación, dando como resultado un grupo de conjuntos de datos con mayor probabilidad de reutilización y coste adecuado para su publicación.

    Introducción del Método Delphi Difuso como mecanismo de generación de consensos en cada etapa. Este ha permitido la selección tanto desde el punto de vista del reutilizador como del publicador, con la rigurosidad matemática necesaria, que permite en pocas iteraciones dar los resultados de la selección.

    Definición del método de selección de expertos que trabajarán con el Método Delphi Difuso, las preguntas de investigación que generen números difusos y los conjuntos de datos iniciales que permiten aplicar el método en diferentes contextos que impliquen distintas organizaciones y expertos.

    Aplicación del método propuesto para la selección de conjuntos de datos a abrir en un caso de estudio en las Universidades Ecuatorianas, con dimensión y complejidad para la obtención de conclusiones. Donde se logró definir, de un grupo de 30 conjuntos de datos, 6 con potencial de reutilización alto y un coste adecuado de publicación. Esto permite a las universidades consensuar de forma objetiva, internamente entre distintos colectivos usuarios y externamente con otras universidades, las prioridades de publicación de datos, con criterios de optimización del potencial reutilizador y el coste.

    BIBLIOGRAFIA: [1] J. Gantz and D. Reinsel, “Big Data , Bigger Digital Shadows , and Biggest Growth in the Far East,” Idc, vol. 2007, no. December 2012, pp. 1–16, 2012.

    [2] G. Vickery, “Review of Recent Studies on Psi Re-Use and Related Market Developments Review of Recent Studies on Psi Re-Use and Related Market Developments 1 Executive Summary / Key Findings 3 Task Description 6.” [3] M. Janssen, Y. Charalabidis, and A. Zuiderwijk, “Benefits, Adoption Barriers and Myths of Open Data and Open Government,” Inf. Syst. Manag., vol. 29, no. 4, pp. 258–268, 2012.

    [4] S. Martin, M. Foulonneau, S. Turki, M. Ihadjadene, U. Paris, and P. Tudor, “Risk analysis to overcome barriers to open data,” Electron. J. e-Government, vol. 11, no. 1, pp. 348–359, 2013.

    [5] A. Ramirez-Alujas, “Open Government and Modernization of Public Management: Current Trends and the (inevitable) way forward. Seminal Reflections,” Rev. Enfoques, vol. Vol. IX, no. 15, pp. 99–115, 2011.

    [6] J. J. Zubcoff et al., “The university as an open data ecosystem,” Int. J. Des. Nat. Ecodynamics, vol. 11, no. 3, pp. 250–257, 2016.

    [7] B. Obama, “Open government directive,” White House, 2009. .

    [8] I. Susha, A. Zuiderwijk, M. Janssen, and Å. Grönlund, “Benchmarks for Evaluating the Progress of Open Data Adoption: Usage, Limitations, and Lessons Learned,” Soc. Sci. Comput. Rev., vol. 33, no. 5, pp. 613–630, 2015.

    [9] J. Attard, F. Orlandi, S. Scerri, and Soren Auer, “A systematic review of open government data initiatives,” Gov. Inf. Q., vol. 32, no. 4, pp. 399–418, 2015.

    [10] M. Lee, E. Almirall, and J. Wareham, “Open data and civic apps,” Commun. ACM, vol. 59, no. 1, pp. 82–89, 2015.

    [11] J. C. Bertot, P. T. Jaeger, and J. M. Grimes, “Using ICTs to create a culture of transparency: E-government and social media as openness and anti-corruption tools for societies,” Gov. Inf. Q., vol. 27, no. 3, pp. 264–271, 2010.

    [12] S. A. Chun, S. Shulman, R. Sandoval, and E. Hovy, “Government 2.0: Making connections between citizens, data and government,” Inf. Polity, vol. 15, no. 1–2, pp. 1–9, 2010.

    [13] A. Zuiderwijk, M. Janssen, S. Choenni, R. Meijer, R. Sheikh_Alibaks, and R. S. Alibaks, “Socio-technical impediments of open data,” Electron. J. eGovernment, vol. 10, no. 2, pp. 156–172, 2012.

    [14] J. J. Aparicio, Juan Manuel; Fuster, Andrés; Garrigós, Irene; Maciá, Francisco; Mazon, Jose Norberto;VAquer Llorenç; Zubcoff, ECOSISTEMA DE DATOS ABIERTOS De la Universidad de Alicante. Alicante.

    [15] G. Concha and A. Naser, “Panorama de gobierno Electrónico en la región: resultados e impactos,” El desafío hacia el Gob. abierto en la hora la Igual., p. 134, 2012.

    [16] A. Naser and D. Rosales, “Panorama regional,” pp. 23–67, 2016.

    [17] Alon Peled, “When Transparency and Collaboration Collide: The USA Open Data Program,” J. Am. Soc. Inf. Sci. Technol., vol. 11, no. 62, pp. 2085–2094, 2011.

    [18] M. Janssen, Y. Charalabidis, and A. Zuiderwijk, “Benefits , Adoption Barriers and Myths of Open Data and Open Government Benefits , Adoption Barriers and Myths of Open Data and Open Government,” vol. 0530, 2012.

    [19] P. Conradie and S. Choenni, “On the barriers for local government releasing open data,” Gov. Inf. Q., vol. 31, pp. S10–S17, 2014.

    [20] B. Kitchenham et al., “Systematic literature reviews in software engineering-A tertiary study,” Inf. Softw. Technol., vol. 52, no. 8, pp. 792–805, 2010.

    [21] K. Petersen, R. Feldt, S. Mujtaba, and M. Mattsson, “Systematic Mapping Studies in Software Engineering,” 12Th Int. Conf. Eval. Assess. Softw. Eng., vol. 17, p. 10, 2008.

    [22] S. Casteleyn, I. Garrigós, and J.-N. Mazón, “Ten years of Rich Internet applications: A systematic mapping study, and beyond,” ACM Trans. Web, vol. 8, no. 3, 2014.

    [23] S. Barney, K. Petersen, M. Svahnberg, A. Aurum, and H. Barney, “Software quality trade-offs: A systematic map,” Inf. Softw. Technol., vol. 54, no. 7, pp. 651–662, 2012.

    [24] E. R. P. M. Engström, “A systematic review on regression test selection techniques,” ACM Int. Conf. Proceeding Ser., vol. 53, no. 1, pp. 14–40, 2010.

    [25] D. Garson, The Delphi Method in Quantitative Research, 2014th ed. Asheboro, NC 27205 USA: Publishing, Statistical Associates, 2014.

    [26] H. Danladi, M. Rusli, and A. Makmom, “Delphi method of developing environmental well-being indicators for the evaluation of urban sustainability in Malaysia,” Procedia Environ. Sci., vol. 30, pp. 244–249, 2015.

    [27] C. Wu and W. Fang, “Combining the Fuzzy Analytic Hierarchy Process and the fuzzy Delphi method for developing critical,” pp. 751–768, 2011.

    [28] M. J. dos Santos and E. de Mello Fagotto, “Cloud Computing Management Using Fuzzy Logic,” IEEE Lat. Am. Trans., vol. 13, no. 10, pp. 3392–3397, 2015.

    [29] M. Mendonca, I. Rossato Chrun, M. Antonio Ferreira Finocchio, and E. Eire De Mello, “Fuzzy cognitive maps applied to student satisfaction level in an university,” IEEE Lat. Am. Trans., vol. 13, no. 12, pp. 3922–3927, 2015.

    [30] C. Lin and L. Z. Chuang, “Using Fuzzy Delphi Method and Fuzzy AHP for Evaluation Structure of the Appeal of Taiwan ’ s Coastal Wetlands Ecotourism,” pp. 347–358, 2012.

    [31] W. Liu, “Application of the Fuzzy Delphi Method and the Fuzzy Analytic Hierarchy Process for the Managerial Competence of Multinational Corporation Executives,” vol. 3, no. 4, pp. 313–317, 2013.

    [32] P. Chang, C. Hsu, and P. Chang, “Fuzzy Delphi method for evaluating hydrogen production technologies,” Int. J. Hydrogen Energy, vol. 36, no. 21, pp. 14172–14179, 2016.

    [33] Y. L. Hsu, C. H. Lee, and V. B. Kreng, “The application of Fuzzy Delphi Method and Fuzzy AHP in lubricant regenerative technology selection,” Expert Syst. Appl., vol. 37, no. 1, pp. 419–425, 2010.

    [34] S. A. Publishing, 2014 Edition Single User License . Do not copy or post . 2014 Edition ISBN : 978-1-62638-018-9 Single User License . Do not copy or post . 2014.

    [35] Y. and others George, J Klir and Bo, Fuzzy sets and fuzzy logic: Theory and applications. 1995.

    [36] S. Hsueh, “Assessing the effectiveness of community-promoted environmental protection policy by using a Delphi-fuzzy method : A case study on solar power and plain afforestation in Taiwan,” Renew. Sustain. Energy Rev., vol. 49, pp. 1286–1295, 2015.

    [37] Y. Wang, G. Yeo, and A. K. Y. Ng, “Choosing optimal bunkering ports for liner shipping companies : A hybrid Fuzzy-Delphi – TOPSIS approach,” Transp. Policy, vol. 35, pp. 358–365, 2014.

    [38] W.-K. Liu, “Application of the Fuzzy Delphi Method and the Fuzzy Analytic Hierarchy Process for the Managerial Competence of Multinational Corporation Executives,” Int. J. e-Education, e-Business, e-Management e-Learning, vol. 3, no. 4, pp. 313–317, 2013.

    [39] F. Herrera and L. Martónez, “A 2-Tuple Fuzzy Linguistic Representation Model for Computing with Words,” IEEE Trans. Fuzzy Syst., vol. 8, no. 6, pp. 746–752, 2000.

    [40] L. O. Seman, G. Gomes, R. Hausmann, and E. A. Bezerra, “A quadratic fuzzy regression approach for handling uncertainties in Partial Least Squares Path Modeling,” IEEE Lat. Am. Trans., vol. 16, no. 1, pp. 192–201, 2018.

    [41] https://opendatacharter.net, “G8 Open Data Charter,” G8 Lough Erne 2013, no. June, pp. 1–10, 2013.

    [42] J. Hagel III, “‘The Coming Battle for Customer Information’.,” Harvard Business Review., 1997.

    [43] Open Data Charter, “International Open Data Charter,” no. September, p. 8, 2015.

    [44] R. Wieringa, N. Maiden, N. Mead, and C. Rolland, “Requirements engineering paper classification and evaluation criteria: A proposal and a discussion,” Requir. Eng., vol. 11, no. 1, pp. 102–107, 2006.

    [45] A. Latif, A. Scherp, and K. Tochtermann, “LOD for Library Science: Benefits of Applying Linked Open Data in the Digital Library Setting,” KI - Künstliche Intelligenz, vol. 30, no. 2, pp. 149–157, 2015.

    [46] A. Ramos-Soto, A. Bugarín, S. Barro, and F. Díaz-Hermida, “Automatic linguistic descriptions of meteorological data,” Proc. Cist., pp. 1–6, 2013.

    [47] S. Chakraborty, M. H. H. Rahman, and M. H. Seddiqui, “Linked open data representation of historical heritage of Bangladesh,” 16th Int’l Conf. Comput. Inf. Technol. ICCIT 2013, no. March, pp. 242–248, 2014.

    [48] E. Piedra, N.; Chicaiza, J.; Lopez, J.; Tovar Caro, “Towards a Learning Analytics Approach for Supporting discovery and reuse of OER,” no. March, pp. 978–988, 2015.

    [49] C. Millette and P. Hosein, “A consumer focused open data platform,” 2016 3rd MEC Int. Conf. Big Data Smart City, ICBDSC 2016, pp. 101–106, 2016.

    [50] J. N. Rouder, “The what, why, and how of born-open data,” Behav. Res. Methods, vol. 48, no. 3, pp. 1062–1069, 2016.

    [51] a O. Erkimbaev, V. Y. Zitserman, G. a Kobzev, V. a Serebrjakov, and K. B. Teymurazov, “Publishing scientific data as linked open data,” Sci. Tech. Inf. Process., vol. 40, no. 4, pp. 253–263, 2013.

    [52] A. Callahan, J. Cruz-Toledo, and M. Dumontier, “Ontology-Based Querying with Bio2RDF’s Linked Open Data.,” J. Biomed. Semantics, vol. 4 Suppl 1, no. Suppl 1, p. S1, 2013.

    [53] S. O’Riain, E. Curry, and A. Harth, “XBRL and open data for global financial ecosystems: A linked data approach,” Int. J. Account. Inf. Syst., vol. 13, no. 2, pp. 141–162, 2012.

    [54] D. S. Sayogo and T. A. Pardo, “Exploring the motive for data publication in open data initiative: Linking intention to action,” Proc. Annu. Hawaii Int. Conf. Syst. Sci., no. 2011, pp. 2623–2632, 2011.

    [55] P. Ciancarini, F. Poggi, and D. Russo, “Big Data Quality: A Roadmap for Open Data,” 2016 IEEE Second Int. Conf. Big Data Comput. Serv. Appl., pp. 210–215, 2016.

    [56] P. Doshi et al., “Open data 5 years on: a case series of 12 freedom of information requests for regulatory data to the European Medicines Agency,” Trials, vol. 17, no. 1, p. 78, 2016.

    [57] S. Oyama, Y. Baba, I. Ohmukai, H. Dokoshi, and H. Kashima, “Crowdsourcing chart digitizer: task design and quality control for making legacy open data machine-readable,” Int. J. Data Sci. Anal., 2016.

    [58] N. B. Hounsell, B. P. Shrestha, M. McDonald, and A. Wong, “Open Data and the Needs of Older People for Public Transport Information,” Transp. Res. Procedia, vol. 14, pp. 4334–4343, 2016.

    [59] A. Lausch, A. Schmidt, and L. Tischendorf, “Data mining and linked open data - New perspectives for data analysis in environmental research,” Ecol. Modell., vol. 295, pp. 5–17, 2015.

    [60] H. Demski, S. Garde, and C. Hildebrand, “Open data models for smart health interconnected applications: the example of openEHR,” BMC Med. Inform. Decis. Mak., vol. 16, no. 1, p. 137, 2016.

    [61] M. Kassen, “A promising phenomenon of open data: A case study of the Chicago open data project,” Gov. Inf. Q., vol. 30, no. 4, pp. 508–513, 2013.

    [62] W. Brunette et al., “Open data kit sensors: a sensor integration framework for android at the application-level,” Proc. 10th Int. Conf. Mob. Syst. Appl. Serv. - MobiSys ’12, p. 351, 2012.

    [63] T. Silva, V. Wuwongse, and H. N. Sharma, “Disaster mitigation and preparedness using linked open data,” J. Ambient Intell. Humaniz. Comput., vol. 4, no. 5, pp. 591–602, 2013.

    [64] F. G. De Andrade and R. José, “Semantic Annotation of Geodata Based on Linked-Open Data,” vol. 2, pp. 9–16, 2015.

    [65] Y.-A. Lai, Y.-Z. Ou, J. Su, S.-H. Tsai, C.-W. Yu, and D. Cheng, “Virtual disaster management information repository and applications based on linked open data,” 2012 Fifth IEEE Int. Conf. Serv. Comput. Appl., pp. 1–5, 2012.

    [66] N. Kobayashi and T. Toyoda, “BioSPARQL: Ontology-based smart building of SPARQL queries for biological Linked Open Data,” ACM Int. Conf. Proceeding Ser., no. 1, pp. 47–49, 2012.

    [67] P. Colpaert, J. Sarah, P. Mechant, E. Mannens, and R. Van de Walle, “The 5 stars of open data portals,” 7th Int. Conf. Methodol. Technol. tools enabling e-Government, 2013.

    [68] X. Masip-Bruin, G.-J. Ren, R. Serral-Gracia, and M. Yannuzzi, “Unlocking the Value of Open Data with a Process-Based Information Platform,” IEEE 15th Conf. Bus. Informatics, 2013.

    [69] B. Isaac, Antoine |Haslhofer, “Europeana Linked Open Data – data.europeana.eu,” Semant. Web, vol. 4, no. 3, pp. 291–297, 2013.

    [70] E. Rozell, J. Erickson, and J. Hendler, “From international open government dataset search to discovery: a semantic web service approach,” ICEGOV ’12 Proc. 6th Int. Conf. Theory Pract. Electron. Gov., pp. 480–481, 2012.

    [71] D. Maier, V. M. Megler, and K. Tufte, “Challenges for Dataset Search,” in Database Systems for Advanced Applications, 2014, pp. 1–15.

    [72] L. M. Koesten, E. Kacprzak, J. F. A. Tennison, and E. Simperl, “The Trials and Tribulations of Working with Structured Data: -a Study on Information Seeking Behaviour,” in Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, 2017, pp. 1277–1289.

    [73] E. Kacprzak, L. Koesten, L. D. Ibáñez, T. Blount, J. Tennison, and E. Simperl, “Characterising dataset search—An analysis of search logs and data requests,” J. Web Semant., no. xxxx, 2018.

    [74] M. de Rijke, “Learning to Search for Datasets,” in Companion Proceedings of the The Web Conference 2018, 2018, p. 1483.

    [75] L. Mlynárová, J. P. Nap, and T. Bisseling, “The SWI/SNF chromatin-remodeling gene AtCHR12 mediates temporary growth arrest in Arabidopsis thaliana upon perceiving environmental stress,” Plant J., vol. 51, no. 5, pp. 874–885, 2007.

    [76] T. Jetzek, M. Avital, and N. Bjorn-Andersen, “Data-driven innovation through open government data,” J. Theor. Appl. Electron. Commer. Res., vol. 9, no. 2, pp. 100–120, 2014.

    [77] E. Lakomaa and J. Kallberg, “Open data as a foundation for innovation: The enabling effect of free public sector information for entrepreneurs,” IEEE Access, vol. 1, pp. 558–563, 2013.

    [78] G. Magalhaes, C. Roseira, and L. Manley, “Business Models for Open Government Data,” in Proceedings of the 8th International Conference on Theory and Practice of Electronic Governance, 2014, pp. 365–370.

    [79] A. Zuiderwijk, M. Janssen, K. Poulis, and G. van de Kaa, “Open Data for Competitive Advantage: Insights from Open Data Use by Companies,” in Proceedings of the 16th Annual International Conference on Digital Government Research, 2015, pp. 79–88.

    [80] IDC, “Impact Assessment of Odine Programme,” 2017.

    [81] A. E. Prieto, J. N. Mazón, A. Lozano-Tello, and L. D. Ibáñez, “Supporting open dataset publication decisions based on Open Source Software reuse,” CEUR Workshop Proc., vol. 2062, 2018.