10.21158/01208160.n85.2018.2050
Artículos científicos
Yuber Liliana Rodríguez-Rojas1
Ana María Luque-Clavijo2
Liliana Yamile Rodríguez-González3
Julián Andrés Riveros-Clavijo4
1 Doctora en Administración de la Universidad de Celaya, Magíster en Salud y Seguridad en el Trabajo y Fisioterapeuta de la Universidad Nacional de Colombia., Universidad Santo Tomás, ORCID: https://orcid.org/0000-0002-3904-4938, yuberrodriguez@usantotomas.edu.co
2 Magister en Administración de la Universidad Nacional de Colombia. Ingeniera Biomédica de la Universidad Antonio Nariño., Universidad Santo Tomás, Consultor independiente. ORCID: http://orcid.org/0000-0002-0714-9794, amluquec@gmail.com
3 Magíster en Psicología del Consumidor y especialista en psicología del consumidor de la Fundación Universitaria Konrad Lorenz, Psicóloga de la Corporación Universitaria Iberoamericana., ORCID: https://orcid.org/0000-0002-2770-3078, lilianay.rodriguezg@konradlorenz.edu.co
4 Sociólogo de la Universidad del Rosario. Master of Science en Antropología Digital, de University College London - UCL, Reino Unido. Estudiante de doctorado Mphil/PhD en Antropología y Desarrollo de University College London - UCL., jarc_00@hotmail.com
Fecha de recepción: 09 de enero de 2018
Fecha de aprobación: 24 de marzo de 2018
Cómo citar este artículo / To reference this article / Comment citer cet article / Para citar este artigo: Rodríguez-Rojas, Y. L.; Luque-Clavijo, A. M.; Rodríguez-González, L. Y. y Riveros-Clavijo, J. A. (2018). 5 acciones para la toma de decisión en Investigación, Desarrollo e innovación I+D+i. Revista EAN, 85, 85-104. DOI: https://doi.org/10.21158/01208160.n85.2018.2050
Resumen
La gestión de la investigación académica y empresarial incluye la identificación de líneas de investigación que direccionen los fondos y los esfuerzos técnicos de grupos que se dedican a actividades de Investigación, Desarrollo e innovación (I+D+i). En el proceso de toma de decisión que orienta esta gestión, suele tener prevalencia la opinión derivada de las experiencias e intereses individuales de los investigadores por encima de la consulta objetiva de diversas fuentes que pueden proporcionar información que optimice dicho proceso. El objetivo de esta investigación fue la validación de una metodología que vincula las dos perspectivas para la toma de decisión en I+D+i, dando a conocer resultados parciales de 5 acciones propuestas para la identificación y fortalecimiento de líneas de investigación de grupos de investigación académicos y empresariales. Dicha validación demostró la pertinencia, claridad y aplicabilidad de las acciones propuestas, lo que las convierte en herramientas útiles para la toma de decisión en investigación, tecnología e innovación y el establecimiento de líneas de investigación.
Palabras clave: Investigación científica, investigación y desarrollo, toma de decisiones, innovación, desarrollo científico y tecnológico.
Abstract.
Corporate and academic research management involves the identification of research lines which lead funds and technical efforts of groups that are devoted to research, development and innovation activities. In the process of decision making which conduct this management, there is a high prevalence of individual experiences and interest of researchers over the objective consultation of different sources which provide information and optimize such process. This paper aims at validating a methodology that links two different perspectives about decision making in research, development and innovation, showing partial results from five actions proposed to identify and strengthen research lines of corporate and academic groups. Such validation demonstrates a sense of belonging, clarity and applicability resulting from the proposed actions which make them useful tools for decision making in research, development and innovation and for the creation of new research lines.
Key words: Scientific research, investigation and development, decision making, innovation, scientific and technological development.
Résumé.
La gestion de la recherche universitaire et entrepreneurial comprend l'identification de ligne d'investigation orientant financements et efforts techniques des groupes engagés dans des activités de recherche, développement et innovation (R + D + I). Lors duprocessus décisionnel guidant cette gestion, l'opinion tirée des experiences et des intérêts individuels des chercheurs prime généralement sur la consultation objective des multiples sources d'information fournissant des données permettant l'optimisation du processus dans son ensemble. L'objectif de cette étude est de valider une méthodologie unissant les deux perspectives de prise de décision en R + D + I et révélant les résultats partiels de 5 actions proposées pour ^identification et le renforcement des axes de recherche des groupes d'investigation académique et entrepreneuriale. Cette validation a démontré la pertinence, la clarté et l'applicabilité des actions proposées qui en font un outil utile pour la prise de décision en matière de recherche, de technologie et d'innovation et pour la mise en place de lignes d'investigations.
Mots clefs: Recherche scientifique, recherche et développement, prise de décisions, innovation, développement scientifique et technologique.
Resumo.
O gerenciamento da pesquisa acadêmica e empresarial inclui a identificação de linhas de pesquisa que direcionem os fundos e os esforços técnicos de grupos que se dedicam a atividades de Pesquisa, Desenvolvimento e inovação (I+D+i). No processo de tomada de decisão que orienta este gerenciamento, costuma ter prevalência a opinião derivada das experiências e interesses individuais dos pesquisadores acima da consulta objetiva de diversas fontes que podem proporcionar informação que otimize dito processo. O objetivo desta pesquisa foi a validação de uma metodologia que vincula as duas perspectivas para a tomada de decisão em I+D+i, dando a conhecer resultados parciais de 5 ações propostas para a identificação e fortalecimento de linhas de pesquisa de grupos de pesquisa acadêmicos e empresariais. Dita validação demonstrou a pertinência, clareza e aplicabilidade das ações propostas, o que as converte em ferramentas úteis para a tomada de decisão em pesquisa, tecnologia e inovação e o estabelecimento de linhas de pesquisa.
Palavras-chave: Pesquisa científica, pesquisa e desenvolvimento, tomada de decisões, inovação, desenvolvimento científico e tecnológico.
1. Introducción
Hoy en día se requiere que las organizaciones de distinta naturaleza, no solo las universidades, generen nuevo conocimiento y productos de desarrollo tecnológico, con el fin de dar respuesta a las exigencias de los mercados y los requerimientos de las partes interesadas. En este sentido, se debe contar con escenarios para la creación de ideas, conocimiento, productos, servicios, entre otros. No obstante, para poder gestionar la investigación académica y empresarial de forma organizada y coherente con los propósitos organizacionales se necesita definir, estructurar y fortalecer los grupos de investigación y sus líneas de investigación.
Un grupo de investigación, desarrollo tecnológico o de innovación es el conjunto de personas que interactúan para investigar y generar productos de conocimiento en uno o varios temas, de acuerdo con un plan de trabajo corto, mediano o largo plazo tendiente a la solución de un problema (Colciencias, 2017), los cuales en la literatura internacional tienen un alcance amplio hacia research centers, research programs o incluso research trusts. Por su parte, las líneas de investigación son subsistemas estratégicos organizativos con los que cuentan los grupos de investigación para su accionar, además, permiten la conformación de equipos de investigadores que cuentan con inquietudes, intereses y necesidades similares en un mismo campo; también son consideradas ejes ordenadores de la actividad investigativa, cuentan con un soporte teórico que permite la integración de conocimientos y la continuidad del trabajo de un grupo de personas y de instituciones comprometidas en el desarrollo del conocimiento en un ámbito puntual (Agudelo, 2004).
Para definir, estructurar y fortalecer los grupos de investigación y sus líneas de investigación se requiere del análisis de información relacionada con fundamentos teóricos, escenarios de trabajo, tendencias de otros grupos y líneas de investigación nacionales e internacionales, así como sus publicaciones. Sin embargo, la disponibilidad de grandes volúmenes de datos a los que se tiene acceso para el desarrollo académico y empresarial hace que sea compleja su sistematización, por lo que es necesario simplificar el análisis de la información para poder tomar decisiones. Para ello, se han articulado diferentes métodos como la cienciometría, la bibliometría e informetría (Benítez y Benavides, 2012; Gorbea, 2016; Macías, 1998), así como otros relacionados con la webmetría y altmetría (Gorbea, 2016). Aunque en algunos casos estos métodos hayan sido subutilizados (Vega, 2009), hoy se considera cada vez más estratégico el tratamiento de los registros de bases de datos para conocer, entre otros aspectos, el desempeño productivo en investigación de grupos, organizaciones o campos disciplinares (González, Moreno, Aparicio y Bordons, 2017).
El reto frente a la apertura del conocimiento, que se traduce en información de acceso abierto de carácter técnico, científico y pseudocientífico (Latour, 1993), radica en la optimización del acceso y análisis de la información para traducirla en un aporte significativo para la toma de decisión. Esa decisión no solo implica, como es el caso de este estudio, de la definición de líneas de investigación; también puede aplicarse a los procesos de innovación (Varela y Méndez, 2017), lo que puede traducirse en nuevos productos o servicios para los clientes y, en muchos casos, la consolidación de spin-off como estrategia para la apropiación y la transferencia del conocimiento a la sociedad (López, 2017). Por lo anterior, se considera necesario contar con una estrategia que presente los elementos que se deben tener en cuenta al momento de decidir sobre las líneas de investigación al interior de los grupos, bien sea para definirlas, actualizarlas o fortalecerlas.
Teniendo en cuenta que la presentación y divulgación de los datos para la toma de decisión investigativa se encuentran disponibles, tanto de forma estructurada como no estructurada (Corcoglioniti, Rospocher, Cattoni, Magnini y Serafini, 2015), se hace necesario el uso de herramientas de análisis cualitativo y cuantitativo, que se constituyan en la manera más práctica de desarrollar las actividades necesarias para alcanzar los objetivos del grupo de investigación (Rodríguez y Pérez, 2017), que además proporcionen información confiable para tomar decisiones pertinentes y coherentes con las necesidades de los grupos dedicados a la investigación del sector y con los lineamientos institucionales académicos, dando prioridad a los intereses investigativos colectivos sobre los particulares.
Atendiendo a lo anterior, este artículo muestra la metodología utilizada para la identificación de las 5 acciones para la toma de decisión en Investigación, Desarrollo e innovación (I+D+i) y lo relacionado a sus resultados en dos sentidos: los hallazgos de la revisión de literatura y la definición de las acciones; además de la validación de contenido. Dichos resultados son los parciales de una investigación cuyo objetivo fue proponer acciones para la toma de decisiones frente a la identificación o fortalecimiento de líneas de investigación de grupos académicos y empresariales, las cuales aportarán en la construcción de una metodología posterior, que establezca criterios de ponderación para la priorización de las necesidades y oportunidades de los escenarios estudiados. Finalmente se presenta una discusión del tema con perspectivas a futuro y sus conclusiones.
2. Metodología
El proyecto que condujo a la definición de las 5 acciones para la toma de decisiones en I+D+i, corresponde a un estudio descriptivo transversal. Para ello, se partió de una revisión de literatura del tema en el que se analizaron 35 artículos tomados de Scopus, Ebsco, Science Direct y SciELO. Esta revisión permitió identificar y describir las acciones propuestas en la metodología desarrollada para la identificación y el fortalecimiento de líneas de investigación de grupos académicos y empresariales.
Una vez definidas las acciones, estas fueron sometidas a consulta por 14 expertos para su validación de contenido. A cada constructo de la metodología se le evaluó la pertinencia, la claridad y la aplicabilidad, siguiendo los criterios propuestos por Rodríguez y Molano (2012); para esto, se diseñó un instrumento con 21 ítems, el cual se validó con la teoría clásica del test y su fiabilidad se midió a través del coeficiente alfa de Cronbach. Este instrumento permitió realizar un análisis detallado de los ítems para cada acción propuesta.
La escala del instrumento está diseñada con opciones de 1 a 5 donde 1 es la peor calificación y 5 la mejor calificación; se asume que los valores de 4 y 5 que corresponden al top two boxes (TTB) son los esperados, y los valores 1 y 2 que son los bottom two boxes (BTB), corresponden al complemento.
El coeficiente alfa de Cronbach determina la consistencia interna de una escala de medida analizando la correlación en media de una variable con todas las demás que integran el test. Generalmente, este índice toma valores entre 0 y 1, aunque también puede mostrar valores negativos -lo que indicaría que en la escala hay ítems que miden lo opuesto al resto-.
Cuanto más se acerque el coeficiente a la unidad, mayor será la consistencia interna de los indicadores en la escala evaluada. Un alfa de Cronbach por debajo de 0.5 muestra un nivel de fiabilidad no aceptable; si tomara un valor entre 0.5 y 0.6 se podría considerar como un nivel pobre; si se situara entre 0.6 y 0.7 se estaría ante un nivel débil; entre 0.7 y 0.8 de referencia a un nivel aceptable; el intervalo 0.8 y 0.9 se podría calificar como un nivel bueno; si tomara un valor superior a 0.9 sería excelente.
El coeficiente de Cronbach obtenido para el instrumento usado es de 0.89. Es decir, que el test para dicho constructo es un test bien construido y se puede decir que está en un buen nivel.
3. Resultados
3.1 Hallazgos de la revisión de literatura y definición de las cinco acciones de decisión
Como resultado de una revisión sistemática al tema de definición de líneas de investigación en grupos de investigación, con alcance a centros y grupos de investigación formalizados, unidades de investigación en empresa, ya sea denominadas como oficina, área, dependencia, entre otros, se encontró que se han utilizado diferentes métodos y estrategias, entre ellos, los estudios bibliométricos (Benítez y Benavides, 2012) y cienciométricos de trabajos de grado (Ortega, 2010), la referencia de agendas nacionales generadas por las entidades que organizan y gestionan la investigación (Vendrell y Ortín, 2008), la consulta a expertos a través de métodos Delphi (García et al., 2011), entre los más relevantes.
En general, muchas de las investigaciones realizadas hasta el momento para identificar o fortalecer líneas de investigación, están vinculadas a la descripción de las tendencias de investigación en líneas y grupos de investigación, en periodos comprendidos entre 2 y 10 años hacia atrás, sin definir sus perspectivas de futuro o fortalecimiento, considerando solo una fuente de información y por consiguiente el uso de un solo método de análisis.
A partir de lo anterior, se identifican cinco acciones para la toma de decisión en I+D+i, que consideran información estructurada y no estructurada cuyo análisis debe realizarse con métodos cuantitativos y cualitativos.
Las acciones cuentan con validación de contenido por expertos vinculados a la academia, con perfil de líderes de grupos de investigación y de expertos vinculados a empresas industriales o de servicios que participan en áreas de investigación y desarrollo o planeación estratégica en investigación, que de forma cuantitativa autoaplicaron un cuestionario estructurado, lo que determinó la pertinencia, claridad y aplicabilidad de la acción.
Las acciones establecidas incluyen su descripción, componentes y resultado esperado. Es de aclarar que se hace uso del término grupo de investigación para referirse a grupos de investigación formalizados, unidades de investigación en empresa, ya sea denominadas como oficina, área, dependencia, entre otros; así como de otros grupos emergentes sin formalización que adelanten acciones de investigación y que, por consiguiente, tengan interés en la identificación o fortalecimiento de sus líneas de investigación.
3.1.1 Acción 1. Caracterización de la tradición e intereses investigativos de los grupos.
La tradición e intereses investigativos de un grupo debe dar cuenta de la caracterización de este, lo cual implica información administrativa que rija su funcionamiento. Los datos necesarios para adelantar esta acción incluyen:
a. Planeación estratégica de la organización: relación de la organización con la orientación hacia la investigación y los grupos de investigación. Implica la revisión de las políticas y estrategias de la organización.
b. Caracterización del grupo: el análisis de los objetivos establecidos, las líneas definidas por el grupo, los perfiles de los investigadores detallando su formación, trayectoria investigativa, participación en proyectos de desarrollo tecnológico e innovación, misión, redes, antigüedad en años, las fuentes de acceso a la información y los mecanismos de comunicación y divulgación.
c. Caracterización de la producción del grupo de investigación: aspectos metodológicos usados como enfoques y diseños, tipo de investigaciones, autorías, líneas activas, tipo de productos, convenios de cooperación academia-empresa, así como la visibilidad y legitimidad social que se verá principalmente a través de un análisis de comunicación, medios y audiencias.
d. Intereses: se deben conocer cuáles son los intereses de la organización y de los miembros del grupo en términos de la orientación de la investigación, su visibilidad e impactos y las perspectivas futuras, lo que debe considerar su alcance en términos de lo local, nacional o mundial.
e. Aportes identificados del grupo de investigación al logro de los objetivos organizacionales: como toda unidad de trabajo ligada a la una institución más grande, el grupo de investigación debe reconocer cuáles han sido sus contribuciones al logro de los objetivos organizacionales que se tengan vigentes, toda vez que se deben identificar aspectos de cambio a corto y mediano plazo.
El resultado esperado de esta acción es la caracterización del grupo y la identificación de intereses organizacionales, que den cuenta de las necesidades asociadas a la toma de decisión I+D+i; además, considera cuáles son los objetivos al usar los resultados de la aplicación de las acciones, ya que esto proporcionará los criterios de selección de los datos para las acciones siguientes, y aunque no es recomendado, el alcance puede ser ajustado durante la ejecución de las demás acciones, siempre en coordinación con las partes interesadas.
Además de lo anterior, también es posible identificar divergencias y coincidencias entre la producción y la declaración administrativa del grupo, lo que puede conducir a un análisis de las brechas en relación con las políticas y objetivos de investigación, la planeación estratégica de la organización, los productos declarados por el grupo y la producción real de este, si se considera dentro de los objetivos definidos por la organización.
3.1.2 Acción 2. Identificación y análisis de tendencias de otros grupos y líneas de investigación nacionales.
La identificación y análisis de tendencias de otros grupos y líneas de investigación, parte de la revisión de los grupos de investigación reconocidos por el Sistema Nacional de Ciencia y Tecnología o por el organismo que regule, administre o gestione la ciencia y tecnología en el país, que, en este caso, corresponde al Sistema de Información Scienti de Colciencias. Se debe indagar sobre grupos de investigación derivados de la academia, centros de investigación o constituidos por otro tipo de organizaciones que están relacionados con el objeto misional de la organización interesada y que, aunque no estén formalizados en el marco del Sistema de Ciencia y Tecnología del país, por su actividad merecen ser considerados como punto de referencia para efectos del análisis de tendencias.
En la búsqueda de información de tendencias, es importante consultar grupos que aplican nuevas formas de hacer ciencia o catalogadas como no tradicionales, tales como e-ciencia, (e-science), e-investigación (e-research) y ciberinfraestructura (cyberinfrastructure).
De acuerdo con Michan (2011), la e-ciencia resulta del uso y aplicación de la ciberinfraestructura en la práctica científica, la cual se caracteriza por la inter y multidisciplinariedad, la colaboración y la participación de un gran número de investigadores -en algunos casos cientos- localizados en diversas regiones y con diferentes especialidades que forman grupos de trabajo. Por estas razones, la búsqueda debe cubrir también información de grupos de investigación novedosos, considerando colaboratorios, grids, think tanks, entre otros.
La recolección de datos propuestos para el análisis de esta acción, incluyen:
a. Número de grupos de investigación con igual o similar denominación.
b. Número de líneas de investigación con las que cuentan los grupos de investigación y denominación de las líneas de investigación.
c. Número de proyectos de investigación, temas centrales de los proyectos de investigación, enfoques de investigación y metodologías abordadas.
d. Número de productos de nuevo conocimiento, número de productos de apropiación social, número de productos de desarrollo tecnológico e innovación, número de productos de formación de talento humano, temas centrales de la producción.
e. Impacto social visto desde la cobertura en prensa.
f. Aspectos diferenciadores en términos de los enfoques investigativos y su producción.
g. Análisis de coherencia entre las líneas de investigación declarada y la producción real o su planeación estratégica, dependiendo de su eje disciplinar, según corresponda.
El resultado esperado de esta acción es la identificación de tendencias de temáticas en investigación, que, de acuerdo con la disponibilidad de los datos, proporcione además información relacionada con temas emergentes y decadentes de los grupos pares o competidores y sus relaciones sociales, comerciales, científicas y académicas. En general, el propósito es la identificación de posibles pares o competidores del grupo de investigación en estudio.
3.1.3 Acción 3. Identificación y análisis de tendencias de publicaciones nacionales e internacionales.
El análisis de las tendencias de las publicaciones nacionales e internacionales iniciará una vez el grupo de investigación interesado haya establecido los acuerdos frente al alcance definido en la acción 1, esto en aras de facilitar la identificación del objetivo de búsqueda. De acuerdo con el objetivo de búsqueda, es posible que se requieran datos provenientes de fuentes de información estructurada como no estructurada, cada una de las cuales tendrá asociada un tipo de método de procesamiento particular.
a. Información estructurada
La información estructurada es aquella que está compuesta por partes bien definidas, tal es el caso de las bases de datos. Para el caso de las patentes, las bases de datos de acceso libre han desarrollado menos recursos para el tratamiento de los datos -registros- que contienen; sin embargo, el contenido de sus campos se presenta de forma estructurada, lo que facilita que la información se pueda llevar a este formato.
La recopilación y análisis de la información estructurada, se realiza siguiendo los principios de la vigilancia tecnológica (Colciencias y Trizz XXI, 2006) y de la minería tecnológica (Porter y Cunningham, 2005), que a través de acciones sistemáticas y organizadas sobre los hechos del entorno -económico, social o comercial-, buscan que la toma de decisiones se realice con menor riesgo y mayor anticipación a dichos cambios.
Para la selección de los términos de búsqueda, se recomienda revisar el listado de términos oficiales de las bases de datos por área de conocimiento; puede utilizarse por ejemplo MeSH, DECS, Thesauros u otros repositorios para obtener un alto componente de acierto en el vocabulario por la estandarización que estas proporcionan. Adicionalmente, se debe considerar el relacionamiento de los términos a través de conectores booleanos y como alternativa la inclusión de filtros.
La definición del número y tipo de fuentes, como bases de datos y registros a consultar dependerá de la temática, sin embargo, se recomienda vincular por lo menos las tres fuentes más representativas del área de conocimiento en la cual se circunscribe la temática central de búsqueda (Luque y Fajardo, 2015).
El análisis de los registros puede incluir formas básicas, como la cienciometría (Arguimbau, Fuentes y Gallifa, 2013; Michán, 2011), para conteo de frecuencias, identificación de líderes y puntos de interés, y la combinación de listas como matrices y análisis avanzados con mapas de relación, identificación de agrupaciones, redes de colaboración, que en su mayoría tienen una representación gráfica. La selección del tipo de análisis y el alcance de cada uno de ellos dependerán de los objetivos que se hayan establecido en la acción 1, que así mismo, repercutirá en la interpretación que se haga con cada uno de ellos. Es de aclarar que, aunque las bases de datos académicas han incluido indicadores cienciométricos para obtener análisis provenientes de los artículos publicados en las revistas vinculadas a dichas bases, desconocen fallas de la edición de la revista, producción científica y legislación regional específica, así como artículos con baja afinidad a la temática de estudio incluidos en búsqueda o la capacidad instalada concreta, por lo que se debe tener cuidado a la hora de tomar decisiones de alto nivel basadas en este tipo de información.
El resultado esperado del análisis de información estructurada es la caracterización del área de interés, a partir de la identificación de tendencias provenientes de resultados de proyectos de ciencia y tecnología, que en su mayoría obedecen a datos cuantitativos.
b. Información no estructurada
La información no estructurada se encuentra principalmente como una representación social, entendida como un conjunto de conocimientos intersubjetivos que permiten al ser humano hacer inteligible la realidad física y social (Galgano, Arndt y Hyser, 2008); solo que, en este caso, a través de medios no determinados y dispersos. Por esta razón es necesario recopilar todos los fragmentos en un corpus, que se compone principalmente de fuentes como prensa, medios sociales, literatura gris y otro material disponible, y dentro de periodos de tiempo variables según sea necesario.
Para la selección de los datos y construcción del corpus es necesario considerar lo siguiente:
• Distinguir entre fuentes de autopromoción y las de promoción hecha por terceros, ya que la curación del contenido es susceptible de variar, tanto en contenido como en la forma de representar a los grupos y las investigaciones. En cuanto a la autopromoción, deben considerarse los medios propios de los grupos o de las organizaciones a las que pertenezcan, por ejemplo, magazines, medios sociales, blogs o páginas web.
• Trabajar con fuentes primarias publicadas, que hayan pasado o no por procesos editoriales. Es aconsejable que se limiten a material abierto y disponible al público de manera digital o física.
• Además de prensa digital o física, es recomendable buscar en periódicos locales, regionales, nacionales e internacionales, y en revistas especializadas no académicas. Adicionalmente, puede buscarse contenido de otros medios como radio y televisión, así como en memorias de eventos y cumbres.
Dada la naturaleza de la información no estructurada, el análisis que se propone es cualitativo, en donde la evaluación del lenguaje y tono de la comunicación se realice mediante categorías inductivas; sin embargo, es posible considerar indicadores cuantitativos descriptivos a partir del cruce de información con bases de datos. Lo anterior puede ayudar a entender la recepción por parte de las audiencias, lo cual en otras palabras es entender qué tan legítimas fueron las representaciones acerca de los grupos y sus investigaciones, además de estimar su impacto.
A diferencia de las fuentes estructuradas, se espera que los descriptores para los términos de búsqueda varíen cronológicamente, por tanto, esta sección debería arrojar información sobre tendencias en relación con la representación de investigaciones, organizaciones y grupos de investigación.
Por último, para entender el impacto, la legitimidad social y las tendencias, es importante considerar el contexto sociohistórico, es decir, comprender las circunstancias dentro de las cuales se produjo la noticia, considerando la contextualización histórica vital para entender un periodo de tiempo en sus propios términos, sin imponer valores puntos de vista (Galgano et al., 2008).
El resultado esperado de la recolección de información no estructurada es entender la forma en que un grupo de investigación es representado, para saber qué tan legítimo y relevante es, así como evaluar su evolución a lo largo del tiempo y procurar estimar una función indirecta y no cuantificable en la acumulación de dos tipos diferentes de capitales: el primero, como la transformación de capital intelectual en capital social, al abrirse posibilidades de promoción, networking y reputación (Castilla, Sánchez, Gallardo y Ruiz, 2016); el segundo, la transformación de la producción intelectual en un bien transaccional que se traduce en ventas, acuerdos, goodwill y posicionamiento.
Finalmente, el resultado esperado de toda la acción 3 es realizar una comparación de los resultados alcanzados en cuanto al análisis de la información estructurada y no estructurada, la cual permita la identificación de temas emergentes y decadentes, su visibilidad en aspectos sociales, comerciales, académicos y científicos.
3.1.4 Acción 4. Análisis de contexto organizacional, local e internacional.
El análisis de contexto está conformado por el contexto organizacional y el contexto externo. El primero de ellos se refiere a las capacidades y realidades actuales y propias de la organización a la que pertenece el grupo de investigación, el segundo considera el análisis de las circunstancias que rodean e influyen a la organización.
Ambos contextos permiten, tal y como lo indica Godet y Durance (2011), un conocimiento profundo de la organización confrontado con la evolución de su entorno, lo que se constituye en una fuente o entrada para la innovación, y en el caso específico, para la determinación de posibilidades para la definición de líneas de investigación.
En particular, el contexto organizacional debe proporcionar información que permita conocer el comportamiento de la organización a la que pertenece el grupo de investigación, para lo cual existen varias técnicas de análisis organizacional; a partir de ellas, se busca entender sus fortalezas y debilidades. Las fuentes primarias para recopilar esta información están constituidas por expertos que conocen a profundidad la organización y la información disponible en las áreas o procesos relacionados, tales como:
a. Planeación o estrategia: incluye aspectos como misión, visión, políticas planes estratégicos, competencias organizacionales, planes o políticas de desarrollo institucional.
b. Configuración: organigrama, trabajo por proceso.
c. Productos o servicios: líneas, unidades de negocio, marcas, programas académicos, entre otras.
d. Clientes y partes interesadas: proveedores, mercados, entidades de apoyo o redes a las que pertenece, socios, comunidad, acreditadores/certificadores, etc.
e. Metodología de producción o prestación de servicios.
f. Fuentes de financiación o ventas nacionales e internacionales, públicas, privadas.
g. Capacidad instalada: en términos de recursos físicos, tecnológicos y humanos disponibles para la investigación, así como los productos intangibles como el know-how y su capacidad para la gestión del conocimiento.
h. Diagnósticos organizacionales disponibles, informes gerenciales, resultados de auditorías, entre otros.
Si las organizaciones no cuentan con diagnósticos organizacionales que puedan emplearse para identificar debilidades y fortalezas, pueden utilizarse herramientas tomadas de la prospectiva según Godet y Durance (2011) que aportan para esta identificación, como el árbol de competencias y los análisis DOFA.
En relación con el contexto externo, el grupo de investigación debe identificar las organizaciones del orden público y privado, nacionales e internacionales que puedan proporcionarle datos relevantes en términos de cambios a corto, mediano y largo plazo, que puedan afectar la consecución de sus propósitos.
Los datos que se pueden considerar relevantes para el reconocimiento del contexto externo dependerán del sector y de los intereses del grupo de investigación, para lo cual se pueden considerar los siguientes:
a. Planes de desarrollo regional y nacional.
b. Información sobre políticas y planes nacionales específicos en materia de ciencia y tecnología o del sector específico.
c. Agendas de competitividad, ciencia y tecnología, así como los recursos económicos destinados para su ejecución.
d. Convocatorias para el desarrollo de proyectos y las áreas de interés.
e. Informes nacionales producidos por el gobierno nacional, que den cuenta del análisis de necesidades sociales o productivas del país. Algunos informes son: competitividad, desarrollo humano, desigualdades sociales en salud, calidad de la atención en salud, estado del medio ambiente y los recursos naturales renovables -pueden ser específicos respecto al aire, agua, residuos sólidos, etc.- , biodiversidad, cambio climático, desplazamiento forzado, derechos de las personas con discapacidad, inspección para el trabajo, derechos humanos, demográficos, ente otros.
f. Análisis de fuentes de financiación para obtener apoyo económico que brindan instituciones públicas y privadas.
g. Estudios existentes de país, sector o región y que consideren el marco legal, principales productores, consumidores, líderes, nivel de producción.
h. Estudios de futuro disponibles que puedan dar luces sobre las tendencias en materia de desarrollo e investigación en el sector de interés.
Como resultado del análisis de contexto se espera la identificación de oportunidades dadas por las fortalezas de la organización y del medio externo, además de elementos críticos, ya sean internos o externos, para el desarrollo de proyectos de investigación. Adicionalmente, se espera identificar desde la mirada de la investigación, en dónde la organización está concentrando sus esfuerzos derivados de la identificación de necesidades, problemas prioritarios a resolver, análisis de sus ventajas competitivas, el conocimiento del nivel de desarrollo que se desea consolidar o fortalecer; todo esto, a partir de los recursos disponibles ya sean científicos, tecnológicos, de innovación y los económicos, frente a la capacidad instalada de la organización que pone a disposición del grupo de investigación.
En conclusión, el resultado esperado de la acción de análisis de contexto es entender la dinámica del entorno y su influencia en la organización, es decir, las oportunidades y amenazas que este representa, así como las fortalezas y debilidades de la organización para el grupo de investigación.
3.1.5 Acción 5. Análisis de alineación estratégica.
Para la acción 5 se debe tener en cuenta que los resultados de cada una de las anteriores acciones proporcionan información para la identificación de intereses -acción 1-, el establecimiento de áreas -acción 2-, las sinergias -acción 3- y las oportunidades -acción 4-. El análisis individual y colectivo proporcionan una entrada fundamental para la identificación de los temas potenciales que aportarán a la toma de decisión en I+D+i para el grupo de investigación, mientras que el resultado de la actividad 5 proporciona criterios para tamizar y seleccionar objetivamente los temas de investigación.
La aplicación de estas acciones pretende potencializar las oportunidades y fortalezas organizacionales y minimizar los riesgos asociados a sus amenazas o debilidades, generando un aporte significativo, coherente y tangible al logro de los objetivos organizacionales, entre otros: temas atendidos y desatendidos, capacidad instalada del grupo, temas de investigación emergentes y decadentes de homólogos en el contexto nacional, en el contexto global, con visibilidad en cuanto a representación social, además de las fortalezas y debilidades organizacionales asociadas a la investigación del grupo de investigación, y las oportunidades y amenazas que proporciona el entorno a la investigación de dicho grupo.
Esta acción podría desarrollarse mediante la realización de talleres con personas clave de la organización y de ser posible las partes interesadas (De Pian y Meneghini, 2007), lo que permitirá apropiar y posicionar la importancia del grupo de investigación en la organización y su entorno -representantes de la alta dirección, investigadores, expertos en las temáticas, usuarios potenciales de los productos de investigación, etc.-.
Igualmente, el ejercicio valida la confiabilidad de los resultados y complementa la información sobre lo que debería hacer el grupo a mediano y largo plazo, con el ánimo de identificar focos de investigación de interés colectivo, pero alineados con las necesidades organizacionales en un contexto externo interiorizado. Esto pone de manifiesto la necesidad de integrar aspectos de la gestión de la investigación y no solamente de producción investigativa. Así, los resultados de la acción 5 implican un cambio al pasar de visualizar el conocimiento como un elemento que se puede transferir, a un proceso de relación.
La experiencia de centros de investigación en Australia evidencian que en gran medida su éxito radica en la capacidad de equilibrar la oferta de los productos y servicios de investigación con la demanda de sus usuarios potenciales, logrando, además, otros productos en educación y redes de colaboración con impacto social (Howard Partners, 2003). Para este caso, el grupo no es un mero receptor de capacitación, sino también es un productor de reflexión acerca del problema propuesto (Godet y Durance, 2011).
Dentro de los criterios de tamizaje que pueden ayudar a seleccionar la información más relevante para la toma de decisión, se proponen:
a. Eficacia, que hace referencia a que la orientación cumpla con el objetivo estratégico de la organización.
b. Factibilidad, que evalúa las capacidades internas y las condiciones externas para la orientación se pueda llevar a cabo, es el decir el grado de disponibilidad de los recursos necesarios para trabajar el tema.
c. Prospectiva, que se considera una orientación con un potencial de desarrollo futuro importante.
d. Impacto, que considera cuatro aspectos: la generación de nuevo conocimiento, apropiación social del conocimiento, desarrollo tecnológico e innovación y formación del recurso humano en ciencia y tecnología, que, para el caso de Colombia, hace referencia a las categorías de productos de investigación reconocidos por el gobierno.
El resultado esperado de la acción es la consolidación de información pertinente para la toma de decisión que deje de manifiesto el listado o inventario de los potenciales temas de investigación identificados o propuestos, así como los elementos fuertes y débiles identificados dentro de la organización y fuera de ella que afecten el proceder del grupo de investigación. Como perspectiva futura de la acción 5, se contempla el desarrollo de factores cuantitativos que faciliten la categorización de dichos listados, a través, por ejemplo, de matrices para su valoración, considerando los aspectos subjetivos en la decisión.
3.2 Hallazgos de la validación de contenido
El primer análisis consistió en realizar una descripción de las proporciones de los TTB para cada ítem, donde se observa cuáles fueron los ítems con mayor nivel de acuerdo para cada acción. En la tabla 1 se puede observar cuáles fueron las proporciones para cada ítem por acción y por constructo -aplicabilidad, claridad y pertinencia-.
Tabla 1. Nivel de acuerdo para cada constructo
Fuente. Elaboración propia.
La correspondencia de los ítems evaluados en la validación de contenido es consistente con los datos requeridos para cada una de las acciones, así el ítem 1 corresponde al componente a) de la acción 1 descrito en la sección de resultados 3.1 y continua para cada una de las acciones. Para el caso de la evaluación global, los ítems pertenecen a cada una de las 5 acciones propuestas.
Se puede observar que para la acción 1, tanto para aplicabilidad, claridad y pertinencia del ítem, el de mayor nivel de acuerdo es el ítem 2, la caracterización del grupo fue la mejor calificada, mientras que el resultado esperado de la acción fue el de menor aprobación. La acción 1 es pertinente -82 %-, clara -76 %-y aplicable -77 %-, dentro de los aspectos a consolidar se incluyen la interdisciplinariedad, así como la relación de los grupos con centros de investigación tecnológicos, cuando se aplique en contextos empresariales y la definición de una estrategia para garantizar la continuidad en la acción, puesto que se puede mejorar la continuidad de las ideas expresadas.
Particularmente, se expone la necesidad de aclarar a qué sector de investigación pertenecen los grupos bajo estudio. Como sugerencia a la operativización de la acción, se propone la realización de reuniones con expertos dentro de la organización o con miembros de la junta directiva, posterior a la disponibilidad de los análisis de contexto organizacional con que se cuente.
La acción 2 se considera pertinente -87 %-, clara -84 %- y aplicable -84 %-. El ítem mejor calificado para los tres criterios fue el 7, que tiene que ver con el número de líneas de investigación con las que cuentan los grupos para la identificación y análisis de tendencias emergentes y decadentes de otros grupos y líneas de investigación nacionales. El ítem mejor calificado fue el 10, relacionado con el número de productos de nuevo conocimiento. El 80.65 % de los expertos calificó con 4 y 5 la acción 2. Para esta acción se sugiere incluir la producción gris, que si bien no siempre es visible a través de una base de datos académica reconocida, ayuda a clarificar el impacto y reconocimiento social del grupo de investigación. Una restricción frente a la recolección de estos datos estaría dada por la disponibilidad de fuentes de información públicas para la consulta y el peso asignado con respecto a otro tipo de producción. De ser posible, se sugiere incluir la capacidad de ofrecer productos y servicios desde los grupos de investigación que se pueden considerar competencia.
En la acción 3 se encontró que el ítem mejor calificado fue el 16 para el constructo aplicabilidad, relacionado con el resultado esperado para la identificación y análisis de tendencias de publicaciones nacionales e internacionales, mientras que para claridad y pertinencia el ítem mejor calificado fue el 14, relacionado con la información estructurada, las bases de datos académicas y las bases de datos de patentes, obteniendo una aprobación del 100 % de los expertos. La identificación y análisis de tendencias de publicaciones nacionales e internacionales, correspondientes a esta acción, implica una inversión de tiempo y recursos importante, por lo que se propone como un proyecto completo y de realización periódica de acuerdo con los cambios que se puedan suscitar a nivel interno o externo valorados como relevantes para el grupo de investigación. Es importante aclarar que los datos estadísticamente representativos no dan cuenta de todo el panorama, que pueden verse influenciados por el acceso y calidad de la información y el periodo de tiempo establecido, ya que la selección de periodos de tiempo recientes dificulta la identificación de tecnologías decadentes. La acción cuenta con pertinencia -92 %-, claridad -89 %- y aplicabilidad -89 %-.
Los expertos han considerado pertinente -95 %-, clara -88 %- y aplicable -88 %- la acción 4. El análisis de contexto debe contribuir a la definición del alcance del proyecto de investigación y ponderar los factores clave de análisis interno y externo. En general, se calificó mejor el contexto externo que el organizacional referente al análisis local e internacional, teniendo entre el 90 % y 100 % de la aprobación de los evaluadores.
Para la acción 5, las oportunidades y amenazas que proporciona el entorno a la investigación del grupo fue mejor calificado que las fortalezas y debilidades organizacionales asociadas a la investigación del grupo, en cuanto al análisis de alineación estratégica y propuesta de líneas de investigación. Si bien esta acción tiene como propósito el análisis de alineación estratégica y en primera instancia la definición de líneas de investigación, la validación de expertos consideró que su alcance es más amplio que lo esperado por la acción, toda vez que los datos recabados aportan a la toma de decisión de otros aspectos de I+D+i, por ende, se puede tornar subjetivo el análisis efectuado.
El impacto de dichas decisiones determina el desarrollo de nuevos productos o servicios, el aumento en las ventas, el desarrollo de la innovación, la apertura de nuevos mercados, el cumplimiento de los objetivos estratégicos y la identificación de nuevas líneas o campos de investigación, entre otros; así, la acción se ha considerado pertinente -94 %-, clara -85 %- y aplicable -86 %-.
Finalmente, se puede considerar un análisis adicional representado por los 21 ítems, evaluados por los expertos a través del instrumento de evaluación definido por los investigadores, el ítem 23 y el ítem 25, que fueron los mejores calificados por los expertos, muestran una aceptación a favor de la caracterización de la tradición e intereses investigativos de los grupos, la identificación y análisis de tendencias de publicaciones nacionales e internacionales y el análisis de la alineación estratégica y propuesta de líneas de investigación relacionados con la evaluación global de las acciones propuestas en la metodología. Esto se consideraría una sexta acción.
Para conocer gráficamente el nivel global de aceptación por constructo se presenta el gráfico de box-plot (figura 1). Esta permite identificar que los valores entre los cuales se encuentra la caja corresponden al 50 % de respuestas que se encuentran alrededor de la mediana. La proporción de los mejores niveles de aceptación es superior al 78 % para los 3 constructos medidos: aplicabilidad, claridad y pertinencia. El constructo mejor calificado fue pertinencia, donde el 75 % de los ítems tuvo niveles de aceptación entre 0.86 y 1.
Figura 1. Nivel de aceptación global por constructo
Fuente. Elaboración propia.
La varianza de las proporciones de los TTB para los evaluadores no es amplia ya que está muy cercana a 0, de lo que se puede concluir que la mayoría de los evaluadores calificaron de manera óptima los ítems del test para cada uno de los constructos. Este resultado es muy común con el juicio de expertos donde la consistencia de los resultados es muy alta lo que significa variabilidad muy baja.
En relación con la fiabilidad del instrumento usado» para la validación de parte de los expertos fue calculada con el coeficiente alfa de Cronbach. Se encontró que es buena -0.89-, es decir, el test para dicho constructo está bien construido y es fiable.
La evaluación global de las acciones propuestas en la metodología a partir de la validación de contenido muestra que las acciones son pertinentes, claras, aplicables, suficientes y reflejan un importante aporte a los procesos de investigación, ya que su desarrollo implicarían un mejor uso de los recursos y factores involucrados en el avance de la ciencia y la tecnología en beneficio de la humanidad, respaldado en las referencias utilizadas que guardan estricta correspondencia con los autores citados y por consiguiente se valida la argumentación en un contexto académico
Se puede afirmar que las acciones contribuyen a la toma de decisión en ciencia, tecnología e innovación y por consiguiente al establecimiento de líneas de investigación, con ajustes en la simplificación de componentes en cada una de las acciones, ya que provee información para orientar la planeación y proyección de los grupos; esto, teniendo en cuenta el beneficio mutuo entre el sector académico y el empresarial, las tendencias y la competencia.
4. Discusión
La disponibilidad de grandes volúmenes de datos obliga a instaurar acciones para simplificar su análisis y tratamiento y así tomar decisiones pertinentes y coherentes con las necesidades, en este caso, de los grupos que se dedican a actividades de Investigación, Desarrollo e Innovación (I+D+i). El desempeño productivo, el desarrollo de nuevos productos o servicios y el manejo de recursos de inversión, son algunos de los temas a considerar en consistencia con las necesidades del sector económico y los lineamientos institucionales vinculados, dando prioridad a los intereses investigativos colectivos sobre los particulares.
En cuanto a los hallazgos, que se establecen en dos aspectos, revisión de literatura y juicio de expertos, se puede decir que a partir de la revisión de literatura se identifican 5 acciones de decisión que, simplificados en los resultados que se esperan obtener, facilitarían a los grupos la consideración de los intereses de los miembros y sus organizaciones, así como las áreas más convenientes de especialización o redireccionamiento, las sinergias en términos de las posibles relaciones de colaboración entre pares y competidores, las oportunidades que corresponden a las capacidades instaladas y no instaladas para desarrollar las investigaciones, y una última acción de integración que consolide la información pertinente para la toma de decisión y procure la separación de intereses particulares de los miembros del grupo.
Si bien cada acción por sí misma tiene métodos, fortalezas y oportunidades de mejora, muchas de las bases de datos estructuradas para la construcción de la información necesaria para cada acción, pueden presentar sesgos por la calidad de los datos proporcionado por las revistas -estandarización, uniformidad en descriptores- y la exclusión de revistas regionales; por lo que la selección de áreas estratégicas o top, no necesariamente responden a las necesidades y capacidades de los grupos de investigación, las instituciones que los patrocinan o el país de afiliación, lo que además justifica el uso de las 5 acciones como complementarias.
Al respecto de la validación de contenido de las 5 acciones para la toma de decisiones en I+D+i, se puede afirmar que contribuyen a la toma de decisión y que proporcionan resultados que demuestran su eficacia, puesto que fue posible actualizar las acciones y definir sus alcances, ya sean estos académicos o empresariales, con criterios independientes a los intereses de los investigadores que proponen las acciones.
Si bien en la literatura se describen diferentes métodos y estrategias, tanto cuantitativas como cualitativas para definir líneas de investigación, no se documentan con perspectivas de futuro, o solo consideran una fuente de información y por consiguiente están vinculadas a un solo método de análisis, por lo que se pone de manifiesto la conveniencia de proponer una metodología integral con triangulación de métodos a partir de las acciones propuestas y la validación de contenido aportada por expertos en la temática.
5. Conclusiones
La generación de nuevo conocimiento requiere de la interacción del pensamiento humano con las necesidades del entorno en el que se desenvuelve y del aprendizaje previo en relación con el objeto de estudio. Es necesario contar con una actitud y pensamiento crítico, para sistematizar el conocimiento generado y de esta forma poder crear métodos que faciliten la adecuada utilización de ese saber; todo esto, con el ánimo de encontrar nuevos campos, escenarios, métodos y enfoques de investigación.
El resultado de la revisión sistemática y la validación de contenido muestra el establecimiento de 5 acciones necesarias para la toma de decisión en Investigación, Desarrollo e innovación (I+D+i), a saber: 1) la caracterización de la tradición e intereses investigativos de los grupos, 2) la identificación y análisis de tendencias de otros grupos y líneas de investigación nacionales, 3) la identificación y análisis de tendencias de publicaciones nacionales e internacionales, 4) el análisis de contexto organizacional, local e internacional y, 5) el análisis de alineación estratégica.
Los resultados de cada una de las 5 acciones, proporciona información relacionada con la identificación de intereses -acción 1-, el establecimiento de áreas de competencia - acción 2-, las sinergias de la producción -acción 3- y las oportunidades del sector externo - acción 4-, cuyo análisis individual y colectivo, proporcionan una entrada fundamental para la identificación de los temas potenciales que aportarán a la toma de decisión en I+D+i para el grupo de investigación; así, el resultado de la actividad 5 proporciona criterios para tamizar y seleccionar objetivamente los temas de investigación.
La validación de contenido evidenció que las 5 acciones propuestas son suficientes, claras y pertinentes para la toma de decisiones en I + D+I en grupos de investigación con carácter académico o empresariales. La consistencia interna de los instrumentos utilizados para el proceso de evaluación por parte de los 14 expertos fue buena expresada en un alpha de Cronbach de 0.89.
La disponibilidad de información procedente de diferentes fuentes y con la posibilidad de procesarse a través de diferentes métodos, es la contribución de la aplicación de las 5 acciones para la toma de decisión en I+D+i, lo que lleva a considerar la estructuración de una metodología y realizar un piloto medible que integre las Orientaciones IASO -convención que simplifica los resultados de cada una de las acciones: intereses, áreas, sinergias y oportunidades-, que no solo demuestre su aplicación en la identificación y el fortalecimiento de líneas de investigación de grupos académicos y empresariales, sino que además procure la triangulación de métodos con alineación estratégica para la toma de decisión de otros aspectos de I+D+i.
Referencias
Agudelo, N. (2004). Las líneas de investigación y la formación de investigadores: una mirada desde la administración y sus procesos formativos. Revista Electrónica de la Red de Investigación Educativa, 11(1). Recuperado de http://revista.iered.org/v1n1/html/ncagudelo.html
Arguimbau, L., Fuentes, E., y Gallifa, M. (2013). Una década de investigación documental sobre cienciometría en España: análisis de los artículos de la base de datos ISOC (2000-2009). Rev. Esp. Doc. Cient., 36(2). Recuperado de http://dx.doi.org/10.3989/redc.2013.2.907
Benítez, N., y Benavides, C. (2012). Investigación en innovación tecnológica: un estudio bibliométrico de revista europea de dirección y economía de la empresa. Revista Europea de Dirección y Economía de la Empresa, 21, 157-168.
Castilla, F., Sánchez, M. I., Gallardo, D., y Ruiz, M. D. (2016). Diseño de un modelo de reputación para cooperativas oleícolas. Revista de Contabilidad - Spanish Accounting Review, 19, 154-167. Recuperado de https://doi.org/10.1016/jj.rcsar.2015.10.003
Colciencias. (2017). Modelo de medición de grupos de investigación, desarrollo tecnológico o de innovación y de reconocimiento de investigadores del sistema nacional de ciencia, tecnología e innovación, año 2017. Bogotá.
Colciencias y Trizz XXI. (2006). Protocolo general para ejercicios de vigilancia tecnológica para Colciencias. Bogotá. Programa nacional de prospectivatecnológica e industrial.
Corcoglioniti, F., Rospocher, M., Cattoni, R., Magnini, B. y Serafini, L. (2015). The KnowledgeStore: A Storage Framework for Interlinking Unstructured and Structured Knowledge. International Journal on Semantic Web and Information Systems, 11, 1-35. doi:10.4018/IJSWIS.2015040101.
De Pian, C., y Meneghini, R. (2007). Assessment of scientific programs: a necessary procedure for Brazilian scientific policy - the Young Investigator Program of the State of São Paulo Research Foundation. En. Acad. Bras. Ciênc, 79, 543-562.
Galgano, M., Arndt, J., y Hyser, R. (2008). Doing history: Research and writing in the digital Age, (second edition). Thomson, Boston.
García, F., Batres, J., Rojano, R., Frigolet, J., Martos, I., González, M. D., y Millán, M. D. (2011). Líneas de investigación propuestas por la asociación de enfermería comunitaria de Andalucía. Enfermería Clínica, 21, 159-162. doi:10.1016/j.enfcli.2011.02.007.
Godet, M., y Durance, P. (2011). La prospectiva estratégica para las empresas y los territorios. Unesco y Dunod.
González, B., Moreno, L., Aparicio, J., y Bordons, M. (2017). Visibility of healthcare research institutes through the Web of Science database. Revista Clínica Española, 217(9), 510-517. https://doi.org/10.1016/j.rce.2017.04.005
Gorbea, S. (2016). Una nueva perspectiva teórica de la bibliometría basada en su dimensión histórica y sus referentes temporales. Investigación Bibliotecológica: Archivonomía,BibliotecologíaeInformación, 30(70), 11-16. https://doi.org/10.1016/jj.ibbai.2016.10.001
Howard Partners. (2003) Evaluation of the Cooperative Research Centres Programme. Recuperado de http://www.howardpartners.com.au/publications/crc-report.pdf
Latour, B. (1993). We have never been modern. Cambridge: Harvard University Press.
López, P. (2017). Surgimiento de empresas catalogadas como spin-off universitarias en Colombia, análisis desde la gerencia de proyectos (fase I). Revista EAN, 82, 61-72. Recuperado de https://doi.org/10.21158/01208160.n82.2017.1649
Luque, A., y Fajardo, F. (2015). Aplicaciones de la minería tecnológica para la gestión de proyectos de ingeniería. Revista Ciencias Estratégicas, 23, 275-288. Recuperado de https://revistas.upb.edu.co/index.php/cienciasestrategicas/article/view/7374/6732
Macías, C. (1998). Papel de la informetría y de la cienciometría y su perspectiva nacional e internacional. Recuperado de http://eprints.rclis.org/5162/1/sci06100.pdf
Michán, L. (2011). Cienciometría información e informática en ciencias biológicas: enfoque interdisciplinario para estudiar interdisciplinas. Ludus Vitalis, 19(35), 239-243. Recuperado de http://www.ludus-vitalis.org/ojs/index.php/ludus/article/view/214/210
Ortega, E. (2010). La investigación en marketing a través de las tesis doctorales españolas. Investigaciones Europeas de Dirección y Economía de la Empresa, 16(1), 127-147. Recuperado de https://doi.org/10.1016/S1135-2523(12)60006-9
Porter, A., y Cunnigham, S. (2005). Tech Mining: Exploiting new technologies for competitive advantage. Ed Wiley-Interscience. United States.
Rodríguez, Y., y Molano, J. (2012). Adaptación de una herramienta para la evaluación de la gestión de la salud y seguridad en el trabajo. El hombre y la máquina, (40), 7-21. Recuperado de http://www.redalyc.org/articulo.oa?id=47826850002
Rodríguez, A., y Pérez, A. O. (2017). Métodos científicos de indagación y de construcción del conocimiento. Revista EAN, 82, 175-195. https://doi.org/10.21158/01208160.n82.2017.1647
Varela, J., y Méndez, J. (2017). Relación entre factores administrativos e innovación. Revista EAN, 83, 31-50. https://doi.org/10.21158/01208160.n83.2017.1826
Vega, I. (2009). El uso de la cienciometría en la construcción de política tecnocientíficas en América Latina: una relación incierta. Redes, 15(29), 217-24. Recuperado de http://www.redalyc.org/pdf/907/90717079010.pdf
Vendrell, F., y Ortín, P. (2008). OTRI: agenda de investigación. Investigaciones Europeas de Dirección y Economía de la Empresa, 14(3), 67-78. https://doi.org/10.1016/S1135-2523(12)60067-7