Étude exploratoire sur la « recherche sur la recherche » : acteurs et approches
Résumé
Introduction
As part of the France’s second National Plan for Open Science, the French Committee for Open Science requested to conduct a study to pave the way for an Open Science Lab (LabSO) in order to better understand the international scope and context of research on research (RoR).
• Purpose of the study
The study’s three main objectives were:
1. to identify the major currents in academic science studies in Europe and the Americas, and indicate the main institutional actors affiliated to each current while differentiating their approaches and methods;
2. to put forward an open science workflow for analyzing qualitative and quantitative data through mixed methods and digital mapping to facilitate result uptake and communication;
3. to make recommendations that draw on existing initiatives to help the French Open Science Lab position itself in the current RoR landscape
• Methods
Mixed methods were used to draw up a qualitative and quantitative landscape of actors and approaches based on a series of thirteen interviews and a collection of data from thousands of thematically curated websites. Through a qualitative analysis of the interview data, the report gives a broad overview of evolving RoR research trends and shows how they intersect and interact with each other. Based on a quantitative data analysis, an experimental network was also constructed and annexed to the report with the idea of making existing links between different stakeholders (institutions, communities, initiatives, infrastructures) more visible, and recommendations about their roles (funders, projects, research centers, data providers, publishers, etc.) more compelling.
• Results
The report lays out different currents of research on research (RoR). Some are theoretically and methodologically rooted in traditional academic fields such as sociology, economics, political science, philosophy, or information science (bibliometrics and scientometrics). Others with more data intensive approaches come from computational social sciences or bio-medical fields, and have evolved in a favorable context for open science in terms of public policies. While the former currents are based on well-established pre-existing academic fields and methods, such as STS or scientometrics, the latter have appeared more recently, and have adopted a prescriptive, change-oriented focus as well as a normative commitment to foster better and more open science. Far from presenting a static landscape, the study highlights the evolving nature of RoR research, the contemporary debates it is fueling around key issues such as reproducibility, evidence-based practices, integrity and inclusivity in research, and some community-issued warnings about not “reinventing the wheel”. The report specifically draws attention to new alliances that are forming between research centers and laboratories, funding institutions, policy makers and data providers in order to support public policy makers with evaluation tools and research protocols to guide decision-making and action. The reports gives examples of key players, such as the Research on Research Institute (RoRI)2 , which is currently advocating for tools, methods and data sharing within an international network of RoR research institutes. By placing the roles of research infrastructures and data providers (publications, metadata, citations, etc.) at the center of the contemporary RoR research landscape, the study reveals the underpinning dynamics, and brings up sticking points for various stakeholders, raising the question of the balance to be found between them.
• Recommendations
1. Guide the construction of indicators and metrics through critical thinking and collective discussions to monitor their impact on the behaviours of research professionals (misuse, gaming).
2. Pay attention to take the different steps in disseminating RoR research results in order to adapt them to various target audiences (researchers, science policy stakeholders, journalists, etc.)
3. Articulate « research on research" work with an open science approach by questioning in particular the choices made concerning the data providers, the infrastructures and tools for evaluating, discovering and analysing scientific production (governance, use of data, etc.).
4. Support thematic, cross-cutting and collaborative approaches to RoR research, rather than disciplinary ones, and foster dialogue between a set of diverse Open Science Lab members with different approaches and movements (STS, research on research, science of science, scientometry, etc.)
Introduction
Dans le cadre du deuxième Plan National de la Science Ouverte, le Comité pour la science ouverte a souhaité mener une étude pour la préfiguration d’un Lab de la science ouverte (LabSO) afin de mieux comprendre le périmètre de la recherche sur la recherche (research on research) dans un contexte international.
• Objectifs de l’étude :
L’étude répond ainsi à trois objectifs :
1. repérer des grands courants de recherche sur la recherche (RoR) dans le paysage plus général de la recherche universitaire en Europe et outre-atlantique, en reconnaître les principaux acteurs institutionnels et différencier les approches mobilisées par les uns et les autres ;
2. proposer une méthodologie d’analyse dans une démarche de science ouverte (méthodes mixtes et cartographie numérique) pour faciliter l’appropriation de son contenu ;
3. émettre des recommandations pour faciliter le positionnement du LabSO et s’inspirer d’initiatives existantes.
• Méthodologie
Une série de treize entretiens et une collecte de données d’une sélection thématique de sites web ont permis de dresser un paysage d’acteurs et d’approches impliqués dans des recherches sur la recherche. Ce dernier s’est nourri d’une démarche de cartographie numérique pour repérer et visualiser les liens existants entre différentes communautés, mouvements, réseaux et initiatives (financeurs, projets, centres de recherche, fournisseurs de données, éditeurs, etc.).
• Résultats
Le rapport présente différents courants de « recherche sur la recherche » issus des traditions théoriques et méthodologiques de la sociologie, de l’économie, des sciences politiques, de la philosophie, des sciences de l’information et des mesures (biblio/scientométrie). Des courants plus récents sont aussi décrits. Ils s’inscrivent dans un contexte de politiques publiques favorables à la science ouverte et ont émergé dans le champ des sciences sociales computationnelles, des Big Data ou encore des domaines biomédicaux. Si certaines de ces approches s’appuient sur des courants académiques (STS, sciences des mesures) établis depuis de nombreuses décennies, d’autres comme ceux de la « métascience » ou de la « science de la science », se sont structurées plus récemment avec une visée prescriptive et de changement fondé sur des preuves (evidence-based) se basant sur un engagement normatif pour une science plus ouverte, inclusive et diverse.
Bien loin d’un paysage statique, l’étude fait ressortir des recherches en mouvement, des débats tout autant que des mises en garde afin que certains courants « ne réinventent pas la roue » en faisant fit d’une longue tradition académique de l’étude des sciences et de la production scientifiques. De nouvelles alliances entre centres de recherche et laboratoires, institutions subventionnaires, décideurs politiques et fournisseurs de données ont été repérées. Elles participent à une dynamique actuelle d’équipement des politiques publiques par des outils d’évaluation et des protocoles de recherche pour guider les actions menées, on parle d’évidence-based policies. Un des exemples les plus récents étant la seconde feuille de route du RoRI1 poussant notamment à la formation d’un réseau international d’instituts de recherche sur la recherche, fondé sur le partage et la mutualisation de données, de méthodes et d’outils.
Outre la présentation de ces différents acteurs et courants, le rapport pointe le rôle joué par les infrastructures et les fournisseurs de données scientifiques (publications, données, métadonnées, citations, etc.) dans la structuration de ce paysage et les équilibres à trouver.
• Recommandations
1. Accompagner la construction d’indicateurs et de métriques par le biais d’un regard critique et de discussions collectives pour mesurer leurs impacts sur les comportements des professionnels de la recherche (mésusages, gaming).
2. Porter attention aux étapes de diffusion des résultats scientifiques issus des « recherches sur la recherche » pour les adapter aux différents publics ciblés (chercheurs, responsables des politiques publiques de recherche, journalistes, etc.).
3. Articuler les travaux de « recherche sur la recherche » avec une démarche de science ouverte en questionnant notamment les choix faits concernant les fournisseurs de données, les infrastructures et outils d’évaluation, de découvrabilité et d’analyse de la production scientifique (gouvernance, utilisation des données, etc.).
4. Soutenir les approches thématiques et transversales plutôt que disciplinaire de manière collaborative entre les différents membres du Lab de la science ouverte et aider le dialogue entre les différentes approches et mouvements (STS, research on research, science of science, scientométrie, etc.)
Origine : Fichiers éditeurs autorisés sur une archive ouverte
