Une revue systématique de la littérature de recherche obéit à des règles strictes et à un protocole clairement défini. Avant toutes choses, un groupe d’experts est constitué dans les domaines théoriques et méthodologiques sur lesquels portera la synthèse. Ces experts contribuent au processus à travers des rencontres régulières afin de déterminer ce qui doit être inclus ou non dans la revue systématique. Le processus initial d’une revue systématique correspond donc à une première étape de définition, clarification, et repositionnement, pour être sûr que l’échantillon sur lequel porte la synthèse est de taille adéquate et pertinente au regard des travaux existants. Ce repérage doit être explicite et rendre compte des débats théoriques, pratiques, méthodologiques qui concernent le champ de la littérature de recherche, en étant le plus interdisciplinaire possible.
Le processus de revue systématique fait l’objet ensuite d’un protocole : celui-ci comprend les questions posées par l’étude, la population concernée ou l’échantillon, la stratégie de recherche adoptée, les critères d’inclusion et d’exclusion des études sélectionnées. Ce protocole est validé de manière externe afin d’encourager la participation des commanditaires, s’assurer que les critères de qualité ont été respectés, et éviter de reproduire des revues déjà réalisées. Le protocole contient une discussion conceptuelle de la question de recherche et de son intérêt. Doit être expliquée la valeur ajoutée de la revue systématique notamment par rapport aux synthèses déjà produites par les chercheurs du domaine concerné. Le protocole part de mots clés à partir des discussions qui ont eu lieu dans le groupe d’experts, et la stratégie adoptée fait l’objet d’une présentation claire et détaillée, de façon à ce qu’elle puisse être reproduite. La revue systématique ne s’appuie pas seulement sur des revues ou des banques de données bibliographiques mais aussi sur des études non publiées, des actes de colloque, ou de la littérature grise.
L’information qui a été utilisée doit être répertoriée avec détails. Seules les études satisfaisant tous les critères définis a priori sont retenues pour élaborer la synthèse : les problèmes d’interprétation et les désaccords sont soumis à l’interprétation du groupe d’experts. Les revues systématiques s’appliquent bien à l’usage des méthodes quantitatives : essais contrôlés randomisés, dispositifs quasi-expérimentaux, analyses d’impact ou études coûts-efficacité, mais il existe aussi des critères pour évaluer les études qualitatives : est-ce que l’étude rend compte du sens que les acteurs donnent à leur action dans tel dispositif ou telle intervention ? Est-ce que l’étude a été conçue pour analyser le changement ? Est-ce que l’étude rend bien compte d’un problème théorique en intégrant une diversité de contextes et d’expériences ? Est-ce que différentes sources ont été explorées et comparées ? Est-ce que la méthodologie est clairement explicitée ? Est-ce que l’étude se prête ou non à la généralisation ?
L’extraction des données doit être explicitée. La revue systématique est différente d’une revue documentaire parce qu’elle cherche à cumuler les résultats de plusieurs études sur une question de recherche et non seulement ce qui a été écrit sur une thématique (cf. tableau).
De plus, elle vise la généralisation et l’accumulation des connaissances qui font l’objet de synthèses. L’objectif de ces revues systématiques est d’avoir un impact auprès des décideurs politiques et des praticiens, en décrivant le plus simplement possible l’état de la question à partir d’exemples concrets, tout en essayant de dégager précisément les éléments de consensus sur une question mais aussi en expliquant les divergences entre experts.