Attentes quant à la qualité de l’évaluation

Les évaluateurs fournissent des évaluations écrites pour chacune des demandes qui leur ont été assignées. Ces évaluations – qui peuvent être lues par les candidats, les autres évaluateurs, les présidents, les agents scientifiques, et d’autres utilisateurs des évaluations – ont en fait un certain nombre d’utilités. Elles doivent donc être de qualité suffisante pour :

• renseigner utilement les candidats et les autres utilisateurs des évaluations;
• assurer des évaluations uniformes et justes;
• responsabiliser les évaluateurs;
• augmenter la transparence des décisions de financement;
• maintenir la confiance en l’intégrité du système d’évaluation par les pairs.

Au bout du compte, des évaluations de haute qualité favoriseront l’avancement de la recherche en sciences de la santé.

Comment la qualité de l’évaluation se définit-elle?

La qualité de l’évaluation est définie et opérationnalisée aux IRSC par la mesure dans laquelle une évaluation écrite répond aux critères ci-dessous. Les évaluations de haute qualité répondent à chacun de ces critères.

• Caractère approprié : Les commentaires sont équitables, compréhensibles, confidentiels et respectueux.
• Rigueur : L’évaluation est exhaustive, complète et crédible.
• Utilité : L’évaluation fournit des commentaires répondant aux besoins des évaluateurs, des candidats et des bailleurs de fonds.

Cette définition se fonde sur la synthèse des données probantes provenant d’une recension de la littérature scientifique, d’une analyse comparative internationale, d’un examen des politiques d’évaluation par les pairs, ainsi que d’une série de consultations auprès de la communauté scientifique et d’une validation indépendante.

Aide-mémoire pour assurer la qualité de l’évaluation

L’aide-mémoire suivant a été établi comme outil pratique pour aider les évaluateurs ou les candidats à appliquer les critères de qualité de l’évaluation aux évaluations qu’ils présentent ou reçoivent.

• CritèreDéfinitionComment appliquer le critèreCaractère appropriéLes commentaires sont équitables, compréhensibles, confidentiels et respectueux.Respect de la Politique sur les conflits d’intérêts et la confidentialité
• Absence de commentaires suggérant un préjugé à l’égard du sexe, de l’ethnicité, de l’âge, de la langue, du stade de carrière, de l’établissement d’affiliation ou de l’emplacement géographique du candidat
• Rédaction est originale et dans un langage clair et compréhensible
• Absence de commentaires qui pourraient être interprétés comme étant sarcastiques, irrévérencieux ou arrogants
• Rigueur L’évaluation est exhaustive, complète et crédible.Justification détaillée pour chaque cote, y compris une description claire et significative des forces et des faiblesses de la demande
• Commentaires correspondant aux cotes attribuées
• Inclusion de tous les critères de sélection applicables et exclusion de tout renseignement non pertinent à l’égard de ces critères
• Tous les commentaires sur la teneur des demandes de subvention sont factuels.
• Absence d’énoncés qui pourraient permettre de douter des connaissances scientifiques ou des compétences de l’évaluateur
• Utilité L’évaluation fournit des commentaires répondant aux besoins des évaluateurs, des candidats et des bailleurs de fonds.Les commentaires dans l’évaluation sont constructifs et peuvent aider les candidats à améliorer leurs demandes futures et/ou à faire avancer leur recherche
• L’évaluation renferme des renseignements qui permettent à d’autres évaluateurs de comprendre la ou les cotes de l’évaluateur
• Détails suffisants pour permettre aux IRSC d’analyser et d’affiner les éléments du processus d’évaluation