Dans le domaine de la qualité de soins, les essais randomisés à unité de randomisation individuelle sont donc rarement utilisés, sauf dans des cas très
43 KB – 59 Pages
PAGE – 2 ============
L™argumentaire scientifique de cette évaluation est téléchargeable sur Ce guide méthodologique est téléchargeable sur www.has-sante.fr Haute Autorité de santé Service communication 2 avenue du Stade de France Œ F 93218 Saint-Denis L a Plaine CEDEX Tél. : +33 (0)1 55 93 70 00 Œ Fax : +33 (0)1 55 93 74 00 Ce document a été validé par le Collège de la Haute Autorité de santé en juin 2007. © Haute Autorité de santé Œ 2007
PAGE – 3 ============
HAS/Service des recommandations professionnelles/Ju in 2007 1 Sommaire Introduction 3 Méthodes quantitatives pour évaluation de l’impact d’interventions visant à améliorer les pratiques. ..5 1. Les essais contrôlés randomisés.. .7 1.1 Essais randomisés à unité de randomisation individu elle..7 1.2 Essais randomisés à unité de randomisation collecti ve (essais en cluster, essais en grappes) ..7 2. Études quasi expérimentales .16 2.1 Séries chronologiques ..16 2.2 Études avant/après avec site contrôle contemporain de l’intervention . .20 3. Autres particularités méthodologiques des études d™ intervention . .22 3.1 Standardisation de l’intervention .22 3.2 Critères de jugement ou indicateurs. .22 3.3 Aveugle.. ..2 3 3.4 Sources de données .23 Concevoir et mettre en œuvre une étude. ..25 1. Avant la réalisation de l™étude.. .25 1.1 La formulation du problème. ..26 1.2 Détermination de la population-cible .29 1.3 Méthodes de recrutement. .30 1.4 Choix de la stratégie d™amélioration ..30 1.5 Choix du plan d™étude expérimental ou d™observation .32 1.6 Choix des indicateurs ou critères de jugement 33 1.7 Aspects éthiques.. ..36 1.8 Enregistrement de l™étude.. 36 2. Durant la réalisation de l™étude. .37 2.1 Maintien de l™intérêt des participants après le rec rutement37 2.2 Sécurité et effets indésirables.. 37 2.3 Gestion des données 38
PAGE – 4 ============
HAS/Service des recommandations professionnelles/Ju in 2007 2 3. Après la réalisation de l™étude.. ..39 3.1 Rapport final.. .39 3.2 Politique de publication .40 Références.. 41 ANNEXE 1 : Cochrane Effective Practice and Organisation of Car e Group (EPOC) 43 ANNEXE 2 : Grille de choix des thèmes de travail 46 ANNEXE 3 : Analyse critique d™une étude d™intervent ion.47 Fiche descriptive. 55
PAGE – 5 ============
HAS/Service des recommandations professionnelles/Ju in 2007 3 Introduction La Haute Autorité de Santé remercie le Pr Philippe RAVAUD et le Dr Pierre DURIEUX, auteurs de ce guide. Les interventions destinées à améliorer la qualité des soins sont trop souvent mises en place sans prévoir l™évaluation de leur impact ou e n évaluant cet impact, avec une méthodologie dont on sait d™emblée qu™elle ne perme ttra pas de répondre correctement à la question. Sur les quelques centaines d™études d™ interventions référencées par le groupe de travail EPOC (Effective Practice and Organization of Care) de la collaboration Cochrane , moins d™une dizaine ont été réalisées en France ( 1,2) . Ceci est également vrai pour les politiques visant à modifier les comportem ents, les mises en place, sans que l™évaluation de leur impact ait été sérieusement en visagée (3,4) . Évaluer correctement les interventions destinées à améliorer la qualité des soins et à modifier les comportements est pourtant essentiel, afin de savoir quelles interventions sont susceptibles d™être efficaces dans notre systè me de santé, en contribuant ainsi d™une part à l™amélioration de la qualité des soins, et d ™autre part à l™amélioration de notre politique de santé. Ces interventions sont fondées le plus souvent sur une modification de la pratique professionnelle ou de l™organisation de s soins. Lorsqu™elles sont en phase de développement, elles doivent faire, à l™instar de t oute innovation, l™objet d™une évaluation de ses effets positifs et négatifs, avant d™être gé néralisées. Cette évaluation est fondée principalement sur des méthodes quantitatives, doma ine de l’épidémiologie et des biostatistiques. Cependant, les méthodes qualitativ es, issues des sciences humaines et sociales, sont actuellement en plein développement, pour aider à la prise en compte des freins à l’amélioration des pratiques, pour facilit er le choix d’une stratégie d’intervention adaptée ou pour analyser les raisons de l’échec d’u ne intervention. Ce document présente les approches quantitatives uniquement. Les méthodes proposées dans ce document sont appliq uées dans un cadre de recherche, et ne sont pas nécessaires lors de l’uti lisation routinière de ces interventions. Leur utilisation contribue, cependant, à faire en s orte que les interventions mises en place pour améliorer les pratiques médicales aient fait l ‘objet d’une évaluation avant leur utilisation routinière. L™objectif de ce document est, à partir des données de la littérature médicale scientifique et de l™expérience de ses auteurs, de présenter les différentes méthodes quantitatives d™évaluation des interventions, destinées à amélior er la qualité des soins. Il en décrit opérationnellement les différentes étapes de mise e n œuvre. La stratégie de recherche documentaire a donc été c iblée sur la méthodologie de ces études. Les bases bibliographiques des auteurs/expe rts du rapport ont été exploitées. Ces bases sont alimentées par une veille documentai re systématique : – dans PubMed/Medline, à partir des termes : Cluster randomised controlled OU trial time series analysis OU time-series intervention analysis OU analysis of interrupted time series OU Interrupted time series design OU interrupted time-series analysis OU interrupted time series studies OU alternating time series analysis OU controlled “before-after” study OU pre/post study ; – ainsi que par le dépouillement des revues suivantes : BMJ, The Lancet, Annals of Internal Medicine, JAMA, Statistics in Medicine, BMC Health Services Research, American Journal of Publi c Health, International Journal of Technology Assessment in Health Care, Qu ality Safety Health Care, International journal for quality in health care.
PAGE – 6 ============
HAS/Service des recommandations professionnelles/Ju in 2007 4 Ce guide constitue avant tout un cadre de référence pour les chercheurs . Il vise à soutenir le développement actuel de la recherche su r les systèmes de santé, soutenue notamment par les appels à projets de recherche de la HAS, de la CNAM TS, de la DHOS (appel à projet PrEQHos). Il est une aide aux déci deurs et professionnels de santé appelés à expertiser les projets de recherche porta nt sur une évaluation d™intervention. Ce guide constitue également un document de référence pour la lecture critique utile aux professionnels de terrain. Il fait cependant ré férence à des concepts, méthodes et outils complexes qui ne sont pas développés, et qui peuvent nécessiter l™aide de méthodologistes. Nous espérons cependant qu™à sa le cture, le professionnel de santé soit sensibilisé à l™importance de l™évaluation rigoureu se d™une intervention innovante, qui conditionnera peut-être sa pratique de demain.
PAGE – 8 ============
HAS/Service des recommandations professionnelles/Ju in 2007 6 Figure 1. Étude avant/après. Les variations observées entre février 2004 et avril 2004 (partie a) peuvent n’être liées qu’à la tendance préexistante. Après Avant · · Après Avant · · Temps Intervention % d’adéquation aux recommandations Fév 2004 Avril 2004 a · · · · · · · · · · · · · · · · · · · · · · % d’adéquation aux recommandations Intervention Fév 2003 Fév 2004 Avril 2004 Avril 2005 Fév 2006 b
PAGE – 9 ============
HAS/Service des recommandations professionnelles/Ju in 2007 7 1. Les essais contrôlés randomisés 1.1 Essais randomisés à unité de randomisation indi viduelle L™essai contrôlé randomisé représente la méthode de référence pour évaluer l’impact d’une intervention en santé. Il permet d’évaluer l’ impact de cette intervention, à l’aide d’une comparaison directe avec un groupe qui ne reç oit pas l’intervention ou bien qui reçoit une autre intervention. La forme la plus classique de ces essais est l’essa i à unité de randomisation individuelle, c’est-à-dire un essai où les malades sont randomisé s, et se voient attribuer l’intervention A ou l’intervention B. La randomisation permet d’ob tenir que tous les facteurs pronostiques pouvant influer sur l’effet de l’inter vention, qu’il s’agisse de facteurs pronostiques connus mais également inconnus, soient équitablement répartis entre les deux groupes de l’essai. Ce point est d’autant plus important que l’on connaît encore moins bien pour les essais thérapeutiques les facte urs de confusion potentiels, liés à l’organisation des soins ou aux performances profes sionnelles. Il est donc très difficile d’envisager un ajustement sur ces paramètres. Les essais à unité de randomisation individuelle so nt rarement utilisés dans le domaine de l’évaluation des interventions visant à améliore r la qualité des soins. Le problème majeur de ces essais est en effet le risque de « co ntamination » entre les groupes. Ainsi, si l’on désire comparer deux interventions, destiné es à des médecins et ayant pour but d’améliorer la qualité des soins (par exemple, mise en œuvre de recommandations versus absence de mise en œuvre de ces recommandations), i l est impossible d’imaginer qu’un médecin va appliquer une recommandation pour le mal ade affecté de manière aléatoire à l™intervention A, puis oublier l’existence de cette recommandation pour le malade affecté de manière aléatoire à l™intervention B. Dans le do maine de la qualité de soins, les essais randomisés à unité de randomisation individuelle so nt donc rarement utilisés, sauf dans des cas très particuliers. Ce type d’essai a par ex emple été utilisé pour évaluer la mise en œuvre de recommandations de pratiques dans un systè me de prescriptions médicamenteuses informatisées. Le médecin recevant un rappel au moment de sa prescription pour certains patients et pas pour d™a utres, le risque de contamination apparaissait dès lors faible (7). L’hypothèse de base dans un essai randomisé à unité de randomisation individuelle est que les différents malades sont indépendants. Cette hypothèse est violée dans la mise en œuvre d™interventions destinées à améliorer la qual ité des soins. En effet, les malades suivis par un même médecin ou dans un même hôpital (à qui l™intervention est destinée) ont une probabilité plus élevée d’avoir la même pri se en charge ou de répondre de la même manière à l™intervention, que des malades trai tés par des médecins différents ou dans des hôpitaux différents. Il en résulte une per te de puissance, dont on doit tenir compte à la fois dans le schéma de l™étude, dans le calcul du nombre de sujets nécessaires et dans l™analyse statistique. La répon se à ces problèmes est la réalisation d™un essai randomisé à unité de randomisation colle ctive, appelé essai en cluster ou en grappes (l™ensemble des malades suivis par un même médecin ou par une même structure de soins constitue une grappe) . 1.2 Essais randomisés à unité de randomisation coll ective (essais en cluster, essais en grappes) Dans ce type d’essai, ce ne sont donc plus des indi vidus qui sont randomisés, mais des groupes d’individus (hôpitaux, services hospitalier s, unités de soins, médecins, infirmières, etc. [cf. figure 2 ]), ce qui est finalement logique, puisque c™est à eux que l™intervention est destinée. La randomisation a don c lieu à un niveau collectif (médecins,
PAGE – 10 ============
HAS/Service des recommandations professionnelles/Ju in 2007 8 services, etc.), et les données sont recueillies gé néralement à un niveau différent (malade). Figure 2. Comparaison entre le mode de recrutement des indiv idus et de randomisation, dans les essais à unité de randomisation individuelle et dan s ceux à unité de randomisation collective L’avantage majeur des essais en cluster est de limi ter ou d’éviter le risque de contamination, c™est-à-dire le risque, par exemple que les médecins randomisés dans le bras-témoin soient influencés par les professionnel s du bras-intervention, et améliorent leurs pratiques. La contamination peut entraîner un e sous-estimation de l’effet réel de l’intervention, et augmenter le risque d’erreur de type II. Le nombre de cluster étant souvent faible, il est souvent utile de prendre en compte la performance initiale, avant intervention. ABCDIJKL EFGHMNOP ACDGBEFH JKMPILNO Essai contrôle randomisé à unité de randomisation i ndividuelle HôpitalHôpital Tirage au sort du bras de traitement pour chaque patient Bras interventionBras contrôle ABEFIJMNQRUV CDGHKLOPSTWX Essai contrôle randomisé en grappes Hôpital 5Hôpital 6 Tirage au sort du bras de chaque traitement pour chaque grappe Hôpital 1Hôpital 2Hôpital 3Hôpital 4 ABMNQREFIJUV CDOPSTGHKLWX Hôpital 2Hôpital 3Hôpital 6 Bras contrôle Hôpital 1Hôpital 4Hôpital 5 Bras intervention
PAGE – 11 ============
HAS/Service des recommandations professionnelles/Ju in 2007 9 1.2.1 Particularités statistiques des essais à unit é de randomisation collective La mesure de l’étendue de l’effet cluster ou grappe s est appelée « Coefficient de corrélation intraclasse » (CCI). Ce coefficient éva lue le degré de ressemblance des individus au sein d’une grappe, et est basé sur la relation entre la variance entre clusters et la variance intracluster. Pour cette raison, les tailles des échantillons doivent être « majorées » pour tenir compte de l’effet de mise e n grappes. L’augmentation requise est influencée à la fois par le CCI et par la taille de s grappes. On doit augmenter la taille standard de l’échantillon par un facteur d’inflatio n égal à [1 +(n -1) ], où n est la taille moyenne d’une grappe et le CCI estimé. On peut obtenir le nombre de partic ipants supplémentaires en augmentant soit le nombre de gra ppes dans l’étude, soit le nombre de participants par grappe. Toutefois, l’augmentati on de la taille de la grappe à plus de 50 ne permettra d’améliorer que légèrement l’efficacit é statistique, l’augmentation du nombre de grappes sera beaucoup plus efficace (8). Il faut ainsi faire un choix entre les difficultés logistiques et les coûts associés au recrutement de nouvelles grappes, et les difficultés associées à l’augmentation du nombre de patients pa r grappe. Si le nombre de grappes est faible (< 5), quelque s oit la taille de chaque grappe, on peut dans certaines circonstances ne pas atteindre une p uissance de 80 % (cf. figure 3 ). Le coefficient de corrélation intraclasse varie sel on le type de critères de jugement utilisé. Plus le CCI est élevé, plus l™effet cluster sera im portant (un CCI à 0 signifie qu™il n™existe aucun effet cluster). Les valeurs du CCI sont plus élevées pour les critères de jugement de type procédure (valeur médiane 0,063, écart inte rquartile : 0,016 à 0,124) que pour les critères de jugement de type résultat (valeur média ne 0,030, écart interquartile 0,005 à 0,052). Ces CCI varient probablement aussi selon d' autres paramètres : le contexte de soins (CCI plus faible en soin primaire), l'unité d e randomisation, le type de mesure subjective ou objective (9-12). Pour les calculs d' effectifs, il est nécessaire de faire des hypothèses à propos du CCI retenu. Ces hypothèses s eront faites en fonction des paramètres connus pour influer sur le CCI, des CCI retrouvés dans des études précédemment publiées, des résultats d'études préli minaires éventuelles. Il est prudent de faire varier le CCI, car des erreurs sur ces estima tions initiales sont fréquentes. À la fin de l'étude, il est indispensable, surtout en cas d'étu de négative, de calculer le CCI réel afin de vérifier que l'étude avait une puissance suffisa nte. Un exemple de calcul de nombre de sujets est donné dans l™encadré n°1. Une autre difficulté, avec les essais à unité de ra ndomisation collective, est le risque de déséquilibre ou de non-comparabilité entre les grou pes. Si dans les essais à unité de randomisation individuelle ce risque est faible, ca r le nombre d'unités de randomisation est élevé (fréquemment supérieur à 100 ou 200), ce risque est majeur dans les essais à unité de randomisation collective, où l'on randomis e parfois moins de 10 unités (hôpitaux, structures de soins ou médecins). Bien évidemment, plus le nombre d'unités de randomi sation disponible est faible, plus le risque d'un déséquilibre dû à la chance entre les g roupes-témoins et les groupes- intervention est élevé. Une difficulté supplémentaire dans ces essais est r eprésentée par le biais induit à différent niveau par l'absence d'aveugle. Il n'est pas rare dans les études en cluster que les hôpitaux, services ou médecins qui se voient as signer une intervention qui ne leur convient pas (par exemple s'ils sont randomisés gro upe-témoins) refusent finalement de participer à l'étude induisant bien évidemment un b iais, et aggravant le risque de déséquilibre entre les groupes. Enfin l'analyse des essais en cluster est plus comp lexe que l'analyse des essais à unité de randomisation individuelle. Fréquemment, ces ess ais sont analysés à l'échelon individuel sans prendre en compte l'effet du cluste r, ce qui est incorrect au plan statistique. Ces essais peuvent être analysés à l'é chelon du cluster en utilisant le cluster
43 KB – 59 Pages