Environ 350 dossiers ne signifie pas 350 patients : l'importance de la nuance dans le reporting des premiers chiffres

Après quelques semaines de programme en première ligne dans un hôpital, le premier rapport d'étape a été transmis au conseil d'administration. Il affichait environ 350 enregistrements suivis et un taux de 54 %. Les deux chiffres étaient réels. Les deux auraient pu être mal interprétés d'un simple coup d'œil.

Un membre du conseil voit "350" et pense à 350 patients. Ou 350 succès. Un taux de 54 % donne l'impression que "le programme est à moitié accompli". Rien de tout cela n'était vrai, et le rapport le précisait sur la même page : les enregistrements n'étaient ni un décompte de patients, ni un décompte de succès, et le taux décrivait les enregistrements, pas la progression du programme.

Nous partons des preuves avant l'affirmation. Les premiers chiffres sont l'étape où cette règle est la plus durement testée, car tout le monde veut de bonnes nouvelles et les chiffres sont faibles.

Pourquoi les chiffres s'altèrent

En 1979, le chercheur en sciences sociales Donald Campbell a résumé le problème en une phrase : "Plus un indicateur social quantitatif est utilisé pour la prise de décision sociale, plus il sera sujet aux pressions de corruption et plus il sera enclin à fausser et corrompre les processus sociaux qu'il était censé surveiller." Personne n'a besoin de mentir pour que cela se produise. Un décompte que le conseil célèbre devient un décompte que les gens produisent.

Le Code de pratique pour les statistiques du Royaume-Uni, rédigé pour les statistiques officielles, repose sur trois idées qu'une institution peut adopter : la confiance, la qualité et la valeur. La qualité inclut la clarté sur ce qu'un chiffre mesure et sur votre degré de certitude. Ce code est destiné aux statisticiens du gouvernement. L'habitude qu'il décrit s'applique tout aussi bien à un rapport de service.

Six règles pour le premier rapport

• Nommez l'unité. Définissez ce qu'est un enregistrement. "Une observation par un coordinateur, concernant une situation" est une unité. "Interactions" n'en est pas une.
• Comptez chaque source une seule fois. Si le même moment est enregistré deux fois, par deux personnes ou à deux endroits, il s'agit toujours d'un seul moment. Fusionnez avant de compter.
• Donnez à chaque taux son dénominateur. Un pourcentage nécessite une base cohérente. Cinquante-quatre pour cent de quoi, durant quelles semaines, auprès de qui ? Si la base est instable, présentez plutôt le décompte.
• Une semaine vide est "non disponible". L'absence de données n'est pas la même chose que zéro. Une semaine sans observations signifie que personne n'a regardé, ou que les enregistrements ne sont pas arrivés. Écrivez cela, et laissez la ligne vide sur le graphique.
• Indiquez ce qui a été restauré. Lorsque d'anciens enregistrements sont réintégrés dans un système, étiquetez-les comme "restaurés". Les lecteurs doivent savoir quels chiffres ont été enregistrés en direct et lesquels ont été reconstitués plus tard.
• Montrez une séquence, pas une cause. Placez les interventions datées sur la même chronologie que les résultats. Par exemple, "Le guide a été révisé en semaine 5 ; un guidage plus clair a été enregistré plus fréquemment à partir de la semaine 6" est une approche honnête. "Le guide a amélioré la clarté du guidage" est une affirmation que les données ne peuvent soutenir.

Les objectifs ne sont pas des résultats

Un programme de huit semaines pour un service de première ligne peut fixer des objectifs tels que : un guidage clair dès le premier contact dans 60 % des situations observées à la semaine 4 et 75 % à la semaine 8 ; aucun visiteur laissé sans réponse dans 60 %, puis 70 % des cas ; un visiteur informé lors d'un retard dans 50 %, puis 60 % des cas. Un échantillon hebdomadaire d'au moins 20 situations, réparti sur les équipes, empêche la base de se réduire à une poignée de cas.

Ce sont des objectifs. Placez-les sur le graphique sous forme de ligne, et placez ce qui a été observé à côté. Lorsque les deux diffèrent, la différence constitue le constat.

Que faut-il écrire à côté du chiffre

Trois lignes courtes sous n'importe quel chiffre précoce évitent la plupart des erreurs de lecture.

• Ce qu'il compte, en une phrase.
• Ce qu'il ne compte pas.
• Ce qui modifierait notre lecture.

Cela semble plus lent. C'est pourtant plus rapide que de réparer la confiance après qu'un membre du conseil a cité "350 patients aidés" lors d'une réunion.

Comment Reflection garantit l'honnêteté des premiers chiffres

Reflection suit ces règles par conception. Chaque source est comptée une seule fois, un taux n'est affiché qu'avec un dénominateur valide, une semaine vide apparaît comme non disponible, les enregistrements restaurés sont marqués, et les interventions apparaissent comme une séquence datée à côté des résultats. Les chiffres d'équipe n'apparaissent que pour les groupes de cinq personnes ou plus. Les gens lisent les chiffres et décident de leur signification.

Sources

1. Assessing the Impact of Planned Social Change. Evaluation and Program Planning, 1979.
2. Code of Practice for Statistics. UK Statistics Authority, 2018.

Commentaires

Votre nomVotre commentaire

Les commentaires s'affichent après lecture par notre équipe. Merci de ne pas inclure de données personnelles concernant des patients ou des collègues.

Publier le commentaire