Etwa 350 Datensätze sind nicht 350 Patienten: Die Berichterstattung früher Zahlen
Die ersten Zahlen eines Verbesserungsprogramms lassen sich leicht überschätzen. Sechs Regeln, mit denen wir sie ehrlich berichten, und die Forschung darüber, warum Zahlen sich verzerren.
Ibrahim Elkobeissi · · 6 Min. Auswertung ·
Einige Wochen nach dem Start eines Programms an vorderster Front in einem Krankenhaus ging der erste Fortschrittsbericht an den Vorstand. Er zeigte etwa 350 erfasste Datensätze und eine Rate von 54 %. Beide Zahlen waren korrekt. Beide hätten auf den ersten Blick falsch interpretiert werden können.
Ein Vorstandsmitglied sieht "350" und denkt an 350 Patienten. Oder 350 Erfolge. Eine Rate von 54 % wirkt wie "das Programm ist zur Hälfte geschafft". Nichts davon war wahr, und der Bericht stellte dies auf derselben Seite klar: Die Datensätze waren keine Patientenzahl, keine Erfolgszahl, und die Rate beschrieb die Datensätze, nicht den Fortschritt des Programms.
Wir beginnen mit Belegen, bevor wir Behauptungen aufstellen. Bei frühen Zahlen wird diese Regel am härtesten geprüft, da jeder gute Nachrichten will und die Zahlen noch klein sind.
Warum Zahlen sich verzerren
Im Jahr 1979 formulierte der Sozialwissenschaftler Donald Campbell das Problem in einem Satz: "Je mehr ein quantitativer sozialer Indikator für soziale Entscheidungsfindungen genutzt wird, desto anfälliger wird er für Korruptionsdruck und desto eher wird er die sozialen Prozesse, die er eigentlich überwachen soll, verzerren und korrumpieren." Niemand muss lügen, damit das passiert. Eine Anzahl, die der Vorstand feiert, wird zu einer Anzahl, die Menschen künstlich produzieren.
Der britische 'Code of Practice for Statistics', der für offizielle Statistiken geschrieben wurde, basiert auf drei Ideen, die jede Einrichtung übernehmen kann: Vertrauen, Qualität und Wert. Qualität bedeutet auch, klar zu kommunizieren, was eine Kennzahl misst und wie sicher man sich ist. Der Kodex ist für staatliche Statistiker gedacht. Die darin beschriebene Arbeitsweise lässt sich ebenso gut auf einen Stationsbericht übertragen.
Sechs Regeln für den ersten Bericht
- Benennen Sie die Einheit. Definieren Sie, was ein Datensatz ist. "Eine Beobachtung durch eine Fachkraft zu einer Situation" ist eine Einheit. "Interaktionen" ist es nicht.
- Zählen Sie jede Quelle nur einmal. Wenn derselbe Moment zweimal erfasst wird – von zwei Personen oder an zwei Orten –, bleibt es ein einziger Moment. Zusammenführen vor dem Zählen.
- Geben Sie jeder Rate ihren Nenner. Ein Prozentsatz benötigt eine sinnvolle Basis. 54 % von was, in welchen Wochen, von wem? Wenn die Basis instabil ist, zeigen Sie stattdessen die absolute Anzahl.
- Eine leere Woche ist "nicht verfügbar". Keine Daten sind nicht dasselbe wie Null. Eine Woche ohne Beobachtungen bedeutet, dass niemand nachgesehen hat oder die Datensätze nicht eingegangen sind. Schreiben Sie das so und lassen Sie die Zeile im Diagramm leer.
- Markieren Sie, was wiederhergestellt wurde. Wenn ältere Datensätze in ein System zurückgeführt werden, kennzeichnen Sie diese als wiederhergestellt. Leser sollten wissen, welche Zahlen live erfasst und welche nachträglich rekonstruiert wurden.
- Zeigen Sie eine Abfolge, keine Ursache. Setzen Sie datierte Interventionen in dieselbe Zeitachse wie die Ergebnisse. Zum Beispiel: "Der Leitfaden wurde in Woche 5 überarbeitet; ab Woche 6 wurde eine klarere Orientierung häufiger dokumentiert" ist ehrlich. "Der Leitfaden verbesserte die Orientierung" ist eine Behauptung, die die Daten nicht stützen können.
Ziele sind keine Ergebnisse
Ein acht-wöchiges Programm an vorderster Front könnte Ziele wie diese setzen: klare Orientierung beim ersten Kontakt in 60 % der beobachteten Situationen bis Woche 4 und 75 % bis Woche 8; kein Besucher bleibt ohne Antwort (60 %, dann 70 %); ein Besucher wird bei einer Verzögerung informiert (50 %, dann 60 %). Eine wöchentliche Stichprobe von mindestens 20 Situationen, verteilt über die Schichten, verhindert, dass die Basis auf eine Handvoll schrumpft.
Das sind Ziele. Tragen Sie diese als Linie im Diagramm ein und stellen Sie die tatsächlichen Beobachtungen daneben. Wenn beide voneinander abweichen, ist diese Differenz der Befund.
Was neben der Zahl stehen sollte
Drei kurze Zeilen unter jeder frühen Kennzahl verhindern die meisten Fehlinterpretationen.
- Was sie zählt (in einem Satz).
- Was sie nicht zählt.
- Was unsere Auswertung verändern würde.
Es fühlt sich langsamer an. Aber es ist schneller, als das Vertrauen wiederherzustellen, nachdem ein Vorstandsmitglied in einer Sitzung "350 behandelte Patienten" zitiert hat.
Wie Reflection frühe Zahlen ehrlich hält
Reflection ist so konzipiert, dass es diese Regeln befolgt. Jede Quelle wird nur einmal gezählt, eine Rate wird nur mit einem gültigen Nenner angezeigt, eine leere Woche wird als "nicht verfügbar" markiert, wiederhergestellte Datensätze werden gekennzeichnet und Interventionen erscheinen als datierte Abfolge neben den Ergebnissen. Team-Kennzahlen werden erst ab einer Gruppengröße von fünf Personen angezeigt. Die Menschen lesen die Zahlen und entscheiden selbst über deren Bedeutung.
Quellen
- Assessing the Impact of Planned Social Change. Evaluation and Program Planning, 1979.
- Code of Practice for Statistics. UK Statistics Authority, 2018.
Kommentare
In ROADYOM Reflection integriert
Mehr erfahren
