ROADYOM
JA
始める

約350件のレコードは350人の患者ではない:初期数値の報告における注意点

改善プログラムの初期数値は、過大評価されがちです。数値を誠実に報告するための6つのルールと、数値が変動する理由に関する研究について。

Ibrahim Elkobeissi · · リーディング時間 6分 ·

エビデンス確認用のデスクにまとめられた、匿名化された観察カード

病院の現場でのプログラム開始から数週間後、最初の進捗報告が理事会に提出されました。そこには約350件の追跡記録と、54%という一つの率が示されていました。どちらの数値も事実でしたが、一目見ただけでは誤解を招く恐れがありました。

理事の一人は「350」という数字を見て、350人の患者、あるいは350件の成功だと考えてしまいます。また、54%という率は「プログラムは半分まで進んでいる」ように見えます。しかし、そのどれもが真実ではありませんでした。報告書には同じページに「記録は患者数でも成功数でもなく、この率はプログラムの進捗ではなく記録に関するものである」と記されていました。

私たちは、主張の前に「証明」から始めます。初期数値は、誰もが良いニュースを求めており、数値自体も小さいため、このルールが最も厳しく試される場面です。

なぜ数値は歪むのか

1979年、社会科学者のドナルド・キャンベルは、この問題を次の一文で表現しました。「いかなる定量的な社会指標であっても、社会的な意思決定に用いられれば用いられるほど、改ざんの圧力にさらされやすくなり、本来監視すべき社会プロセスを歪め、腐敗させる傾向が強まる」。これが起こるために、誰かが嘘をつく必要はありません。理事会が称賛する「件数」が、人々が(数字を合わせるために)作り出す「件数」へと変わってしまうのです。

公的統計のために作成された英国の「統計実務指針(Code of Practice for Statistics)」は、あらゆる組織が取り入れられる3つの概念、すなわち「信頼性」「品質」「価値」に基づいています。「品質」には、その数値が何を測定しているのか、そしてその確信度がどの程度であるかを明確にすることが含まれます。この指針は政府の統計官向けのものですが、そこで説かれている習慣は、病棟の報告書にも同様に当てはまります。

最初の報告のための6つのルール

  • 単位を定義する。 1つの記録が何を指すのかを明示してください。「コーディネーターによる、ある状況に関する1回の観察」が単位です。「相互作用」は単位ではありません。
  • 各ソースを一度だけカウントする。 同じ瞬間が、2人の人間によって、あるいは2つの場所で2回記録されたとしても、それは依然として1つの瞬間です。カウントする前に統合してください。
  • すべての率に分母を与える。 パーセンテージには、妥当な基準となる分母が必要です。54%とは、何の、どの週の、誰に対する数値でしょうか? 分母が不安定な場合は、代わりに件数を示してください。
  • データがない週は「利用不可」とする。 「データなし」と「ゼロ」は同じではありません。観察記録がない週は、「誰も見ていない」か「記録が届かなかった」ことを意味します。その旨を記載し、チャート上ではその行を空白にしてください。
  • 復元されたデータを明示する。 古い記録がシステムに再導入された場合は、「復元(restored)」とラベルを付けてください。読者は、どの数値がリアルタイムで記録されたもので、どれが後から再構築されたものかを知る必要があります。
  • 原因ではなく、シーケンスを示す。 日付の付いた介入内容を、結果と同じタイムライン上に配置してください。例えば、「第5週にガイドを改訂。第6週以降、より明確な道案内が記録される頻度が増加」と書くのは誠実です。「ガイドが道案内の明快さを向上させた」というのは、データでは証明できない主張です。

目標は結果ではない

現場のサービスにおける8週間のプログラムでは、次のような目標が設定されるかもしれません。第4週までに観察状況の60%、第8週までに75%で、最初の接点から明確な道案内が行われていること。訪問者の未回答率を60%から70%に抑えること。遅延が発生した際の訪問者への状況説明を50%から60%に増やすこと。シフト全体に分散させた、毎週少なくとも20件の状況をサンプルとして抽出することで、分母が極端に小さくなるのを防ぎます。

これらはあくまで目標です。チャートには目標を線として描き、その横に実際に観察された数値を記載してください。両者が異なる場合、その差こそが「所見」となります。

数値の横に記載すべきこと

初期数値の下に3行の短い説明を添えるだけで、ほとんどの誤読を防ぐことができます。

  • それが何をカウントしているのか(1文で)。
  • それが何をカウントしていないのか。
  • 何が起これば、そのリーディングが変わるのか。

手間は増えるように感じるかもしれません。しかし、理事会が会議で「350人の患者を救った」と引用した後に、その信頼を回復するよりは、ずっと早い方法です。

Reflectionがいかに初期数値の誠実さを保つか

Reflection は、設計段階からこれらのルールに従っています。各ソースは一度だけカウントされ、率は有効な分母がある場合にのみ示され、データがない週は「利用不可」と表示され、復元された記録は明示され、介入は結果の横に日付付きのシーケンスとして表示されます。チームの数値は、5名以上のグループに対してのみ表示されます。人々は数値を読み、その意味を判断します。

出典

  1. Assessing the Impact of Planned Social Change. Evaluation and Program Planning, 1979.
  2. Code of Practice for Statistics. UK Statistics Authority, 2018.

コメント

    コメントはチームによる確認後に表示されます。患者様や同僚の個人情報は含めないようお願いいたします。

    ROADYOM Reflection に標準搭載

    詳細を見る