Около 350 записей — это не 350 пациентов: как правильно представлять предварительные данные

Спустя несколько недель работы программы на передовой линии в больнице первый отчёт был представлен совету директоров. В нём было указано около 350 записей и показатель 54%. Оба числа были реальными. Но оба могли быть неверно истолкованы с первого взгляда.

Член совета директоров видит «350» и думает о 350 пациентах. Или о 350 успехах. Показатель 54% выглядит так, будто «программа выполнена наполовину». Ничего из этого не было правдой, хотя в самом отчёте на той же странице было сказано: записи — это не количество пациентов, не количество успехов, а показатель относится к записям, а не к прогрессу программы.

Мы начинаем с доказательств, а не с утверждений. Предварительные данные — это то, где это правило проверяется жестче всего, потому что все хотят хороших новостей, а цифры ещё малы.

Почему цифры искажаются

В 1979 году социолог Дональд Кэмпбелл сформулировал проблему одной фразой: «Чем больше любой количественный социальный показатель используется для принятия социальных решений, тем больше он будет подвержен давлению коррупции и тем больше будет склонен искажать и разрушать те социальные процессы, за которыми он должен был наблюдать». Для этого никому не нужно лгать. Количество, которое приветствует совет директоров, становится количеством, которое люди начинают искусственно создавать.

Британский Кодекс практики статистики, написанный для официальной статистики, опирается на три идеи, которые может заимствовать любая организация: доверие, качество и ценность. Качество включает в себя четкое понимание того, что именно измеряет цифра и насколько вы в этом уверены. Кодекс предназначен для государственных статистиков, но принципы, которые он описывает, одинаково применимы и к отчёту отделения.

Шесть правил для первого отчёта

• Определите единицу измерения. Уточните, что такое одна запись. «Одно наблюдение координатора за одной ситуацией» — это единица. «Взаимодействия» — нет.
• Считайте каждый источник только один раз. Если один и тот же момент зафиксирован дважды — двумя людьми или в двух местах — это всё равно один момент. Объединяйте данные перед подсчётом.
• Указывайте знаменатель для каждой доли. Проценту нужна логичная база. Пятьдесят четыре процента от чего, за какие недели и от кого? Если база нестабильна, вместо процентов указывайте количество.
• Пустая неделя — это «нет данных». Отсутствие данных — это не ноль. Неделя без наблюдений означает, что никто не смотрел или записи не поступили. Напишите об этом и оставьте строку на графике пустой.
• Помечайте восстановленные данные. Если старые записи возвращаются в систему, помечайте их как восстановленные. Читатели должны знать, какие числа были записаны в реальном времени, а какие были восстановлены позже.
• Показывайте последовательность, а не причинно-следственную связь. Размещайте датированные вмешательства на той же временной шкале, что и результаты. Например, фраза «В 5-ю неделю руководство было пересмотрено; с 6-й недели чаще фиксировалось более понятное ориентирование» — это честно. Фраза «Руководство улучшило ориентирование» — это утверждение, которое данные не могут подтвердить.

Цели — это не результаты

Восьминедельная программа для передовой линии может устанавливать такие цели: понятное ориентирование с первого контакта в 60% наблюдаемых ситуаций к 4-й неделе и в 75% к 8-й; отсутствие посетителей без ответа в 60%, затем в 70%; информирование посетителя при задержке в 50%, затем в 60%. Еженедельная выборка минимум из 20 ситуаций, распределённая по сменам, не позволит базе сократиться до нескольких единиц.

Это цели. Отобразите их на графике в виде линии, а рядом укажите то, что было фактически зафиксировано. Если они различаются, эта разница и есть вывод.

Что писать рядом с числом

Три короткие строки под любой предварительной цифрой предотвратят большинство ошибок в прочтении.

• Что именно оно считает (в одном предложении).
• Что оно не считает.
• Что могло бы изменить наше прочтение этих данных.

Это кажется более медленным процессом. Но это быстрее, чем восстанавливать доверие после того, как член совета директоров процитирует на собрании: «Помогли 350 пациентов».

Как Reflection сохраняет честность предварительных данных

Reflection по своей сути следует этим правилам. Каждый источник учитывается один раз, доля показывается только с валидным знаменателем, пустая неделя отображается как «нет данных», восстановленные записи помечаются, а вмешательства появляются в виде датированной последовательности рядом с результатами. Данные по командам отображаются только для групп от пяти человек и более. Люди сами читают цифры и решают, что они значат.

Источники

1. Assessing the Impact of Planned Social Change. Evaluation and Program Planning, 1979.
2. Code of Practice for Statistics. UK Statistics Authority, 2018.

Комментарии

Ваше имяВаш комментарий

Комментарии публикуются после проверки нашей командой. Пожалуйста, не указывайте личные данные пациентов или коллег.

Оставить комментарий