Cerca de 350 registros no son 350 pacientes: cómo reportar cifras preliminares
Los primeros resultados de un programa de mejora son fáciles de sobrevalorar. Aplicamos seis reglas para reportarlos con honestidad y analizamos la investigación sobre por qué los números pueden sesgarse.
Ibrahim Elkobeissi · · 6 min de lectura ·
Tras algunas semanas de un programa de primera línea en un hospital, el primer informe de progreso llegó a la junta. Mostraba unos 350 registros rastreados y una tasa del 54%. Ambos números eran reales. Ambos podrían haberse interpretado erróneamente de un solo vistazo.
Un miembro de la junta ve "350" y piensa en 350 pacientes. O en 350 éxitos. Una tasa del 54% parece indicar que "el programa está a mitad de camino". Nada de eso era cierto, y el informe lo decía en la misma página: los registros no eran un recuento de pacientes, ni de éxitos, y la tasa describía los registros, no el progreso del programa.
Partimos de la evidencia antes que de la afirmación. Las cifras iniciales son donde esta regla se pone más a prueba, porque todo el mundo quiere buenas noticias y los números son pequeños.
Por qué los números se sesgan
En 1979, el científico social Donald Campbell resumió el problema en una frase: "Cuanto más se utilice cualquier indicador social cuantitativo para la toma de decisiones sociales, más sujeto estará a las presiones de corrupción y más propenso será a distorsionar y corromper los procesos sociales que pretendía supervisar". Nadie tiene que mentir para que esto ocurra. Un recuento que la junta celebra se convierte en un recuento que la gente produce.
El Código de Práctica para Estadísticas del Reino Unido, escrito para estadísticas oficiales, se basa en tres ideas que cualquier institución puede adoptar: confianza, calidad y valor. La calidad incluye ser claro sobre qué mide una cifra y qué tan seguro se está de ella. El código está destinado a estadísticos gubernamentales. El hábito que describe encaja igual de bien en un informe de planta.
Seis reglas para el primer informe
- Defina la unidad. Diga qué es un registro. "Una observación de un coordinador sobre una situación" es una unidad. "Interacciones" no lo es.
- Cuente cada fuente una sola vez. Si el mismo momento se registra dos veces, por dos personas o en dos lugares, sigue siendo un solo momento. Consolide antes de contar.
- Asigne a cada tasa su denominador. Un porcentaje necesita una base que tenga sentido. ¿El cincuenta y cuatro por ciento de qué, en qué semanas, de quién? Si la base es inestable, muestre el recuento en su lugar.
- Una semana vacía es "no disponible". La falta de datos no es lo mismo que cero. Una semana sin observaciones significa que nadie miró, o que los registros no llegaron. Escriba eso y deje la línea en blanco en el gráfico.
- Marque lo que fue restaurado. Cuando se reincorporan registros antiguos a un sistema, etiquételos como restaurados. Los lectores deben saber qué números se registraron en vivo y cuáles se reconstruyeron después.
- Muestre una secuencia, no una causa. Coloque las intervenciones con fecha en la misma línea de tiempo que los resultados. Por ejemplo, "La guía se revisó en la semana 5; se registró una orientación más clara con más frecuencia a partir de la semana 6" es honesto. "La guía mejoró la claridad de la orientación" es una afirmación que los datos no pueden respaldar.
Los objetivos no son resultados
Un programa de ocho semanas para un servicio de primera línea podría establecer objetivos como estos: orientación clara desde el primer punto de contacto en el 60% de las situaciones observadas para la semana 4 y el 75% para la semana 8; ningún visitante sin respuesta en el 60%, luego en el 70%; un visitante informado durante un retraso en el 50%, luego en el 60%. Una muestra semanal de al menos 20 situaciones, repartida entre los turnos, evita que la base se reduzca a un puñado.
Esos son objetivos. Póngalos en el gráfico como una línea y coloque lo observado junto a ellos. Cuando ambos difieran, la diferencia es el hallazgo.
Qué escribir junto al número
Tres líneas cortas debajo de cualquier cifra inicial evitan la mayoría de las malas interpretaciones.
- Qué cuenta, en una frase.
- Qué no cuenta.
- Qué cambiaría nuestra lectura de ello.
Parece más lento. Pero es más rápido que reparar la confianza después de que un miembro de la junta cite "350 pacientes ayudados" en una reunión.
Cómo Reflection mantiene la honestidad de las cifras iniciales
Reflection sigue estas reglas por diseño. Cada fuente se cuenta una vez, una tasa se muestra solo con un denominador válido, una semana vacía aparece como no disponible, los registros restaurados se marcan y las intervenciones aparecen como una secuencia fechada junto a los resultados. Las cifras de equipo aparecen solo para grupos de cinco o más. La gente lee los números y decide qué significan.
Fuentes
- Assessing the Impact of Planned Social Change. Evaluation and Program Planning, 1979.
- Code of Practice for Statistics. UK Statistics Authority, 2018.
Comentarios
Integrado en ROADYOM Reflection
Más información
