Avaliações de Hospitais Online: O que elas podem e não podem dizer

Avaliações não são ruído

Por anos, muitos hospitais trataram avaliações online como reclamações de uma minoria barulhenta. A pesquisa revela algo mais útil. Avaliações públicas carregam um sinal real sobre a experiência do paciente. Elas também carregam distorções que são fáceis de ignorar. Um hospital que compreende ambos pode aprender com o que os pacientes escrevem sem ser enganado por isso.

Lemos as avaliações através de dois Mirror. O que uma instituição diz sobre si mesma é um. O que as pessoas vivem é o outro. A imagem é a distância entre eles. As avaliações são um dos poucos lugares onde o segundo Mirror é registrado publicamente, e é por isso que elas merecem uma leitura cuidadosa, em vez de uma defensiva.

O que a pesquisa descobriu

Os estudos mais úteis comparam sites de avaliação com pesquisas formais, que utilizam amostragem, perguntas padronizadas e ajustes estatísticos. Nos Estados Unidos, o instrumento formal é o HCAHPS, a pesquisa nacional de experiência do paciente hospitalar. Na Inglaterra, é a pesquisa de pacientes internados do NHS.

As avaliações acompanham as pesquisas, de forma imperfeita. Bardach e colegas examinaram 3.796 hospitais nos EUA que reportaram pontuações HCAHPS. Apenas 962, cerca de um em cada quatro, possuíam avaliações no Yelp. Entre os hospitais com mais de cinco avaliações no Yelp, a proporção de avaliações altas no Yelp correlacionou-se com a proporção do HCAHPS em 0,49. Essa é uma relação moderada, não uma correspondência exata.

O padrão se mantém em outro sistema de saúde. Greaves e colegas estudaram 9.997 avaliações postadas no site NHS Choices para 146 trusts de hospitais agudos na Inglaterra durante 2009 e 2010. As avaliações correlacionaram-se com as medidas da pesquisa nacional, com coeficientes de 0,31 a 0,49. A limpeza apresentou a concordância mais próxima.

Surge algum vínculo com os desfechos. Em ambos os estudos, melhores avaliações online estiveram associadas a menores taxas de mortalidade ou readmissão. As correlações foram fracas, e os autores as apresentam como associações, não causas. Nos dados ingleses, esses vínculos foram pelo menos tão fortes quanto os da pesquisa formal.

As avaliações cobrem áreas que as pesquisas não cobrem. Ranard e colegas utilizaram análise de linguagem em 16.862 avaliações do Yelp de 1.352 hospitais dos EUA. Eles encontraram 12 domínios de experiência que o HCAHPS não mede, incluindo o custo da visita, seguro e faturamento, compaixão da equipe e cuidados com familiares. Em uma leitura detalhada separada de 244 avaliações online, a equipe de Bardach descobriu que apenas 57% mencionavam qualquer domínio do HCAHPS. Percepções de segurança apareceram em 41%, e faturamento ou custos inesperados em 11,5%. Amigos e familiares escreveram 38% dessas avaliações, uma visão que as pesquisas de pacientes não capturam.

Onde as avaliações enganam

Cada um desses estudos aponta seus limites. Os limites importam mais do que as correlações.

• Autoseleção. As pessoas escolhem escrever. Aqueles que tiveram uma experiência marcante, boa ou ruim, têm mais probabilidade de fazê-lo. Nos dados de Ranard, 31% das avaliações deram uma estrela e 33% deram cinco.
• Baixo volume de dados. O hospital mediano naquele estudo tinha quatro avaliações. Quatro vozes não podem descrever um hospital que atende milhares. A equipe de Bardach limitou sua principal comparação a hospitais com mais de cinco avaliações, e a equipe de Ranard descobriu que a concordância com o HCAHPS tornava-se mais forte à medida que o número mínimo de avaliações aumentava.
• Ausência de denominador. Uma avaliação mostra que algo aconteceu com alguém. Ela não mostra a frequência. Dez reclamações sobre faturamento significam uma coisa entre cem pacientes e outra entre cem mil.
• Avaliações falsas e incentivadas. Nem toda avaliação é genuína. A equipe de Ranard excluiu hospitais com uma alta proporção de avaliações sinalizadas pelos próprios filtros do Yelp. Em 2024, a Federal Trade Commission dos EUA adotou uma regra que proíbe avaliações falsas, o pagamento por avaliações com um determinado sentimento, avaliações internas não divulgadas e a supressão de avaliações.
• Não são representativas. Os avaliadores não são uma amostra de pacientes. Suas visões não podem ser lidas como a opinião de uma cidade, um país ou uma comunidade. Elas são um registro do que algumas pessoas escolheram dizer publicamente.

Nada disso torna as avaliações inúteis. Torna-as apenas uma fonte entre várias, lidas com suas fraquezas em mente.

O que as avaliações acrescentam

As pesquisas formais são feitas para comparação. Elas fazem as mesmas perguntas em todos os lugares, em um cronograma fixo. Esse é o ponto forte delas. É também o que elas não conseguem enxergar além.

As avaliações online sobre a experiência do paciente preenchem três lacunas. Primeiro, temas: faturamento, estacionamento, espera ao lado de um familiar, o tom de uma chamada telefônica. Pesquisas raramente perguntam sobre isso. Os pacientes mencionam de qualquer forma. Segundo, o timing: uma avaliação pode aparecer dias após uma visita, enquanto os resultados de pesquisas costumam chegar meses depois. Terceiro, a imagem pública: as avaliações são o que os futuros pacientes realmente leem. Independentemente da precisão, elas moldam como a instituição é vista.

Esse último ponto é frequentemente ignorado. Uma pesquisa diz ao hospital como seus pacientes o avaliaram. As avaliações mostram como o hospital aparece para todos os outros. A gestão da reputação hospitalar que começa com médias de Star termina em discussões sobre médias. Comece pelo que as pessoas descrevem.

Um método para leitura delas

Uma boa análise de avaliações de pacientes é, acima de tudo, disciplina. Seis hábitos fazem a diferença.

• Leia temas, não estrelas. Uma nota média esconde os motivos. Agrupe o que as pessoas escrevem por assunto: comunicação, espera, limpeza, faturamento, segurança. Um tema que piora indica onde procurar. Uma média em queda, não.
• Mantenha a fonte anexada. Cada constatação deve estar vinculada às postagens públicas de onde ela surgiu. Uma afirmação sem sua fonte não pode ser verificada, e uma afirmação que não pode ser verificada não deve orientar uma decisão.
• Compare o que você publica com o que as pessoas relatam. Coloque as próprias declarações do hospital ao lado das menções públicas. Se o site promete esperas curtas e as avaliações descrevem esperas longas, essa lacuna é a constatação.
• Acompanhe as mudanças ao longo do tempo. Um mês de avaliações é uma anedota. O mesmo tema crescendo ao longo de um ano é um sinal. Meça em relação ao seu próprio histórico antes de comparar com qualquer outra instituição.
• Estude padrões, nunca pessoas. Analise temas em diversas postagens. Não faça perfis, não rastreie nem persiga avaliadores individuais. O objetivo é entender a instituição, não monitorar seus críticos.
• Responda em público com cuidado. Agradeça ao autor, reconheça a preocupação e ofereça um canal privado. Nunca confirme que alguém foi paciente ou mencione seu atendimento. Em 2022, o Departamento de Saúde e Serviços Humanos dos EUA fez um acordo com uma clínica odontológica que havia divulgado informações de pacientes em respostas a avaliações.

"Os prestadores não podem divulgar informações de saúde protegidas de seus pacientes ao responder a avaliações negativas online." Melanie Fontes Rainer, Diretora, HHS Office for Civil Rights

Leia desta forma: as avaliações complementam as pesquisas e os dados clínicos. Elas não os substituem e, sozinhas, provam pouco. Quando as evidências são escassas, a resposta honesta é que elas são escassas.

Como o Mirror aborda isso

Mirror lê o que uma instituição publica e o que as pessoas dizem sobre ela em público, colocando os dois lado a lado. Cada lacuna que ele mostra traz sua fonte pública, para que qualquer pessoa possa abrir o original e julgar. Ele lê temas em várias postagens em vez de seguir indivíduos, e sinaliza onde as evidências são insuficientes para sustentar uma conclusão.

Fontes

1. Yelp Reviews Of Hospital Care Can Supplement And Inform Traditional Surveys Of The Patient Experience Of Care (Ranard BL, Werner RM, et al.), Health Affairs 35(4):697–705. Health Affairs, 2016.
2. The relationship between commercial website ratings and traditional hospital performance measures in the USA (Bardach NS, Asteria-Peñaloza R, Boscardin WJ, Dudley RA), BMJ Quality & Safety 22(3):194–202. BMJ Quality & Safety, 2013.
3. Associations between internet-based patient ratings and conventional surveys of patient experience in the English NHS: an observational study (Greaves F, Pape UJ, King D, et al.), BMJ Quality & Safety 21:600–605. BMJ Quality & Safety, 2012.
4. From the closest observers of patient care: a thematic analysis of online narrative reviews of hospitals (Bardach NS, Lyndon A, et al.), BMJ Quality & Safety 25(11):889–897. BMJ Quality & Safety, 2016.
5. FTC Issues Final Rule on Consumer Reviews and Testimonials. Morgan Lewis, 2024.
6. HHS Civil Rights Office Enters Settlement with Dental Practice over Disclosures of Patients’ Protected Health Information. U.S. Department of Health and Human Services, 2022.

Comentários

Seu nomeSeu comentário

Os comentários aparecem após a leitura da nossa equipe. Por favor, não inclua dados pessoais de pacientes ou colegas.

Publicar comentário