Este texto é baseado na resenha do seguinte artigo:

Gliklich, R. E., & Leavy, M. B. (2020). Assessing Real-World Data Quality: The Application of Patient Registry Quality Criteria to Real-World Data and Real-World Evidence. Therapeutic Innovation & Regulatory Science, 54(2), 303–307. https://doi.org/10.1007/s43441-019-00058-6

Introdução

Desde a aprovação do 21st Century Cures Act em 2016 (nota Tina: lei foi para acelerar o desenvolvimento e a aprovação de medicamentos e dispositivos médicos inovadores, modernizar a pesquisa clínica e melhorar o acesso aos cuidados de saúde), houve um esforço significativo para determinar como os dados do mundo real (RWD – Real World Data) e as evidências do mundo real (RWE – Real World Evidence) podem ser utilizados para informar as decisões regulatórias. Essa lei exige que o Food and Drug Administration (FDA) dos EUA desenvolva um programa para avaliar o uso de evidências do mundo real para apoiar o uso de novas indicações para medicamentos aprovados e para atender aos requisitos de estudos pós-aprovação. Em dezembro de 2018, o FDA publicou uma abordagem para avaliação do uso potencial de RWE para esses fins. Com a rápida expansão do acesso a RWD de diversas fontes, muitas partes interessadas estão motivados a utilizar o RWE nesses contextos.

De acordo com a FDA, RWD é definido como “dados relacionados ao estado de saúde do paciente e/ou à prestação de cuidados de saúde rotineiramente coletados de várias fontes”. Isso inclui uma variedade de dados, como registros eletrônicos de saúde (EHRs), dados de solicitações de reembolso médico e faturamento, dados de registros de produtos e doenças, dados gerados pelo paciente e outras fontes de dados que possam informar sobre o estado de saúde, como dispositivos móveis. Já o RWE é a evidência clínica derivada da análise desses dados, que fornece informações sobre o uso, potenciais benefícios e riscos de um produto médico.

Várias publicações abordaram possíveis fontes de informação de RWD, bem como pontos fortes e limitações dessas fontes, abordagens analíticas e considerações para gerar RWE. O uso potencial do RWE na tomada de decisão regulatória e por outras partes interessadas (ex.: pagadores e elaboradores de protocolos), também foi discutido. No entanto, uma questão comum é que a qualidade do RWD é variável, e a falta de critérios que sejam amplamente aceitos para avaliar essa qualidade, tanto do RWD quanto do RWE derivado desses dados, resultam em incerteza sobre quando e como usar o RWE na tomada de decisões.

A avaliação da qualidade em RWD e RWE é difícil devido a vários fatores, incluindo:

• variedade de fontes de dados,

• heterogeneidade nos desenhos de estudo,

• tipos de abordagens analíticas.

A avaliação da qualidade é ainda mais desafiadora quando os estudos combinam dados de várias fontes ou incorporam novas ferramentas, como processamento de linguagem natural. Embora haja muitas práticas recomendadas para a condução e análise de estudos usando RWD, ainda não há um conjunto unificado de critérios para avaliar e comparar a qualidade em diferentes fontes de dados e diferentes tipos de estudo. Os critérios devem ser capazes de sintetizar as ferramentas de avaliação de qualidade existentes, mantendo-se flexíveis para permitir avaliações que se adequem ao propósito dos estudos, e não feitos de forma rígida. Por exemplo, a quantidade de dados ausentes aceitável em um estudo descritivo de uma doença rara é diferente da quantidade aceitável em um estudo elaborado para avaliar a eficácia de um produto médico. Esse conceito de “adequado à finalidade” é especialmente importante para RWD, onde há inúmeras fontes de dados e usos potenciais.

O objetivo deste artigo é descrever um conjunto padronizado de critérios para avaliar a qualidade e adequação de RWD e RWE em todas as fontes de dados, com base no extenso trabalho realizado na área de registros de pacientes.

Registro de Pacientes e RWD (Dados do Mundo Real)

O registro de pacientes é um sistema organizado que coleta dados uniformes, clínicos e outros, com o objetivo de avaliar resultados específicos para uma população definida por uma doença, condição ou exposição específica. Esses registros têm sido identificados como uma fonte de Real World Data (RWD) pelo FDA, e foram utilizados para apoiar a tomada de decisões regulatórias. Ao contrário de outras fontes de RWD, os registros receberam investimentos significativos da Agência de Pesquisa e Qualidade em Saúde (AHRQ) na última década para melhorar a qualidade dos dados e transparência.

Um exemplo relevante é o guia da AHRQ, Registries for Evaluating Patient Outcomes: A User’s Guide, que fornece informações práticas para orientar o projeto, operação e análise dos registros de pacientes (nota Tina: este guia está em sua 4a edição, atualizado pela última vez em 2020). Esse guia é considerado uma fonte de informação sobre a qualidade dos RWD, tanto pelo FDA quanto pelo Patient-Centered Outcomes Research Institute (PCORI), que o utiliza em seus processos para registros de pacientes. A estrutura de avaliação de qualidade presente no guia é altamente relevante para RWD e RWE, já que os registros de pacientes têm uma ampla gama de finalidades, como gerar dados para pesquisas de resultados clínicos, apoiar a vigilância pós-comercialização e fornecer dados para melhoria da qualidade e dos programas de cuidados baseados em valor.

Os registros de pacientes utilizam diversas fontes de dados e podem integrar dados coletados de prontuários eletrônicos, solicitações ou pedidos de reembolso médicos, diretamente de médicos e pacientes por meio de medidas de resultados relatados pelo paciente ou dispositivos móveis. Ou seja, existem milhares de registros feitos para atender a uma infinidade de propósitos. A estrutura de avaliação de qualidade desenvolvida para esses registros reflete essa diversidade dos mesmos e foi refinada por meio de várias rodadas de revisão por pares e consultas públicas. Esses critérios podem servir como um conjunto unificado de critérios para avaliar a qualidade em fontes de RWD e projetos de estudo, e como base para orientações adicionais do FDA sobre a avaliação de RWD e RWE.

Expandindo os critérios de qualidade para registro de pacientes para dados e evidências do mundo real

Os autores propuseram um conjunto padronizado de critérios para avaliar a qualidade de RWD e RWE, com base no guia da AHRQ mencionado anteriormente. Eles também complementaram com critérios mais recentes de avaliação de qualidade, tais como os do FDA em 2017 e 2018 sobre RWE (Use of Real-World Evidence to Support Regulatory Decision-Making for Medical Devices), o relatório da Força-Tarefa Nacional de Registro de Dispositivos Médicos, o relatório do Grupo de Trabalho de Registro do Fórum de Reguladores, as recomendações da Iniciativa de Transformação de Ensaios Clínicos (CTTI) para ensaios de registro e outras literaturas publicadas. Esses  critérios podem ser usados para avaliar de forma mais geral a qualidade de fontes de RWD e projetos de estudo, e podem servir como base para orientações adicionais do FDA sobre a avaliação de RWD e RWE.

Qualidade dos dados

A qualidade dos dados se refere às características do RWD que influenciam sua confiabilidade e relevância para a tomada de decisões regulatórias. No mínimo, o RWD destinado a apoiar a tomada de decisões regulatórias deve atender aos seguintes critérios:

• Os dados são capturados de forma consistente usando definições claras e operacionais e regras predefinidas para a abstração de dados estruturados e não estruturados. Um dicionário de dados está disponível;
• Definições padronizadas das principais medidas de resultados e dicionários de dados padronizados são usados sempre que possível;
• Verificações de dados para intervalo e consistência são usadas para melhorar a precisão dos dados;
• Informações suficientes e confiáveis sobre os resultados de interesse e variáveis de confusão necessárias estão disponíveis;
• O produto de interesse é identificado de forma suficiente na fonte de dados.

Qualidade da pesquisa

A qualidade da pesquisa refere-se ao processo científico, ou seja, ao design, à operação e à análise de um estudo destinado a desenvolver RWE adequado para tomada de decisão regulatória. No mínimo, estudos destinados a desenvolver RWE devem atender aos seguintes critérios:

• Desenvolver um protocolo formal de estudo e um plano de análise estatística a priori. Definir claramente objetivos específicos, critérios de inclusão/exclusão da população, variáveis de exposição e resultado e planos analíticos. Seguir as boas práticas existentes para protocolos de pesquisa clínica e incluir os mesmos elementos incluídos em um protocolo de ensaio clínico tradicional e plano de análise estatística;
• Identificar fontes prováveis de viés e documentar planos para abordá-las;
• Usar cálculos estatísticos formais para especificar o tamanho da amostra necessário para medir um efeito com poder estatístico suficiente;
• Garantir que o acompanhamento planejado seja suficiente para abordar o objetivo primário;
• Documentar um plano para lidar com dados faltantes;
• Dedicar esforços suficientes para minimizar perda de seguimento e dados faltantes;
• Garantir que proteções apropriadas para sujeitos humanos estejam em vigor;
• Desenvolver e documentar planos de gerenciamento de dados e garantia de qualidade de dados, incluindo planos para monitoramento de sites e dados e para verificação de dados de origem;
• Fornecer instruções padrão para coleta/abstração de dados e treinamento para pessoal de estudo;
• Para estudos que usam fontes de dados existentes, usar métodos uniformes e sistemáticos para coletar e limpar dados e documentar esses métodos;
• Manter documentação adequada (por exemplo, trilha de auditoria) para verificar o manuseio adequado dos dados;
• Coletar informações suficientes para vincular dados a outros bancos de dados, como o National Death Index, registros eletrônicos de saúde ou outros registros, para fins de validação;
• Publicar o estudo em um registro público, como o projeto Registry of Patient Registries ou ClinicalTrials.gov, para apoiar transparência e reprodutibilidade.

Qualidade da evidência

A qualidade da evidência refere-se à relevância e confiabilidade das evidências resultantes para uso na tomada de decisões regulatórias, incluindo avaliações de validade externa e interna. No mínimo, os estudos destinados a fornecer RWE devem atender aos seguintes critérios:

• Informações suficientes estão disponíveis para exposições, características, fatores de risco, potenciais fatores de confusão e desfechos. Os dados de exposição usados para apoiar as principais questões de pesquisa foram o mais específicos possível e permitem a identificação do produto de interesse;
• O viés de seleção foi avaliado descrevendo a representatividade da população de análise em termos de quão de perto ela reflete as características da população alvo;
• O impacto potencial de erros sistemáticos, dados ausentes e fatores de confusão foi considerado;
• Dados longitudinais suficientes estão disponíveis para capturar os principais desfechos de interesse. O potencial de perda diferencial de acompanhamento foi avaliado, e o impacto da perda de acompanhamento nas conclusões do estudo foi considerado;
• Uma amostra de dados foi validada em relação a documentos de origem;
• Técnicas e ferramentas analíticas validadas e aceitas foram usadas, e métodos apropriados foram usados para abordar possíveis fatores de confusão. Todos os métodos analíticos foram descritos com detalhes suficientes para permitir a replicação dos métodos em outro estudo. Os elementos de dados usados em quaisquer modelos são identificados;
• Análises de sensibilidade foram usadas para examinar e quantificar o efeito na associação entre a exposição de interesse e o principal desfecho de interesse.

Discussão

As ferramentas para avaliar a qualidade dos RWD e os RWE associados serão um componente crítico do programa RWE do FDA. Os critérios descritos aqui acrescentam à literatura existente, sintetizando critérios de qualidade relacionados a fontes de dados específicas ou desenhos de estudo em um conjunto unificado de critérios que são amplamente aplicáveis a RWD e RWE. Em particular, esses critérios se baseiam nas ferramentas desenvolvidas para registros de pacientes, que evoluíram ao longo da última década, são amplamente utilizadas e são apoiadas pelas informações práticas sobre o projeto e operação de estudos para atender a esses critérios fornecidos no guia da AHRQ.

Em razão  do imenso interesse nessa área, é provável que as partes interessadas continuem a explorar estratégias para gerar RWE enquanto o FDA desenvolve mais orientações para apoiar seu programa RWE. As boas práticas para o projeto, operação e análise de estudos de RWD descritas no guia da AHRQ oferecem uma base que pode ser adaptada para fins e fontes de dados específicos. Os critérios de qualidade unificados descritos aqui são uma ferramenta útil para avaliar a qualidade das fontes de RWD e os RWE resultantes. Esses critérios também podem ser relevantes para avaliar a qualidade de RWE para uso em outros contextos, como decisões de cobertura.

Conclusão

Este artigo discute a importância da avaliação da qualidade de dados do mundo real (RWD) e das evidências do mundo real (RWE) para apoiar decisões regulatórias. Embora haja muitas práticas recomendadas para o projeto, condução e análise de estudos usando RWD, ainda não há um conjunto unificado de critérios para avaliar e comparar a qualidade em diferentes fontes de dados e diferentes projetos de estudo. O artigo propõe um conjunto unificado de critérios para avaliar a qualidade e adequação de RWD e RWE em todas as fontes de dados, com base no trabalho realizado na área de registros de pacientes. Este é um passo importante para garantir a transparência e a validade das evidências do mundo real, a fim de apoiar decisões regulatórias informadas e melhorar a qualidade da assistência médica.

Por que indicamos esse artigo

• Apresenta uma discussão relevante sobre o uso de dados do mundo real (RWD) e evidências do mundo real (RWE) na tomada de decisões em saúde, ressaltando a importância de uma abordagem baseada em evidências para melhorar a qualidade do cuidado;
•  Destaca a utilidade do registro de pacientes como uma importante fonte de RWD, bem como os desafios envolvidos na avaliação da qualidade desses dados;
•  Apresenta  explicação clara e acessível dos conceitos de RWD e RWE ;
•  Discute a necessidade de estabelecer diretrizes e padrões de qualidade para avaliar a confiabilidade dos dados do mundo real e evidências do mundo real, e apresenta critérios para avaliar a qualidade e confiabilidade desses dados com base em diretrizes estabelecidas por órgãos regulatórios importantes;
•  Destaca a importância do uso de dados e evidências do mundo real para tomar decisões informadas em saúde e ressalta a necessidade de garantir a qualidade e confiabilidade desses indicadores  para garantir a  tomada de decisão.