Assessing electronic immunization registries: the Pan American Health Organization experience

Abstract

[ABSTRACT]. Objective. To develop a methodology to assess electronic immunization registries (EIRs) in low- and middle-income countries (LMICs) in Latin America and the Caribbean. Methods. A team from the Immunization Unit at the Pan American Health Organization (PAHO) reviewed existing methodologies to evaluate health information systems, particularly the Performance of Routine Information System Management (PRISM) framework and methodologies used to assess information systems. In 2014, the PAHO team convened a small working group to develop an evaluation approach to be added to the existing World Health Organization immunization data quality self-assessment (DQS) tool. The resulting DQS with an added EIR component was named “DQS Plus.” The DQS Plus methodology was used in Panama in May 2014 and in Honduras in November 2015. Results. The DQS Plus tool proved feasible and easy to implement in Panama and Honduras, including by not adding much time or resources to those needed for a usual DQS. The information obtained from the DQS Plus assessment was practical and helped provide health authorities with recommendations to update and improve their EIR, strengthen the use of the registry, and enhance the data the assessment produced, at all levels of the health system. These recommendations are currently being implemented in the two countries. Conclusions. The DQS Plus proved to be a practical and useful approach for assessing an EIR in an LMIC and generating actionable recommendations. Further work on defining operational and related EIR functional standards in LMICs will help develop an improved EIR assessment tool for Latin America and the Caribbean, and potentially elsewhere.

[RESUMEN]. Objetivo. Formular una metodología para evaluar los registros de inmunización electrónicos en los países de ingresos bajos y medianos de América Latina y el Caribe. Métodos. Un equipo de la Unidad de Inmunizaciones de la Organización Panamericana de la Salud (OPS) examinó las metodologías existentes para evaluar los sistemas de información de salud, en particular el marco Performance of Routine Information System Management (PRISM), que analiza la gestión de la información sistemática, así como otras metodologías empleadas para evaluar los sistemas de información. En el 2014, el equipo de la OPS reunió a un pequeño grupo de trabajo para idear una estrategia de evaluación que se le agregaría a la herramienta existente de la Organización Mundial de la Salud para autoevaluación de la calidad de los datos (DQS) relativos a la inmunización. La herramienta DQS resultante, con un componente añadido de registros de inmunización electrónicos, se denominó “DQS Plus”. La metodología de DQS Plus se usó en Panamá en mayo del 2014 y en Honduras en noviembre del 2015. Resultados. Se demostró que la herramienta DQS Plus fue factible y fácil de aplicar en Panamá y Honduras, entre otras cosas por no requerir mucho tiempo ni recursos adicionales a los necesarios para la DQS ordinaria. La información obtenida mediante la evaluación con DQS Plus fue práctica y contribuyó a proporcionar a las autoridades sanitarias las recomendaciones para actualizar y mejorar sus registros de inmunización electrónicos, fortalecer el uso del registro y mejorar los datos que arrojó la evaluación, a todos los niveles del sistema de salud. En la actualidad están poniéndose en práctica dichas recomendaciones en los dos países. Conclusiones. Se demostró que DQS Plus es una estrategia práctica y útil para evaluar un registro de inmunización electrónico en los países de ingresos bajos y medianos y generar recomendaciones aplicables. El trabajo ulterior para definir las normas operativas y funcionales de los registros de inmunización electrónicos en los países de ingresos bajos y medianos contribuirá a crear una mejor herramienta de evaluación de dichos registros en América Latina y el Caribe, y posiblemente en otros sitios.

[RESUMO]. Objetivo. Elaborar uma metodologia para avaliar os registros eletrônicos de vacinação em países de baixa e média renda na América Latina e no Caribe. Métodos. Uma equipe da Unidade de Imunização da Organização Pan-Americana da Saúde (OPAS) analisou as metodologias existentes para avaliação dos sistemas de informação em saúde, em particular a estructura de Desempenho da Gestão Rotineira dos Sistemas de Informação (PRISM) e as metodologias usadas para avaliação de sistemas de informação. Em 2014, a equipe da OPAS formou um pequeno grupo de trabalho com a incumbência de desenvolver um método de avaliação a ser integrado à ferramenta existente de autoavaliação da qualidade dos dados de imunização (DQS) da Organização Mundial da Saúde (OMS). A ferramenta DQS com o novo componente de registros eletrônicos de vacinação foi denominada “DQS Plus”. A metodologia DQS Plus foi empregada no Panamá, em maio de 2014, e em Honduras, em novembro de 2015. Resultados. A ferramenta DQS Plus provou ser viável e fácil de ser implementada no Panamá e em Honduras, principalmente por não despender mais tempo ou recursos aos já necessários com a habitual ferramenta DQS. As informações obtidas na avaliação com a ferramenta DQS Plus foram práticas e contribuíram com recomendações às autoridades sanitárias de atualizar e melhorar os registros eletrônicos de vacinação, reforçar o uso do registro e aprimorar os dados produzidos com a avaliação em todos os níveis do sistema de saúde. Essas recomendações estão atualmente em fase de implementação nos dois países. Conclusões. A ferramenta DQS Plus é comprovadamente um método prático e útil para avaliar os registros eletrônicos de vacinação em países de baixa e média renda e gerar recomendações executáveis. Outros estudos com o objetivo de definir os padrões operacionais e funcionais relacionados aos registros eletrônicos de vacinação nos países de baixa e média renda devem contribuir para o desenvolvimento de uma versão aprimorada da ferramenta de avaliação de registros eletrônicos de vacinação para a América Latina e o Caribe e possivelmente para outras regiões.