Validating the self-reported annual monitoring grid for the 2007 Caribbean Community Declaration of Port-of-Spain on noncommunicable diseases

Abstract

[ABSTRACT]. Objectives. In 2007, the Caribbean Community (CARICOM) convened the world’s first-ever heads of government summit on noncommunicable diseases (NCDs) and issued the landmark Declaration of Port-of-Spain: Uniting to Stop the Epidemic of Chronic NCDs. Since then, ministry of health (MoH) focal points in each country have self-reported annually on their NCD efforts, using a 26-indicator grid created to assess implementation of the Declaration. Our objective was to assess the validity of those grid responses, as compared to information from in-depth interviews and document reviews. Methods. Seven national case studies on policy responses to the Declaration were undertaken in 2015. In-depth, semistructured interviews were conducted with stakeholders from multiple sectors, including the MoH. Policy documents were also identified and reviewed. The results from the 2015 case studies were compared to the 2014 MoH focal point grid responses. Kappa statistics evaluated chance agreement. Results. The information from the grid and from the case studies agreed closely. Out of a total of 182 indicators (26 each for seven countries), there was a lack of agreement on just 9 (4.9%). All the differences were between policy statements and implementation. Except for physical activity, kappa statistics indicated that agreement was good to excellent for all the clusters of the grid and for the grid as a whole, but with wide confidence intervals. Conclusions. In general, the monitoring grid accurately assessed the national situation, but with a possible tendency to overstate performance in some areas. These findings contributed to the design of a new, 50-indicator monitoring grid in 2016. Alongside these improvements, CARICOM countries face a substantial burden from having to complete many other required NCD reports, mainly for the Pan American Health Organization and the World Health Organization.

[RESUMEN]. Objetivos. En el 2007, la Comunidad del Caribe (CARICOM) convocó su primera cumbre de jefes de Gobierno sobre enfermedades no transmisibles (ENT) y emitió una declaración sin precedentes, la Declaración de Puerto España: Unidos para detener la epidemia de enfermedades crónicas no transmisibles. Desde entonces, los puntos focales de los ministerios de salud cada año usan una matriz con 26 indicadores a fin de autonotificar las actividades que ha realizado el país en el ámbito de las ENT. Nuestro objetivo fue evaluar la validez de las respuestas dadas en la matriz, creada para evaluar la ejecución de la Declaración de Puerto España, comparándolas con la información obtenida en entrevistas exhaustivas y la revisión de documentos. Métodos. En el 2015 se llevaron a cabo siete estudios de casos a nivel de país sobre las respuestas a la Declaración en el ámbito de políticas. Se realizaron entrevistas exhaustivas y semiestructuradas con interesados directos de múltiples sectores, incluidos los ministerios de salud. Además, se definieron y examinaron documentos de políticas. Los resultados de los estudios de casos del 2015 se compararon con las respuestas que los puntos focales de los ministerios de salud dieron en las matrices del 2014. Se usó el coeficiente kappa para evaluar el grado de concordancia. Resultados. Hubo un alto grado de concordancia entre la información de la matriz y la de los estudios de casos. De un total de 182 indicadores (26 de cada uno de los siete países), hubo diferencias en solo 9 casos (4,9%), y todas las diferencias se encontraron entre las declaraciones de política y la ejecución. Salvo en el caso de la actividad física, el coeficiente kappa indicó que la concordancia fluctuó entre aceptable y excelente en todas las secciones de la matriz que agrupan a los indicadores y la cuadrícula en general, pero con intervalos de confianza amplios. Conclusiones. En general, la matriz utilizada para el seguimiento de la Declaración evaluó con exactitud la situación nacional, pero se observó una posible tendencia a sobrevalorar el desempeño en algunos campos. Estos resultados fueron útiles en el 2016 cuando se diseñó una nueva matriz de seguimiento con 50 indicadores. A pesar de estas mejoras, los países de CARICOM siguen enfrentando una carga sustancial al tener que realizar muchos otros informes sobre las ENT, principalmente para la Organización Panamericana de la Salud y la Organización Mundial de la Salud.

[RESUMO]. Objetivos. A Comunidade do Caribe (CARICOM) realizou em 2007 a Primeira Cúpula dos Chefes de Governos sobre Doenças Não Transmissíveis (DNTs) que culminou com a inédita Declaração de Porto de Espanha: Unidos para Deter a Epidemia de DNTs Crônicas. Desde então, as coordenações dos ministérios da Saúde de cada país apresentam anualmente um informe autorrelatado dos esforços para combater as DNTs usando uma matriz com 26 indicadores criada para avaliar a implementação da Declaração. Nosso objetivo foi avaliar a validade dos dados contidos na matriz comparadas à informação obtida em entrevistas aprofundadas e análises de documentos. Métodos. Foram realizados em 2015 sete estudos de caso nacionais das medidas de políticas tomadas em resposta à Declaração. Foram conduzidas entrevistas aprofundadas e semiestruturadas com os interessados diretos de vários setores, inclusive com o pessoal dos ministérios da Saúde. Documentos de políticas também foram selecionados e examinados. Os resultados dos estudos de caso de 2015 foram comparados aos dados fornecidos na matriz de 2014 pelos coordenadores dos ministérios da Saúde. O coeficiente de concordância de kappa foi usado para avaliar a concordância esperada pelo acaso. Resultados. Os dados da matriz e dos estudos de caso tiveram uma estreita concordância. Dos 182 indicadores ao todo (26 para cada um dos sete países), houve ausência de concordância em apenas 9 (4,9%). Todas as diferenças foram entre declarações de políticas e implementação. Exceto para atividade física, o coeficiente kappa indicou concordância boa a excelente para todos os clusters da matriz e para a matriz como um todo, porém com intervalos de confiança amplos. Conclusões. A matriz de monitoramento proporcionou uma avaliação precisa da conjuntura nacional, porém com uma possível tendência de atribuir um desempenho melhor em algumas áreas. Esses resultados contribuíram para a elaboração em 2016 de uma nova matriz de monitoramento contendo 50 indicadores. Apesar dessas melhorias, os países da CARICOM ainda enfrentam uma enorme obrigação em ter de preencher muitos outros informes de DNTs, sobretudo para a Organização Pan-Americana da Saúde e a Organização Mundial da Saúde.