Applying a logical theory of change for strengthening research uptake in policy: a case study of the Evidence Informed Decision Making Network of the Caribbean

Abstract

[ABSTRACT]. Objective. Health policymakers in the Caribbean face challenges with research use in decision-making. Although copious approaches to strengthen evidence-informed policy can be found in the literature, these strategies should be applied and evaluated in specific settings. We developed a theory of change for strengthening research uptake in health policy, and the interventions were implemented as the Evidence Informed Decision Making Network of the Caribbean (EvIDeNCe). We assessed the model’s logic and evaluated whether the expected outcome was achieved. Methods. The model was mapped in three stages: problem identification; goal determination; and backward linking of interventions. Beneficiaries were surveyed to assess the design logic and to evaluate the main outcome. Results. A total of 137 respondents completed evaluation questionnaires. The inclusion of evidence briefs, stakeholder dialogues, a research database, and training programs for policymakers in the model was validated. Respondents also reported their intention to act on research evidence to which they were exposed. After respondents had participated in stakeholder dialogues, the mean intention-to-use score was 6.4 on a scale of 1 (strongly disagree) to 7 (strongly agree), and 6.3 on the same scale, after exposure to training. Conclusions. This work provides initial validation of EvIDeNCe as a consolidated strategy to strengthen the application of research in policy in the Caribbean. To our knowledge, it is the first study to develop and apply a comprehensive model of this type to the Caribbean. The findings support results from similar initiatives in other countries, but additional work is needed to evaluate the overall impact of the initiative.

[RESUMEN]. Objetivo. Los responsables de las políticas de salud en el Caribe afrontan retos con respecto al uso de la investigación en la toma de decisiones. Si bien en la bibliografía especializada pueden encontrarse estrategias muy diversas para fortalecer las políticas fundamentadas en la evidencia, dichas estrategias deben aplicarse y evaluarse en entornos específicos. Elaboramos una teoría del cambio para fortalecer la incorporación de la investigación en las políticas de salud, y las intervenciones se ejecutaron en la Red de Toma de Decisiones Basadas en Evidencia del Caribe (conocida como EvIDeNCe). Evaluamos la lógica del modelo y también si se alcanzó el resultado previsto. Métodos. El modelo se proyectó en tres etapas: determinación de los problemas, establecimiento de las metas y vinculación retrospectiva de las intervenciones. Se realizaron encuestas a los beneficiarios para evaluar tanto la lógica de diseño como el resultado principal. Resultados. Un total de 137 encuestados respondió los cuestionarios de evaluación. Se validó la inclusión en el modelo de sinopsis de datos científicos, diálogos entre los interesados directos, una base de datos de investigación y programas de capacitación para los responsables de las políticas. Los encuestados también informaron sobre su intención de actuar en respuesta a los resultados de la investigación a los que estuvieron expuestos. Después de que los encuestados participaron en los diálogos entre interesados directos, la puntuación media de la intención de usar la investigación fue de 6,4 en una escala de 1 (totalmente en desacuerdo) a 7 (totalmente de acuerdo), y después de exponerse a una capacitación, de 6,3 en la misma escala. Conclusiones. Este trabajo arroja una validación inicial de EvIDeNCe como una estrategia consolidada para fortalecer la aplicación de la investigación en las políticas en el Caribe. Hasta donde sabemos, es el primer estudio que ha elaborado y aplicado un modelo integral de este tipo en el Caribe. Los resultados apoyan las observaciones de iniciativas similares en otros países, pero hace falta seguir trabajando para evaluar las repercusiones más amplias de la iniciativa.

[RESUMO]. Objetivo. Os responsáveis pelas políticas de saúde no Caribe enfrentam desafios no uso de pesquisa na tomada de decisão. Apesar de a literatura oferecer uma abundância de enfoques para reforçar políticas informadas por evidências, essas estratégias devem ser aplicadas e avaliadas em contextos específicos. Foi formulada uma teoria de mudança para reforçar a incorporação de pesquisa em políticas de saúde, sendo implementadas intervenções como a Rede de tomada de decisão informada por evidências do Caribe (EvIDeNCe). Foi avaliada a lógica do modelo e analisado se o resultado esperado foi alcançado. Métodos. O modelo foi traçado em três estágios: identificação de problemas, determinação de metas e ligação regressiva de intervenções. Foi aplicada uma pesquisa aos beneficiários para avaliar a lógica do design e analisar o resultado principal. Resultados. Ao todo, 137 participantes responderam os questionários de avaliação. Foi validada a inclusão no modelo de informes de evidências, diálogos de interesados diretos, uma base de dados de pesquisa e programas de formação profissional para os responsáveis pelas políticas. Os participantes também informaram a intenção de proceder segundo as evidências de pesquisas às quais tiveram conhecimento. Após tomarem parte em diálogos de interessados diretos, a pontuação média de intenção de uso dos participantes foi 6,4 (em uma escala de 1 [discordo totalmente] a 7 [concordo plenamente]) e 6,3 após o treinamento. Conclusões. Este estudo proporciona a validação inicial da rede EvIDeNCe como uma estratégia consolidada para reforçar a aplicação de pesquisa em políticas no Caribe. Ao que nos consta, trata-se do primeiro estudo a formular e aplicar um modelo completo deste tipo no Caribe. Os achados ajudam a respaldar os resultados de iniciativas semelhantes em outros países, porém outros estudos são necessários para avaliar o impacto geral da iniciativa.