Improving the quality of modelling evidence used for tuberculosis policy evaluation

Int J Tuberc Lung Dis. 2019 Apr 1;23(4):387-395. doi: 10.5588/ijtld.18.0660.

Abstract

Mathematical modelling is commonly used to evaluate policy options for tuberculosis (TB) control in high-burden countries. Although major policy and funding decisions are made based on these analyses, there is concern about the variability of results produced using modelled policy analyses. We discuss new guidance for country-level TB policy modelling. The guidance was developed by the TB Modelling and Analysis Consortium in collaboration with the World Health Organization Global TB Programme, with input from a range of TB stakeholders (funders, modelling groups, country TB programme staff and subject matter experts). The guidance describes principles for country-level TB modelling, as well as good practices for operationalising the principles. The principles cover technical concerns such as model design, parameterisation and validation, as well as approaches for incorporating modelling into country-led policy making and budgeting. For modellers, this guidance suggests approaches to improve the quality and relevance of modelling undertaken to support country-level planning. For non-modellers, this guidance describes considerations for engaging modelling technical assistance, contributing to a modelling exercise and reviewing the results of modelled analyses. If routinely adopted, this guidance should improve the reliability, transparency and usefulness of modelling for country-level TB policy making. However, this guidance will not address all challenges facing modelling, and ongoing work is needed to improve the empirical evidence base for TB policy evaluation and develop stronger mechanisms for validating models. Increasing country ownership of the modelling process remains a challenge, requiring sustained engagement and capacity building.

La modélisation mathématique est habituellement utilisée pour évaluer les options de politiques en matière de lutte contre la tuberculose (TB) dans les pays fortement touchés. Les décisions majeures en matière de politique et de financement sont prises en fonction de ces analyses, mais la variabilité des résultats produits par les analyses de politique modélisées reste préoccupante. Nous discutons d'une nouvelle guidance pour la modélisation de la politique relative à la TB dans chaque pays. La guidance a été développé par le TB Modelling and Analysis Consortium en collaboration avec la programme mondial TB de l'Organisation Mondiale de la Santé, avec la participation d'un range d'acteurs de la TB (financeurs, groupe de modélisation, personnel du programme TB national et experts du domaine). La guidance décrit les principes de la modélisation de la TB dans les pays ainsi que les bonnes pratiques de mise en œuvre des principes. Les principes couvrent les questions techniques comme la conception du modèle, le paramétrage et la validation, ainsi que les approches visant à incorporer la modélisation dans les décisions politiques des pays et le financement. Pour les modélisateurs, cette guidance suggère des approches visant à améliorer la qualité et la pertinence de la modélisation entreprise afin de soutenir la planification au niveau des pays. Pour les non modélisateurs, cette guidance décrit les éléments à envisager pour engager une assistance technique en termes de modélisation, contribuant à un exercice de modélisation, ou à revoir les résultats des analyses modélisées. Si elle est adoptée en routine, cette guidance devrait améliorer la fiabilité, la transparence et l'utilité de la modélisation pour les prises de décisions en matière de TB au niveau des pays. Cette guidance ne résoudra cependant pas tous les défis de la modélisation et un travail continu est requis pour améliorer la base de preuves concrètes afin d'évaluer les politiques en matière de TB et de développer des mécanismes plus solides de validation des modèles. Augmenter l'appropriation par les pays des processus de modélisation reste un défi, exigeant un engagement soutenu et un renforcement des capacités.

La modelización matemática se suele utilizar con el fin de evaluar las opciones de las políticas de control de la tuberculosis (TB) en los países con alta carga de morbilidad. Las principales decisiones normativas y de financiamiento se adoptan en función de estos análisis; sin embargo, es preocupante observar la variabilidad de los resultados de los análisis modelizados de las políticas. En el presente estudio se examina una nueva orientación en materia de modelización a escala nacional de las políticas contra la TB. El TB Modelling and Analysis Consortium elaboró las directrices en colaboración con el Programa Mundial contra la Tuberculosis de la Organización de la Salud, con aportaciones de una diversidad de interesados directos en la TB (financiadores, grupos de modelización, personal de Programas Nacionales contra la TB y expertos en el tema). La orientación describe los principios de la modelización a escala nacional, además de las prácticas adecuadas para ponerlos en práctica. Los principios abordan prioridades técnicas como el diseño del modelo, la parametrización y la validación y también métodos encaminados a incorporar la modelización en la formulación de políticas y la elaboración de presupuestos dirigidas por los países. Estas orientaciones ofrecen a los modelizadores métodos para mejorar la calidad y la pertinencia de la modelización que emprenden con el fin de respaldar la planificación nacional. A otras personas que no participan en la elaboración de modelos, la orientación describe aspectos que se deben tener en cuenta al solicitar asistencia técnica con la modelización, participar en un ejercicio de modelización o evaluar los resultados de los análisis modelizados. Esta orientación, una vez adoptada de manera sistemática, debería mejorar la fiabilidad, la transparencia y la utilidad de la modelización en la formulación de las políticas nacionales en materia de TB. Sin embargo, el documento no aborda todas las dificultades que surgen durante la modelización y se precisan esfuerzos continuos que mejoren la base de datos probatorios para la evaluación de las políticas relacionadas con la TB y la creación de mecanismos más sólidos de validación de los modelos. Lograr una mayor apropiación nacional del proceso de modelización sigue siendo una empresa difícil, que exige un compromiso permanente y fortalecimiento de la capacidad.

Publication types

  • Research Support, Non-U.S. Gov't

MeSH terms

  • Capacity Building
  • Decision Making
  • Health Policy*
  • Humans
  • Models, Theoretical*
  • Policy Making
  • Reproducibility of Results
  • Tuberculosis / epidemiology
  • Tuberculosis / prevention & control*