Validation and Reproducibility of the Updated French Causality Assessment Method: an Evaluation by Pharmacovigilance Centres & Pharmaceutical Companies

Validation et reproductibilité de la méthode française d'imputabilité réactualisée : une évaluation par des centres de pharmacovigilance et des laboratoires pharmaceutiques

¹ Centre Régional de Pharmacovigilance, CHU, Bordeaux, France
² Pharmacovigilance, Laboratoires SERB, Paris, France
³ Service de Pharmacologie Clinique, CHU, Nantes, France
⁴ Centre Régional de Pharmacovigilance, CHU, Besançon, France
⁵ Département de Pharmacovigilance, ANSM, Saint-Denis, France
⁶ Centre Régional de Pharmacovigilance, CHU, Saint-Etienne, France
⁷ Centre Régional de Pharmacovigilance, CHU, Montpellier, France
⁸ Pharmacovigilance, Laboratoire Lilly, Neuilly-sur-Seine, France
⁹ Cellule Plan de Gestion de Risque, ANSM, Saint-Denis, France

Correpondence and offprints: Hélène Théophile, Centre Régional de Pharmacovigilance, Hôpital PellegrinCHU, 33076 Bordeaux cedex, France. E-mail: helene.theophile@u-bordeaux.fr

Received: 24 November 2014
Accepted: 20 March 2015

Abstract

Objective. Assess the validity and reproducibility of the updated version of the French causality assessment method in conditions approaching real-life use. Methods. A random sample of 31 drug-event pairs from the French pharmacovigilance database was assessed by the consensual judgement of three experts (gold standard). Separately, a team from a pharmacovigilance centre (PhVC) and another from a pharmaceutical company assessed these pairs using the current method, then with the updated method. To test the inter- and intra-rater reproducibility, two seniors and two juniors from a PhVC and a pharmaceutical company assessed the pairs twice with the updated method. A weighted kappa coefficient was used to measure the agreement of the two causality assessment methods with the consensual expert judgement (validity) as well as the agreement of the updated causality assessment over time (intra-rater reproducibility) and between evaluators (inter-rater reproducibility). Results. Agreement between the current method and consensual expert judgement was fair for the PhVC team (weighted kappa [K_w] 0.33) and moderate for the pharmaceutical company team (K_w 0.41). For the updated method, agreement was better for both the PhVC (K_w 0.58) and the pharmaceutical company (K_w 0.52) teams. The inter- and intra-rater reproducibility of the updated method based on the intrinsic imputability was satisfactory overall (K_w 0.30-0.91). Discrepancies between evaluations from PhVC and pharmaceutical companies were observed with the updated method. Conclusion. The updated method performed better than the current one for drug causality assessment, suggesting that it should be used in routine pharmacovigilance.

Résumé

Objectif. Évaluer la validité et la reproductibilité de la méthode française d’imputabilité réactualisée en condition réelle d’utilisation. Méthodes. Un échantillon aléatoire de 31 couples médicament-événement a été évalué 1) par jugement consensuel de trois experts (JCE) 2) par une équipe d’un centre de pharmacovigilance (PhVC) et une autre d’un laboratoire pharmaceutique (LP) avec la méthode actuelle puis la méthode réactualisée 3) par deux séniors et deux juniors d’un PhVC et d’un LP avec la méthode réactualisée, à deux reprises. Résultats. L’accord entre la méthode actuelle et le JCE était faible pour l’équipe PhVC (weighted kappa [K_w] 0,33) et modéré pour l’équipe LC (K_w 0,41). Pour la méthode réactualisée, l’accord était meilleur pour l’équipe PhVC (K_w 0,58) et l’équipe LP (K_w 0,52). La reproductibilité inter et intra-observateur de la méthode réactualisée était globalement satisfaisante (K_w de 0,30 à 0,91). Des différences dans les évaluations entre PhVC et LP ont été observées avec la méthode réactualisée. Conclusion. Ces résultats suggèrent que cette méthode devrait être utilisée en pharmacovigilance de routine.