Contribution à une démarche de validation en bonnes pratiques biomédicales en établissement de santé : la grille d'évaluation

Nous tenons à remercier Monsieur FARGES, enseignant chercheur à l'U.T.C de Compiègne pour son aide et son suivi durant la réalisation de cette étude.

Nous remercions également Monsieur CHEVALLIER, directeur de la formation DESS "TBH" à l'U.T.C de Compiègne,

Et pour leur participation et leurs précieux conseils: Monsieur CALISTE, chef de projet à l'U.T.C de Compiègne ; Monsieur THIBAULT, enseignant à l'université d'Angers ; Madame ESCOLAN, expert visiteur à l'A.N.A.E.S ; Docteur BOITEAU, anesthésiste / réanimateur au CHSF de Evry

RESUME

Le service biomédical, par son spectre d'activités, contribue à l'amélioration de la qualité et de la sécurité des soins. L'usage du référentiel métier, le "Guide des Bonnes Pratiques Biomédicales en Etablissement de Santé", peut donc être une voie possible pour démontrer le savoir-faire d'une profession et viser une reconnaissance des services rendus. Cette étude propose une grille d'évaluation et un processus d'audit par les pairs. Finalisés et validés par la communauté biomédicale d'ici fin 2004, leur mise en œuvre permettra de se faire valider "Bonnes Pratiques", valorisant ainsi l'engagement dans une démarche qualité d'amélioration continue des soins.

Mots clés : référentiel, grille d'évaluation, audit par les pairs, validation bonnes pratiques.

La grille d'évaluation est téléchargeable gratuitement ici. (format .xls)

ABSTRACT

The clinical engineering department, by its all of activities, contributes to improve quality and safety of health care. The use of a professional reference can be a way to prove the ability of a profession and to aim at recognition. This study proposes an evaluation survey and a process of audit by the pars. Finalized and validated by the clinical engineering community from the end of 2004, their use will enable to be validated "good practices", thus developing engagement in a quality process of continuous improvement of the health care.

Key words : professional reference, evaluation survey, audit by the pars, validation "good practices".

The evaluation survey is free (and in French). You can download it here. (.xls format)

La recherche de l’amélioration de la qualité et de la sécurité des soins délivrés aux patients devient une préoccupation constante dans les services biomédicaux.

L’élaboration puis la publication en novembre 2002 du guide des bonnes pratiques biomédicales en établissement de santé [1], référentiel métier de la communauté biomédicale, a permis de fournir les références minimales auxquelles elle doit satisfaire pour mener à bien ses missions. L'usage de ce guide a pour autre vocation d’obtenir une reconnaissance juste et impartiale des services rendus.
Se faire évaluer et valider " bonnes pratiques " peut donc être une façon de valoriser ses pratiques.

L’objet de cette étude est de proposer à la communauté biomédicale une grille d’évaluation et son processus d’audit par les pairs en tant qu’outil de mesure par rapport au guide.

En effet, l’évaluation permet la vérification de l’efficacité et la cohérence du système qualité, elle constitue donc un outil de progrès en étant le moteur de l’amélioration continue.
Afin de pérenniser la démarche qualité et la dynamique professionnelle impulsées par la mise en œuvre de ce référentiel, il est nécessaire de s’évaluer par rapport aux références minimales du guide.

L’évaluation est un examen méthodique et indépendant en vue de déterminer si les activités et résultats à la qualité satisfont aux dispositions préétablies et si ces dispositions sont mises en œuvre de façon effective et sont aptes à atteindre les objectifs.

Les dispositions préétablies sont soit ce qui est attendu dans le référentiel, soit ce que le service biomédical a prévu de faire.
L’efficacité d’un système qualité réside dans l’adéquation entre ce qu’il faut faire, ce que l’on a prévu de faire et ce que l’on fait.

L’évaluation d’un service biomédical peut consister dans la comparaison de ce qui est prévu (système qualité documenté) et fait par rapport à ce qui est attendu dans le référentiel, d’en mesurer l’écart afin de proposer des actions d’amélioration.

Un rapport d’étudiants de 2002-2003 [2] a fait l’étude des possibilités de validation en bonnes pratiques d’un service biomédical.
Suivant les objectifs que l’on souhaite atteindre, il existe différents types d’évaluation :

- L’auto évaluation
- L’évaluation par les pairs
- L’évaluation par une tierce partie

- L’auto évaluation est un examen systématique effectué par le service biomédical lui-même. Il évalue l’efficacité et l’efficience du système par rapport au guide pour connaître ses points forts et les points à améliorer.

- L’évaluation par les pairs est un examen effectué par un comité d’audit composé de différents membres de la profession afin de vérifier la conformité du service par rapport au référentiel.

- L’évaluation par une tierce partie est réalisée par un organisme accrédité indépendant et extérieur au monde biomédical.

Afin de prouver la mise en oeuvre d’une démarche d’amélioration continue et de démontrer le savoir-faire de la profession, il est nécessaire qu’un processus de validation des bonnes pratiques biomédicales accompagne l'évaluation.

D’après le tableau de synthèse et d’analyse des coûts des 3 solutions de validation [2], la « charte qualité biomédicale » délivrée par un comité de pairs serait la plus appropriée. En effet, l’auto déclaration « bonnes pratiques biomédicales » basée sur le projet de norme 17050 [3], suite à une auto évaluation, peut manquer de crédibilité face aux parties prenantes du service. La certification NF Service Biomédical aurait une reconnaissance nationale mais nécessiterait la normalisation du guide par l’AFNOR, cela aurait un coût non négligeable pour les établissements de soins.

Face à une demande de la communauté biomédicale exprimée aux journées A.F.I.B de septembre 2003 [4], l'évaluation par les pairs semble adaptée aux exigences des professionnels pour un processus d'évaluation.
L’audit par les pairs est l’occasion de porter un regard extérieur sur l’organisation du service et d’aider le service biomédical à s’inscrire dans une démarche constante d’amélioration continue. En effet, l’intervention d’auditeurs issus du même milieu professionnel permet un échange entre pairs générateur de progrès.

Recherche documentaire :
    - rapports de projet et de stage des étudiants de l’UTC
    - textes réglementaires et normes
    - enseignements suivis à l’UTC
    - guides de bonnes pratiques existants dans le domaine hospitalier et leurs grilles d’évaluation

Etude des grilles d'évaluation existantes dans le domaine biomédicale et synthèse de leurs points forts et leurs points faibles.

Rencontre de spécialistes en qualité dans leur domaine :
    - Enseignant/chercheur en qualité UTC de Compiègne, Université d'Angers
    - Industriel participant au MFQ Picardie
    - Médecin à l’origine d’audit qualité de service d’anesthésie réanimation CHSF d’Evry (GRAH)
    - Ingénieur qualité en milieu hospitalier
    - Vétérinaire/auditeur en laboratoire d’analyse vétérinaire
    - Expert visiteur à l’ANAES

        Projet de grille d'évaluation et principes pour élaborer la grille
        Discussion avec des experts de la première ébauche
        Collecte des réflexions de quelques experts sur le projet de grille
        Amélioration et mise en œuvre des modifications suivant leurs observations et conseils

Afin de poursuivre la méthodologie d'amélioration continue suivie, il est nécessaire d'ici fin 2004 d'engager les étapes suivantes :

Présentation de la grille à plusieurs ingénieurs et techniciens biomédicaux volontaires et d’horizons différents (CHU, CHG, cliniques privées…) afin de s’assurer de la pertinence des affirmations proposées et de la pondération appliquée.

Test de la grille et du processus d'audit par les pairs auprès de quelques services biomédicaux volontaires.

Validation de l’outil d’évaluation par la communauté biomédicale et les associations professionnelles déjà parties prenantes.

La grille d’évaluation permet la mise en évidence des actions d’amélioration à mener, en mesurant les écarts entre les pratiques réelles du service et les références minimales du guide.

Grilles d'évaluation	+	-
Outil d'évaluation thèse MASTERE 1995 [5]	- système de cotation à 4 critères - colonne "remarques"	- non spécifique au guide - forme interrogative - pas de réactualisation (1995)
Auto diagnostic stage DESS TBH [6]	- mode affirmatif - système de cotation à 4 critères - colonne "remarques" - mode d'emploi - synthèse des résultats par référentiel et par activité - graphe radar - note obtenue en pourcentage	- non spécifique au guide - reprise textuelle des différents référentiels - absence de pondération
Auto diagnostic étude DESS TBH 2002/2003 [7]	- mode affirmatif - système de cotation à 4 critères - synthèse des résultats par bonne pratique - graphe radar - note obtenue en pourcentage	- reprise textuelle des références minimales - système de cotation peu encourageant - absence de pondération

Cette étude des grilles existantes a mis en évidence des points essentiels à respecter dans l'élaboration de la grille tels que :
        - La rédaction sur le mode affirmatif
        - L'appréciation à 4 critères sans point milieu
        - L'utilisation d'une échelle de cotation encourageante
        - Une pondération affinant le système de cotation
        - Une échelle de notation entre 0 et 1 et sa correspondance en pourcentage
        - La représentation des résultats claire et synthétique

La grille peut être utilisée aussi bien pour une auto évaluation que lors d’un audit par les pairs. Elle se compose d’un rappel des références minimales du guide et pour chacune d’entre elles, d'un nombre variable d’affirmations. Rédigées sur le mode affirmatif, elles sont plus directives et donc plus difficilement contournables. Leur formulation doit permettre d’éclaircir le lecteur sur le résultat attendu de chaque référence minimale tout en restant neutre quant à la solution mise en oeuvre

L’évaluation composée de 4 critères ne comporte pas de point milieu pour inciter l’auditeur à positionner le service en fonction de son appréciation. Un critère "non applicable" est ajouté pour que cette grille puisse être mise en œuvre dans tout type de service biomédical.

Figure 3 : Extrait de la grille d'évaluation "bonnes pratiques" appliqué à la BPF01. Les points noirs correspondent aux états évalués.

        - vrai : il existe un document écrit et validé.
        - Plutôt vrai et plutôt faux : il existe un document écrit mais non validé ou incomplet.
        - faux : il n’existe pas de document écrit.
        - NA : non applicable dans le service concerné.

Des observations complémentaires peuvent être ajoutées dans la case prévue à cet effet.

A chaque critère précédent correspond une cotation (ex : VRAI=1; PLUTOT VRAI=0.7…) (figure 4). Elle est volontairement asymétrique et privilégie le positif. Elle rend ainsi les premières améliorations très encourageantes au regard du niveau requis.
Chaque affirmation est affectée d'un coefficient de pondération permettant d'en distinguer l'importance relative (ex : l'affirmation de la BPF 01 est pondérée à 0.5).
Le paramétrage de cette pondération peut être envisagé différemment selon la nature et le contexte des audits réalisés (ex : services biomédicaux étrangers…).
La note obtenue pour chaque bonne pratique se situe entre 0 et 1 (ex : note obtenue pour la BPF01 = 0.91).

Figure 4 : Extrait de la grille de cotation associée à l'évaluation de la BPF01

La synthèse des résultats présentés (figure 5) récapitule la totalité des notes obtenues pour l'ensemble des références minimales. La note totale est présentée en pourcentage de validation "bonnes pratiques".

Le service audité est donc validé "bonnes pratiques" en obtenant des notes supérieures à 50% pour chaque BP et une note totale pour l'ensemble des BP équivalente à un minimum de 90%.

La présentation des résultats sous forme graphique intitulée "cartographie radar" permet une lecture claire et synthétique. Elle met en évidence les actions prioritaires à engager. Cette cartographie radar peut également être utilisée par le service biomédical comme outil de communication auprès des services et parties prenantes.

Figure 6 : Extrait de la représentation graphique des résultats pour l'ensemble des BP.

Une fiche d'alerte est à la disposition des auditeurs pour analyser les éventuels grands dysfonctionnements et proposer des solutions afin de les résoudre.

Il s'agit de présenter ici une proposition de processus d'audit relative à la mise en œuvre de la grille d'évaluation.
Le processus proposé s'applique aux services biomédicaux ayant entamés la mise en œuvre totale ou partielle du guide de bonnes pratiques. L'audit par les pairs se réalise de préférence à la suite d'une auto évaluation du service.

L'auto évaluation est réalisée sur l'initiative du responsable du service biomédical avec la participation du personnel. Le responsable qualité de l'établissement ou équivalent peut être associé à cette démarche. Elle a pour but d'inciter le personnel à se situer par rapport à l'état d'avancement de la démarche.

La demande volontaire d’évaluation est effectuée par le responsable du service biomédicale sous couvert du directeur de l'établissement. Cette demande faite par écrit est adressée à l'association biomédicale mandatée et chargée d'encadrer les audits par les pairs.

La constitution de l’équipe d'auditeurs est réalisée par l'association biomédicale. Celle-ci choisit un nombre de pairs volontaires en adéquation avec la taille du service audité. La sélection prend en compte également l'origine des auditeurs et les établissements fréquentés antérieurement afin que cet audit reste le plus objectif possible. L'équipe d'auditeurs est représentative de la communauté biomédicale (secteurs public et privé, technicien, ingénieur…). Parmi ceux-ci, un coordonnateur est désigné responsable de la conduite de l'audit et de l'application de la méthodologie.

La formation des pairs est prise en charge par l'association mandatée avec la collaboration éventuelle d'universitaires et de qualiticiens. Celle-ci, prévue sur une journée, permet de sensibiliser les futurs auditeurs au but de l'audit. Au cours de cette journée plusieurs thèmes doivent être abordés : la déontologie à respecter, le vocabulaire choisi et neutre, la confidentialité…
La démarche d'évaluation ne doit pas être pour les pairs l'occasion de fournir leurs solutions : l’auditeur ne doit jamais comparer son service au service audité. Il doit également éviter de devenir un inspecteur en replaçant toujours l’audit dans la démarche d'amélioration continue du service.

Le déroulement de la visite doit être programmé sur une journée. Elle comprend des phases d'entretien avec le personnel et des phases d'observations et de visite.

La présentation des résultats doit être réalisée dans des délais raisonnables à la suite de l'audit. Ceux-ci sont rendus par écrit et de façon confidentielle. Les résultats et conclusions des auditeurs ne doivent pas faire l'objet de commentaires en dehors du contexte de l'audit.
Ces conclusions peuvent être structurées sous forme d'un rapport présentant la grille d'évaluation, la grille de cotation, la synthèse des résultats et la décision de validation "bonnes pratiques".
Associées au rapport, une ou plusieurs fiches d'alerte peuvent être rédigées afin de mettre en évidence les points de dysfonctionnement les plus graves.

La validation "bonnes pratiques" du service s'obtient en répondant aux deux exigences suivantes :
- aucune note inférieure à 50% pour chaque BP
- une note globale supérieure à 90% pour l'ensemble des BP.
Le titre validation "Bonnes Pratiques" pourrait se présenter sous la forme d'un certificat renouvelable selon une périodicité à définir.

Le coût de l'audit représente uniquement les frais de déplacement et d'hébergement de l'équipe d'auditeurs. La prestation d'audit est gratuite, il s'agit d'un service rendu entre biomédicaux. Sur ce principe, il est envisagé que chaque auditeur participant bénéficie en retour pour son service d'une prestation équivalente. Le temps consacré à la formation des pairs pourrait être reconnu comme une formation continue.

Toutes les étapes du processus abordées ci-dessus restent cependant à finaliser :
- rôle et légitimité de l'association mandatée,
- nombre, choix et formation des pairs,
- mode de communication des résultats et de la validation "bonnes pratiques".

La grille d'auto évaluation téléchargeable gratuitement ici peut être exploitée directement pour une auto évaluation ou associée à une auto déclaration "bonnes pratiques" suivant le projet de norme 17050 [12].
L'emploi de la grille d'évaluation et de son processus d'audit représente des outils profitables à une démarche qualité visant une reconnaissance professionnelle.
Ces outils d'évaluation doivent être finalisés et validés d'ici fin 2004, par un échantillon de services volontaires représentatifs de la communauté biomédicale puis confirmés par plusieurs audits.
Cette démarche demande donc la mobilisation de la communauté biomédicale tant au niveau de la validation que de la mise en œuvre des audits. Cet engagement de la profession sera le reflet de sa volonté à participer à l’amélioration continue de la qualité et de la sécurité des soins.
La mise en œuvre du guide des bonnes pratiques et du processus d’évaluation doit aussi permettre de mieux sensibiliser les instances décisionnelles aux difficultés rencontrées par les services biomédicaux.

[1]Guide de bonnes pratiques biomédicales en établissements de santé, G.FARGES, G.WAHART, JM.DENAX, H.METAYER, RBM News novembre 2002, vol 23, suppl 2.
[2] Processus de validation d’un service biomédical en bonnes pratiques biomédicales, DESS TBH, UTC,2003, E.BERENGER, D.BATTIN.
[4] retour d’expérience et évaluation de la mise en œuvre du guide des Bonnes Pratiques Biomédicales en Etablissement de Santé, journées de l’AFIB de Lille, 22-24 septembre 2003
[5] Guide et outils d’évaluation pour l’assurance qualité des prestations et de l’organisation des services techniques biomédicaux, S.CABLAN, Mastère Equipement biomédicaux UTC, 1994.
[6] Elaboration d’un outil d’auto diagnostic du service biomédical afin d’évaluer ses prestations face à ses obligations, DESS TBH, UTC, 2002, R.GIGLEUX.
[7] Processus de mise en place et d’évolution du guide des bonnes pratiques biomédicales en établissement de santé, DESS TBH, 2003, P.TAPPIE, M.DHORNE.
Complément au guide « préparer et conduire votre démarche d’accréditation »pour les HAD-ANAES/Direction de l’accréditation/Mars 2003

[3] PR NF EN ISO 17050-1 septembre 2003 " Évaluation de la conformité - Déclaration de conformité du fournisseur - Partie 1 : exigences générales "(indice de classement X50074-1PR)
[3] PR NF EN ISO 17050-2 septembre 2003 " Évaluation de la conformité - Déclaration de conformité du fournisseur - Partie 2 : documentation d'appui "(indice de classement X50074-2PR)
NF S 99-172 exploitation des dispositifs médicaux – gestion des risques liés à l’exploitation des dispositifs médicaux dans les établissements de santé
NF EN ISO 15225 nomenclature des dispositifs médicaux
ISO/CEI CD 17049 du 15 avril 2002 exigences générales relatives à la documentation venant à l'appui de la déclaration de conformité du fournisseur

ANAES : Agence Nationale pour l’Accréditation des Etablissements de Santé
AFNOR : Association Française de Normalisation
NF : Norme Française
AFIB : Association Française des Ingénieurs Biomédicaux
UTC : Université de Technologique de Compiègne
PDCA : Plan, Do, Check, Act
EFQM : European Foundation for Quality Management
MFQ : Mouvement Français pour la Qualité
HAD : Hospitalisation A Domicile
GRAH : Groupe de Recherche pour l’Audit à l’Hôpital
BPF : Bonne Pratique Fonctionnelle
BPO : Bonne Pratique Opérationnelle
BP : Bonne Pratique

Référence à rappeler : Contribution à une démarche de validation en bonnes pratiques biomédicales en établissement de santé: la grille d'évaluation, A. Guyard, L. Tamames, Projet DESS "TBH", UTC, 2003-2004 , URL : https://www.utc.fr/~farges/dess_tbh/ Contribution à une démarche de validation en bonnes pratiques biomédicales en établissement de santé : la grille d'évaluation
Anne Guyard	Laurent Tamames