Informatique et Santé Collection dirigée par P. Degoulet et M. Fieschi Paris, Springer-Verlag France L'Informatisation du Cabinet Médical du Futur Rédacteurs : A. Venot et H. Falcoff Volume 11 - 1999 Accès aux connaissances et évolution des pratiques médicales : conceptions de réseaux d’information pour la pratique quotidienne Marius Fieschia, Pascal Staccinia, Alain Venotb, Roch Giorgia, Jean-Charles Dufoura a Laboratoire d’Enseignement et de Recherche sur le Traitement de l’Information Médicale, Faculté de Médecine de Marseille b Service d’Informatique Médicale, Hôpital Cochin - Paris Abstract The access to information and knowledge is able to improve the efficacy and efficiency of health-care actions, procedures and prevention. In order to achieve this goal, this paper analyses the necessity to revisit the design of health-care information systems integrating acces to knowledge server and information facilities. We analyse some of the functionalities enhanced to the medical field and we present different strategies to design and to build up these services. Informatique et Santé, 1999 (11) : 69-79 1 Introduction L’évolution, de la prise en charge des patients et de la médecine en réseau, et de la nécessité d’accéder à une connaissance médicale en constante progression et évolution, amène à la conclusion suivante : les systèmes d’information de santé doivent être adaptés à ces nouvelles pratiques. Ils doivent être développés pour répondre aux exigences • d’équité devant le système de soins, • de l’évolution des pratiques et de leur qualité, • de l’évaluation des structures de soins, des procédures mises en œuvre ou des résultats observés, • de la maîtrise nécessaire des coûts. . Ces objectifs ne sont pas nouveaux. Ils sont énoncés depuis 20 ans, en particulier, par les concepteurs de systèmes d’information hospitaliers (SIH). Hormis quelques exceptions, on connaît la pauvreté de la contribution des SIH à l’amélioration des pratiques et de la prise en charge des patients. L’une des causes de cette pauvreté est aisément identifiable. Elle s’exprime par le paradoxe suivant : le déséquilibre entre les moyens consacrés aux applications et aux indicateurs administratifs d’une part et la pauvreté des moyens dégagés pour mettre en place un dossier patient et favoriser un accès à la connaissance médicale d’autre part. En d’autres termes, à ce jour, les systèmes d’information dans le domaine des soins sont conçus et développés pour administrer ou gérer et non pour soigner. L'accès à la connaissance et l'enrichissement des interactions entre les acteurs [1] sont des objectifs qu'il convient d'intégrer dans une stratégie d'amélioration de la qualité des soins. Des études, particulièrement aux USA, ont montré que l'Internet est un moyen opérationnel puissant pour diffuser de l'information à l'usage des cliniciens [2]. Par ailleurs, le système de santé est en mutation. Les besoins pour les individus changent également. L’éducation sanitaire et la prévention sont des éléments clés que les médecins doivent intégrer davantage dans leurs pratiques. Cette prévention tend à être individualisée en fonction des risques encourus par les patients. Elle demande une connaissance des derniers résultats des études cliniques, la connaissance mise à jour et établie par la littérature scientifique. On sait que cette actualisation des connaissances est impossible pour le praticien sans la mise en œuvre des technologies du traitement de l’information et de la communication. Le développement d’Internet et des technologies d'Intranet sécurisés (nous rangeons dans ce cadre le Réseau Santé Social (RSS) mis en place par le ministère de la santé ) donne une nouvelle chance pour développer des systèmes d’information susceptibles d'être bénéfiques directement pour les patients. Ils dépassent le cadre d’institutions, comme les hôpitaux, qui de par leur place dans le système de santé et leur vision "microéconomique" de la pratique médicale (et non de la santé publique) n'intègrent pas le développement de ces systèmes dans leurs priorités. Le partage des données du patient et du dossier médical électronique, qu’il convient de redéfinir dans le cadre des réseaux de soins, est, évidemment, un élément important de ces systèmes d’information. Dans cet article, nous centrerons notre analyse sur l’autre dimension fondamentale de ces systèmes d’information : les dispositifs d’accès à la connaissance médicale. Nous analysons différentes approches pour élaborer ces systèmes d’information suivant leur type. Nous soulignerons quelques-unes de leurs principales propriétés attendues afin de contrôler la qualité de l’information, de la connaissance diffusée et d’évaluer leur impact sur les pratiques. L’article rappelle la problématique générale des besoins et des fonctionnalités que devraient présenter ces systèmes d’accès à la connaissance, puis fait un bref état de l’art de la technologie disponible pour réaliser de telles applications. Une troisième partie propose quelques pistes pour créer et contrôler ces réseaux, c'est à dire pour la mise en place d’outils d’évaluation de ces applications. 2 Les besoins et les fonctionnalités à assurer L’accès à la connaissance est une fonction indispensable pour améliorer la qualité des prestations et des informations fournies par le système. L’une des finalités majeures de l’informatique médicale réside dans l’amélioration de l’accès aux connaissances établies, dans la diffusion de l’apport des connaissances et dans la possibilité de soigner en équipe un patient pour bénéficier des compétences de chacun. La figure 1 présente schématiquement le couplage nécessaire entre l'accès aux connaissances et l’accès aux données du dossier du patient [3]. L'accès à la connaissance est un problème très vaste et complexe qui prend des formes différentes suivant les situations et les besoins des acteurs. La conception de ces fonctionnalités doit partir de besoins identifiés. Ainsi par exemple, le temps que le médecin peut investir dans l'accès aux connaissances est un paramètre important de la conception du service. On peut distinguer schématiquement trois situations qui vont conditionner son comportement et son besoin en accédant à des services de connaissances : • La décision à prendre en présence du patient (évocation du diagnostic, examens complémentaires les plus utiles, choix thérapeutique,...) ne lui laisse qu'un temps inférieur à quelques minutes. Les systèmes à base de connaissance générant automatiquement des alertes sans une recherche d'information complexe peuvent être une réponse intéressante. • Une question spécifique sur un problème relevant d'un patient qui n'est plus devant lui peut justifier de consacrer un peu plus de temps, peut-être une vingtaine de minutes. • Le médecin veut réactualiser ses connaissances dans un domaine donné. Il accepte alors, dans une activité de type formation médicale continue, d’y consacrer plusieurs heures. médecine de ville hospitalisation à domicile ambulatoire hospitalisation Références médicales Bases bibliographiques S.I.C. Production des soins Aide à la décision Production médico-technique Laboratoires Laboratoires Radiologie Pharmacie ... Vues Ext. Dossier du patient (clinique et recherche) Protocoles, ... Connaissance Dossiers d’évaluation, de gestion de management,... Evaluation des résultats des pratiques des procédures Analyse médico-économique Vigilance sanitaire et épidémiologie Figure 1. Le concept de système d’information de santé intégré et la place de l'accès à la connaissance dans le système d’information clinique (SIC) d'après [3]. Toutefois on sait aussi que la méthode centrée sur les besoins est insuffisante pour assurer le succès de cette entreprise car les besoins sont souvent les reflets de l’intérêt particulier d’un des acteurs ou de l'urgence ressentie à un moment donné. La vision prospective peut-être absente de l'expression des besoins. La démarche peut également être initialisée avec la définition d'objectifs en termes de résultats de santé. A partir de ces objectifs, bien définis et quantifiables, il est intéressant de mettre en œuvre les technologies de l’information et de la connaissance puis, réalisation achevée, d’évaluer les gains ou les résultats obtenus. Afin de préciser cette double approche, nous donnons ci-dessous des exemples de démarches à partir des besoins ou de résultats escomptés, mesurables voire mesurés. Tableau 1. Les motifs de recours aux soins en médecine de ville [4][5]. Le total des occurrences peut faire plus de 100 car les motifs de recours aux soins peuvent être multiples. Motifs de recours aux soins en médecine générale Occurrence du motif (%) Hypertension artérielle 13,8 Douleurs articulaires, arthrose, pathologie péri-articulaire et pathologie rachidienne, lombalgies, sciatalgies 11,1 Angines, pharyngites, laryngites, trachéites, sinusites, otites 9,5 Pathologies intestinales, diarrhées, constipation, autres affections de l’appareil digestif 8,6 Bronchites aiguës, asthme, toux 7,7 . 2.1 Visite systématique, dépistage, vaccinations, motif administratif 7 Atteintes vasculaires, cérébro-vasculaires et pathologies artérielles 6,6 Angoisse, anxiété, troubles du sommeil 6,3 Rhinites aiguës ou fréquentes 5,7 Dépression, troubles névrotiques 5,5 Troubles du métabolisme des lipides 4,9 Grippe, autres maladies virales, autres affections des voies aériennes 4,1 Angor et infarctus 3,9 Troubles du rythme et autres atteintes cardiaques 3,9 Migraines, céphalées, asthénie 3,6 Diabète 3,1 Plaies, traumatismes non précisés, luxations et entorses 3 Allergies cutanées, eczémas, autres maladies de peau 2,3 Tumeurs 2 Autres motifs 9 A partir des besoins De nombreuses enquêtes permettent d’apprécier les besoins des médecins en pratique courante. Nous présentons dans le tableau 1 la synthèse d’informations extraites d’un rapport du CREDES [4] [5] réalisé à partir d’une enquête nationale qui s’est déroulée en 1992 auprès de 2 318 médecins généralistes et spécialistes. On trouve des données analogues dans le dictionnaire des résultats de consultation de la SFMG (Société française de Médecine générale). Ces sources d’informations fournissent des chiffres permettant de hiérarchiser les motifs de recours aux soins et offrent la possibilité de connaître les problèmes courants auxquels ils sont confrontés, de proposer les domaines de connaissances les plus importants pour la formation continue des médecins, ainsi que le renforcement cognitif qu’il convient d’assurer pour améliorer la qualité de la prise en charge des patients. La littérature permet également de réfléchir aux différents niveaux de savoir dont les médecins ont besoin. Ainsi, l'article de Musen [6] sur les dimensions de la connaissance et les moyens de la partager, revient sur trois dimensions classiques de connaissance qui structurent ce que l'on présente souvent suivant la distinction : savoir et savoir-faire. Cette approche peut servir à structurer des services sur le web suivant : • les concepts, • les relations entre les concepts (ontologies), • les méthodes de résolution de problèmes. 2.2 A partir d'objectifs, de résultats attendus et d'enquêtes de résultats obtenus L’intérêt de diffuser des règles claires de prescription a été étudié et démontré par la littérature. Ainsi, de nombreux articles scientifiques présentent des évaluations quantifiées de la mise en place de ces systèmes. Nous en donnerons un seul exemple récent concernant le système d'aide à la prescription d’antibiotiques au LDS hospital [7]. Ces règles doivent être continuellement disponibles et mises à jour. Le moyen de diffusion le plus adapté est certainement électronique. Les questions qui demeurent sont les suivantes : comment organiser cette diffusion ? Comment mesurer les résultats et piloter ce système ? Dans un domaine différent et plus limité, l'enquête sur les références médicales opposables (RMO) du CREDES [8] illustre les gains que l’on peut attendre de cette démarche. Ainsi ce rapport sur l'impact des RMO sur la prescription pharmaceutique, évalue, en 1994, l'impact financier des premières RMO à un bénéfice de "334 millions de francs environ, déduction faite des prescriptions de substitution, sans comptabiliser d'éventuels avantages en terme de santé publique". Cette approche conduit à dégager des priorités et à développer un système d’accès à la connaissance suivant ces priorités, puis à évaluer l’impact de cette action sur le domaine de santé publique intéressé. 3 Les outils technologiques et les ressources de connaissances médicales 3.1 L’Internet et les outils du Web Depuis cinq ans environ, l’attrait de l’Internet et des autoroutes de l’information a considérablement été modifié, pour des utilisateurs non informaticiens, par le développement du World Wide Web. Aujourd'hui, plus de 100 millions de documents sont disponibles sur le web et les prévisions pour l’an 2000 avancent le chiffre de 800 millions de documents. Tous ces documents sont disponibles sur toute machine connectée sur le réseau grâce à des logiciels fournis gratuitement à l’achat de tout micro-ordinateur. La mise à jour des informations et des connaissances peut se faire beaucoup plus fréquemment et à un coût infiniment plus faible que celui qu’entraînent les moyens classiques de diffusion de la connaissance. Internet offre d’autres possibilités d’accès à l’information et à la connaissance par la messagerie électronique et les "news groups" dont plus de 150 sont répertoriés sur des domaines de santé ou médicaux. 3.1.1 La quantité La masse d’information disponible sur le web est énorme et la dynamique de son développement rend difficile son évaluation précise. Il existe des répertoires indexant les sites web médicaux qui font état de plusieurs milliers de sites : OMNI (Organising Medical Networked Information) indexe 2 800 sites et Medical Matrix en indexe plus de 4 000 [9][10]. A ce jour, le nombre de cas cliniques présentés est supérieur à 120 000, le nombre de documents multimédia disponibles est évalué à 50 000. Ce phénomène va encore s’accroître dans les cinq années qui viennent avec Internet 2 qui offrira des bandes passantes plus larges, donc plus d’interactivité et plus de possibilités multimédia. Un exemple concret illustre la quantité d'information disponible : une enquête en février 1998 a montré que 110 000 documents contenaient le mot-clé "skin cancer" et que 35 000 contenaient le mot "melanoma" [11]. Cet exemple montre en même temps la facilité d’accès à une masse d’information disponible et les problèmes d’accès à une information pertinente que cette facilité introduit. Ces problèmes doivent recevoir une réponse organisationnelle et méthodologique adaptée. 3.1.2 La qualité Le développement quelque peu anarchique d’Internet ne permet pas d’avoir une approche simple et unidirectionnelle de la qualité des documents que l’on peut y trouver. De nombreuses publications témoignent d'une préoccupation légitime : évaluer la qualité de la connaissance fournie par les sites web médicaux [12][13]. Dans ce domaine sensible, en évolution permanente (évolution des outils logiciels d'accès à la connaissance et évolution de la connaissance elle-même), la méthode doit être examinée de manière critique s'il s'agit de donner des labels de qualité a priori (vérifiée avant la mise en place du service), concernant le contenu des sites. En effet, cette approche de l'évaluation conduit à évaluer régulièrement un nombre croissant de services proposant une quantité croissante de connaissance, mettant éventuellement en œuvre des algorithmes d'aide à la décision complexes, ce qui pose des problèmes méthodologiques et pratiques évidents et pour certains non résolus. La faisabilité même de cette évaluation est en cause. 3.2 Recherche de l’information sur Internet Actuellement cette recherche s'effectue soit par l'utilisation de sites spécialisés, les services répertoires, soit par l'utilisation de moteurs de recherche universelle. . 3.2.1 Utilisation de services répertoires Des services répertoires appelés Medical Directory services (MDS) sont d’ores et déjà disponibles, nous en avons cité deux plus haut : OMNI et Medical Matrix [9][10]. L'un des plus importants qu'il convient également de lister est le site Hardin Meta Directory of Internet Health Sources de l'Université d'Iowa [14]. En France, l’équipe du CHU de Rouen a réalisé un site [15] qui vise cet objectif. La difficulté dans ce type de service est parfois de retrouver un site suivant la rubrique dans laquelle les documentalistes l’ont classé. De nombreux sites utilisent le MeSH pour indexer l'information mais le problème de standards d’indexation et de langue est au premier plan des difficultés méthodologiques rencontrées pour rendre plus efficace ces services. Malgré leur utilité, ces services posent encore des problèmes en pratique courante (temps perdu, incertitude d'accéder à l'information la plus récente et la plus pertinente). Les recherches en cours donneront des réponses techniques et méthodologiques dans les années à venir. 3.2.2 Utilisation de moteurs de recherche Les moteurs de recherche disponibles ne sont pas spécialisés sur un type d’activité particulier (médecine) et ont vocation à effectuer de la recherche universelle sur les sites web. Malgré des facilités de recherche intéressantes (par date, pays, mots clés combinés par les connecteurs booléens, …), le problème évoqué précédemment concernant les standards d’indexation et la caractérisation sémantique des pages de connaissance garde toute son acuité. L'étude sur Cliniweb [2] a montré les limites des outils disponibles et la nécessité de développer des outils de recherche d'information avancée. Une méthodologie spécifique reste à élaborer pour développer ces outils de recherche avancés et adaptés au domaine de la santé. 4 Créer et contrôler des réseaux d’accès à la connaissance L'article de Eder et col. [16] analyse l’impact de la diffusion d’informations médicales auprès des praticiens de ville : collecte d’information médicale, recommandations de l’utilisation à leurs patients, développement de sites web afin d’augmenter leur compétitivité. Bien que l’Internet soit un media récent pour les praticiens de ville, ces résultats montrent que la médecine praticienne de ville pourrait bénéficier de ces informations et augmenter ses moyens grâce au web. Il convient d’analyser les cadres institutionnels et organisationnels dans lesquels ces bénéfices pourraient se concrétiser . 4.1 Cadres institutionnels et organisationnels Sur Internet, de très nombreux sites diffusent des informations accessibles par le grand public, sans cadre institutionnel ou comité de lecture des informations médicales. Le niveau et la qualité de l'information fournie sont inégaux et incomplets [17]. Comment favoriser et organiser le développement de sites fournissant des informations de qualité ? Deux voies principales sont possibles : • Un Intranet sécurisé pour lequel une autorisation d'entrée sera nécessaire (accord préalable et agrément). • Un ensemble de sites répertoriés dans un MDS fournissant des appréciations sur la qualité des informations fournies par les sites indexés. L'accès à ces sites étant contrôlé par chacun ( à la manière des sites de journaux scientifiques "full text on line"). La première voie propose une solution organisationnelle unique pour deux problèmes différents : la transmission d’informations nominatives relatives aux patients et le service de la connaissance. La deuxième voie sépare, sur le plan organisationnel, l'accès à l'information scientifique non nominative de l'acheminement de l'information nominative sur les patients. Elle n'exclut pas la coexistence d'un réseau sécurisé pour répondre à la gestion des données du dossier du patient. La France a choisi la première voie. Avec la création du Réseau Santé Social (RSS), elle a pris l'initiative de créer un réseau sécurisé, développé sous l'égide de l'État, dont les finalités dans le domaine de la santé sont multiples. En effet, outre la transmission de la feuille de soins électronique, première fonction que devra assurer le réseau, de nombreuses applications doivent se développer. La sécurité du réseau, sur lequel transiteront des données médicales nominatives, doit être assurée avec la plus grande vigilance. Elle impose un contrôle a priori de certaines règles de sécurité. L'inclusion sur ce réseau d'applications fournissant de l'information et de la connaissance est l'un des buts poursuivis. Toutefois, l'évaluation nécessaire pour donner un agrément à ces applications est complexe suivant les fonctions assurées par les serveurs, et ne peut être assurée uniquement par une procédure de contrôle a priori. Il suffit pour s'en convaincre de se reporter au tableau 2 qui reprend synthétiquement les critères d'évaluation. En effet, ces critères sont de deux types : • les critères qui peuvent être exigés et vérifiés avant la mise en place du service, • les critères qui nécessitent une utilisation et des tests. 4.2 Évaluer les réseaux d’accès à la connaissance Des critères de qualité peuvent être identifiés et exigés. Comme il a été possible de certifier des processus de fabrication par l'élaboration de normes ISO de la famille 9000, il est possible de lister des critères de qualité de construction de sites permettant de juger de leur crédibilité. Il s'agit le plus souvent de recommandations visant à assurer une transparence sur le site et faisant apparaître des informations permettant d'apprécier l'actualité de l'information diffusée par le site (comité éditorial, auteur, date de dernière mise à jour, …). Tableau 2 : Critères à prendre en compte pour évaluer un site web (d'après JC Wyatt [12] ) Aspect Méthode d'évaluation Crédibilité conflit d'intérêt • Propriétaire ou sponsor du site web, conflit d'intérêt Inspection du site (critères définis par Silberg et col. [18]) • crédibilité de l'auteur Inspection du site (critères définis par Silberg et col. [18]) Structure et contenu du site • Sources référencées Inspection du site (critères définis par Silberg et col.[18]) • Couverture et précision du contenu Inspection du site (critères définis par Silberg et col. [18] et comparaison avec les faits scientifiquement établis) • Actualité du contenu proposé Inspection du site (critères définis par Silberg et col. [18] et comparaison avec les faits scientifiquement établis) • Lisibilité de l'information fournie Calcul d'indices (correcteurs orthographiques, …) • Qualité des liens vers les autres sites Inspecter le site et juger si appropriés • Média utilisé pour fournir des compléments (informations, programmes, ...) Inspecter le site et juger si approprié Fonctions du site web • Accessibilité du site via les moteurs de recherche Tester en laboratoire avec des utilisateurs • Utilisation du site, profil des utilisateurs Statistiques du serveur web, questionnaires on line • Navigation sur le site lui-même Tester en laboratoire avec des utilisateurs Impact du site web . • Impact de formation Tester en laboratoire avec des utilisateurs, essais dans le domaine • Impact sur la pratique, sur le devenir du patient Tester en laboratoire avec des utilisateurs, essais dans le domaine Le tableau 2 est un exemple de critères sur lesquels de nombreux auteurs s'accordent. On peut également exiger des sites demandant un label de qualité, la mise en place d'un programme "assurance qualité et contrôle qualité" dont le nom des auditeurs serait publié et dont la responsabilité serait engagée au même titre que celle des auteurs. 5 Discussion L'initiative de développer des services fournissant de l'information et de la connaissance scientifique et médicale est libre. Elle peut-être le fait de l'état, d'organismes, de chercheurs, … Ce développement peut se faire sur la base de besoins évalués, d'objectifs de santé ou plus simplement, à la manière de l'édition classique depuis Gutemberg, dans le but de diffuser les résultats de la recherche et l'état des connaissances. Ces principes de développement ne sont pas exclusifs a priori. Il conviendrait de permettre leur mise en œuvre conjointe. La communauté scientifique s'est jusqu'à ce jour organisée spontanément par la mise en place de journaux scientifiques dont les thématiques et les lignes éditoriales sont claires. Les comités de lecture jouent leurs rôles et leur pluralité est une garantie contre la censure qui pourrait s'exercer sur la diffusion d'idées nouvelles ou de résultats originaux. Ce principe est actuellement mis en application dans la publication électronique sur Internet. Il conviendrait de le maintenir dans la mise en place des services de connaissance en évitant les excès auxquels il pourrait conduire. L’agrément des services pose le problème de l'évaluation de la qualité scientifique et informationnelle des sites. L'évaluation des sites restera très difficile. Il faut éviter d'en supporter les effets négatifs pervers. Ainsi, des problèmes techniques et/ou politiques peuvent retarder l'implémentation de certains sites publics ou leur agrément. On peut s'interroger sur la responsabilité juridique attachée à cette labellisation par excès et par défaut (un site agréé qui diffuserait de l'information qui dans certaines conditions non prévues serait dangereuse ou, à l'opposé, un site auquel on refuserait l'agrément et qui diffuserait de l'information de qualité sur Internet sans être reconnu). 6 Conclusion Les sites de diffusion de connaissance existent. Leur utilité est avérée. La qualité de l'information qu'ils diffusent pose problème. L'organisation de procédures d'évaluation et de contrôle est nécessaire. Elle doit se faire dans le respect des principes qui ont toujours été ceux de la diffusion des résultats de la science. Les médecins utiliseront d'autant plus ces outils qu'ils répondront aux principes cités ci dessus et que des outils plus performants seront développés pour leur faciliter la tâche et leur fournir des informations de qualité. Remerciements Les auteurs tiennent à remercier Michel Joubert et Dominique Fieschi. Leur relecture de la première version de cet article les a conduits à l'enrichir par leurs remarques et les discussions qu'ils ont suscitées. Références [1] Venot A. Intelligence collective et système d'information de santé. In: Informatique et gestion médicalisée Kohler F, Brémond M, Mayeux D. eds. Paris : Collection Informatique et Santé, Springer, 1997; pp. 213-220 [2] Hersh WR, Brown KE, Donohoe LC, Campbell EM, Horacek AE. CliniWeb: Managing Clinical Information on the World Wide Web. JAMIA 1996; 3 (4): 273-80. [3] Fieschi M, Botti G, Burgun A, Degoulet P, Joubert M, Volot F, Le Beux P. Intégration sémantique et serveurs de terminologies dans les systèmes d’information de santé. Technologie Santé, 1996; 27: 108-15. [4] Aguzzoli F, Le Fur Ph, Sermet C. Clientèle et motifs de recours en médecine libérale : annexe technique : détail des motifs de recours aux soins : France 1992, C.R.E.D.E.S. n° 1008bis, 1994/03, 193 pages. [5] Aguzzoli F, Le Fur Ph, Sermet C. Clientèle et motifs de recours en médecine libérale : France 1992, C.R.E.D.E.S. n° 1008, 1994/03, 343 pages. [6] Musen MA. Dimensions of Knowledge Sharing and Reuse. Comput Biomed Res 1992; 25: 435-67. [7] Evans RS, Pestotnik S, Classen D, Clemmer TP, Weaver L, Orme JF Jr., Lloyd JF, Burke JP. A Computer-Assisted Management Program for Antibiotics and Other Antiinfective Agents N Engl J Med 1998; 338: 232-8. [8] Le Fur Ph, Sermet C. Les Références Médicales Opposables : impact sur la prescription pharmaceutique. Rapport CREDES n° 1116 1996/03 272 pages. [9] Medical Matrix URL: http://www.medmatrix.org/index.asp [10] OMNI (Organising medical Netwoerked information) URL: http://omni.ac.uk/ [11] Yu-Chann Li Review paper: Finding Medical Ressources on the Internet. Yearbook of Medical Informatics IMIA Schattauer 1998 ; pp. 108-12. [12] Darmoni S, Leroux V, Daigne M, Thirion B, Santamaria P, Duvaux C. Critères de qualité de l'information de santé sur l'Internet. In: Santé et réseaux informatiques Albert A, Roger-France F, Degoulet P, Fieschi M. eds. Paris : Collection Informatique et Santé, Springer, 1998; pp. 162-174 [13] Wyatt J. Commentary: Measuring quality and impact of the world wide web. Br Med J 1997; 314: 1879-80. [14] URL: http://www.lib.uiowa.edu/hardin/md/index.html [15] URL: http://www.chu-rouen.fr/ [16] Eder LB, Darter ME. Physicians in Cyberspace. Communications of the ACM, 1998; 41 (3): 52-54 [17] Impicciatore P, Pandolfini C, Casella N, Bonati M. Reliability of health information for the public on the world wide web: systematic survey of advice on managing fever in children at home. Br Med J 1997; 314: 1875-81. [18] Silberg WM, Lundberg GD, Musacchio RA. Assessing, controlling and assuring the quality of medical information on the internet. JAMA 1997; 277: 1244-5.