M. F. Drumonda & G. L. Stoddartb PRINCIPES D'EVALUATION ECONOMIQUE DES PROGRAMMES DE SANTE

Dimension: px
Commencer à balayer dès la page:

Download "- 355 - M. F. Drumonda & G. L. Stoddartb PRINCIPES D'EVALUATION ECONOMIQUE DES PROGRAMMES DE SANTE"

Transcription

1 PRINCIPLES OF ECONOMIC EVALUATION OF HEALTH PROGRAMMES M. F. Drumonda & G. L. Stoddartb PRINCIPES D'EVALUATION ECONOMIQUE DES PROGRAMMES DE SANTE M. F. Drummonda & G. L. Stoddartb Introduction All countries, no matter what their stage of industrial development, need to make tough choices on how to use their scarce resources. The competition for resources is not only between different sectors of the economy, but within each sector as well. Should more resources be devoted to education or to health care? Within the health care sector: should more resources be devoted to primary care or to high-technology medicine? Within the treatment options for a given clinical condition (e.g. inguinal hernia), should extra resources be allocated to expand day-care surgery? No one is going to pretend that such choices are easy to make. In all countries, resource allocation decisions in the health care field have to take account of the complex interplay of social, cultural, economic and political factors. However, for those decision-makers wanting some guidelines in the wilderness, this article discusses a method of evaluating health service options that is consistent with the notion that resources should be deployed so as to maximize the total benefits to the community. Economic evaluation, or the "cost-benefit approach", has been used quite extensively to evaluate the efficiency or costeffectiveness of alternative health programmes or clinical procedures ( 1,2). It starts from the premise that resources are scarce and therefore their use in one programme or treatment implies a cost; that is, benefits which could be realized from an alternate use of resources are sacrificed. Economists view the costs of health care programmes not merely as money expenditures but as potential benefits that are being forgone. For example, in some industrialized countries the cost of expansions in high-technology medicine may be that community care programmes for the elderly may not expand as much as they otherwise might. In developing countries, a commitment to large hospital developments may imply a cost in forgone rural health services. The notion of costs as forgone opportunities (or sacrifices) provides the logic for comparing health service options in terms of their benefits and costs. Economic evaluation seeks to do just this and takes various forms depending on the problem at hand and the extent to which the benefits of programmes can be quantified and valued. Introduction Ouel que soit leur niveau de d{weloppement industriel, tous les pays sont appeles a effectuer des choix difficiles concernant!'utilisation de leurs maigres ressources. II y a competition pour les ressources non seulement entre les differents secteurs de l'economie mais egalement a l'interieur de chaque secteur. Faut-il consacrer davantage de ressources a I' education ou aux so ins de sante? Au sein du secteur des soins de sante, faut-il consacrer davantage de ressources aux soins prima ires ou a Ia medecine de pointe? Dans le cadre des options therapeutiques pour une maladie clinique donnee (Ia hernie inguinale, par exemple), des ressources supplementaires devraient-elles IHre affectees au developpement de Ia chirurgie en etablissement de jour? Nul n'ira pretendre que ces choix sont faciles a faire. Dans tous les pays, les decisions relatives a!'allocation des ressources dans le domaine des soins de sante doivent prendre en compte le tissu complexe de facteurs sociaux, culturels, economiques et politiques. Cependant, pour les decideurs qui ont du mal as' orienter, le present article analyse une methode d'evaluation des options qui s'offrent en matiere de services de sante qui est compatible avec Ia notion selon laquelle les ressources doivent etre utilisees de maniere que Ia communaute en beneticie au maximum. On a assez souvent eu recours a I' evaluation economique, ou «approche coot/avantages», pour evaluer I efficacite, ou le coot/ efficacite, de programmes de sante ou de procedes cliniques substitutifs ( 1,2). Cette evaluation s'appuie sur!'hypothese selon laquelle les ressources sont peu abondantes et que par consequent, leur utilisation dans un programme ou un traitement implique un coot du fait que les avantages qui decouleraient de leur utilisation dans une application de rechange sont sacrifies. Pour les economistes, le coot des programmes de soins de sante ne representent pas seulement une depense en monnaie; ils y voient aussi des avantages potentiels auxquels on renonce. C'est ainsi que dans certains pays industrialises, le coot du developpement de Ia medecine de pointe peut etre un retard relatif des programmes de soins communautaires pour les personnes agees. Dans les pays en developpement, Ia creation de grands hopitaux peut «cooter» des services de sante ruraux. A partir de Ia notion de coot en tant que renonciation a certaines possibilites (ou sacrifices) on est tout naturellement amene a comparer les options qui s'opposent en matiere de services de sante en fonction de leurs avantages et de leur coot. C'est precisement ce que cherche a faire!'evaluation economique, qui revet des formes diverses selon le probleme examine et Ia mesure dans laquelle les avantages des programmes peuvent etre quantifies et evalues. Forms of economic evaluation Those who have studied the literature on economic evaluation in health care will have encountered a confusing range of labels such as "cost-benefit analysis" and "costeffectiveness analysis". In our experience, the titles of Senior Lecturer in Health Economics, Health Services Management Centre, University of Birmingham, United Kingdom. b Associate Professor, Department of Clinical Epidemiology and Biostatistics, McMaster University, Canada. Formes d'evaluation economique Ouiconque a etudie Ia litterature relative a I' evaluation economique appliquee aux soins de sante aura rencontre une gamme deroutante d'appellations telles que «analyse coot/avantages» et «analyse coot/efficacite». L'experience Senior Lecturer in health economics, Health Services Management Centre, University of Birmingham, Royaume-Uni b Associate Professor, Department of Clinical Epidemiology and Biostatistics, McMaster University, Canada. Wid hlth statist. quart., 38 (1985)

2 studies are notoriously bad guides to their contents and the most important issue is whether the methodology used in a given study suits the problem under review. This theme is developed in the next section. The following are a few examples of different types of study to aid those wrestling with economic jargon. The first point to note is that all the forms of economic evaluation concern choices between alternative courses of action. In the evaluation of prevention, diagnosis, treatment or rehabilitation, the options are usually explicitly stated and described. A minority of studies published in the literature do not compare alternatives; for example, Cohen (3) calculated only the costs of schistosomiasis in Zanzibar. Such studies provide important information to those assessing priorities for resources to be allocated to the control or eradication of particular diseases. However, they do not constitute economic evaluations unless they examine competing strategies. We prefer to use the terms "cost description" or "outcome description" for studies that examine costs or consequences in the health care field without embodying a comparison of options. In some cases, the alternative to the programme under evaluation is implied to be the existing situation of "no programme" or "doing nothing". For example, the tacit alternative to a vaccination campaign may be the existing situation of treating individuals as and when they contract the disease. Some caution is advisable in considering such studies, as "doing nothing" rarely means that no costs are incurred or no services provided. Another important feature of choices in the health care field is that many of them are questions of "how much?" Rarely is it argued that no resources should be devoted to tackling a given health problem or disease, usually the question is one of how far one should go in attempting to alleviate the condition. A most spectacular illustration of this kind of choice is the screening for asymptomatic cancer of the colon, reported by Neuhauser & Lewicki (4}. They showed that, while the average cost per case detected by the advised protocol of six sequential tests on the same population was only around US$ 2 500, the incremental cost per case detected by performing a sixth test (having already done five) was US$ 4 7 million! (This was because the returns, in case finding, from repeated screening were small.) Therefore, it is always important to examine such incremental costs and their consequences when evaluating choices in the health care field. The second point to note is that while all forms of economic evaluation consider costs, they differ in the way in which they consider consequences. Some examples will serve to make these distinctions clearer. The simplest form of analysis, "cost analysis", considers only costs and is justified only when there is good reason to believe that the alternatives being compared result in the same consequences. Such situations are rare in the health care field. One example of a cost analysis is that which was carried out by Lowson et al. (5) comparing different ways of providing long-term domiciliary oxygen therapy for chronic bronchitis. The authors argued that the three methods compared, cylinder oxygen, liquid oxygen and the oxygen concentrator, produced equivalent clinical effects since in all cases oxygen was administered via a face mask. However, strictly speaking, such an assumption should be tested and cost analysis therefore represents a partial form of economic trial of two medicines whose costs are similar, the emphasis being on the establishment of relative clinical effectiveness as costs are assumed to be the same. nous a montre que les titres des etudes donnaient une fort mauvaise idee de leur contenu et le plus important est de savoir si Ia methodologie utilisee dans une etude donnee est adaptee au probleme traite. Tel est le theme aborde dans Ia section ci-apres. Les quelques exemples qui suivent concernent differents types d'etudes et sont destines a aider ceux qui sont aux prises avec le jargon economique. Le premier point qu'il convient de noter est que toutes les formes d' evaluation economique recouvrent un choix entre des modes d'action substitutifs. Qu'il s agisse de I' evaluation de Ia prevention, du diagnostic, du traitement ou de Ia readaptation, les options sont d'ordinaire explicitement enoncees et decrites. Rares sont les etudes publiees qui ne comparent pas les diverses solutions possibles; Cohen (3}, par exemple, a seulement calcule le coot de Ia schistosomiase a Zanzibar. De telles etudes fournissent des renseignements importants pour ceux qui evaluent les priorites de I' allocation des ressources a Ia lutte contre certaines maladies ou a leur eradication. Toutefois, elles ne constituent pas des evaluations economiques dans Ia mesure ou elles n'examinent pas les strategies en competition. Nous preferons appeler «description du coot» ou «description du resultat» des etudes qui portent sur les coots ou les consequences dans le domaine des soins de sante mais qui ne comprennent pas les options en presence. Dans certains cas, Ia solution de rechange implicite au programme en cours d'evaluation est Ia situation existante, soit une «absence de programme» ou une «absence d'action». Par exemple,!'alternative tacite a une campagne de vaccination peut ihre Ia situation existante qui consiste a traiter les malades a mesure qu'ils contractent Ia maladie. II convient de fa ire preuve de prudence lorsqu' on examine de telles etudes car«ne rien fa ire» est rarement synonyme d' absence de coot ou d'absence de service. Une autre caracteristique importante des choix a effectuer dans le domaine des soins de sante tient au fait que nombre d' entre eux tournent autour de Ia question «com bien»? En d' autres termes, on entend rarement dire qu'aucune ressource ne doit etre consacree a Ia solution d'un probleme de sante donne ou d'une maladie, Ia question etant d'ordinaire de savoir jusqu'ou il convient de pousser les efforts en vue d'ameliorer l'etat de sante. On trouve un des exemples les plus frappants de ce type de choix dans le depistage du cancer asymptomatique du colon que decrivent Neuhauser & Lewicki (4). lis montrent que si le coot moyen par cas depiste au moyen du protocole recommande de six tests consecutifs applique a Ia meme population avoisine seulement US$ 2 500, le coot differentiel par cas depiste au moyen d'un sixieme test (cinq ayant deja ete effectues) s' eleve a US$ 4 7 millions! (Cela est do a Ia faiblesse du rendement, dans le depistage, des examens repetes.) C'est pourquoi il importe toujours de prendre en consideration les coots differentiels et leurs consequences lorsqu'on evalue des choix dans le domaine des soins de sante. Le deuxieme point qu'il convient de noter est le suivant: si toutes les formes d' evaluation economique tiennent compte du coot, elles different dans Ia maniere dont elles examinent les consequences. Prenons quelques exemples pour illustrer ces distinctions. La forme d'analyse Ia plus simple,«!'analyse des coots», ne s'interesse qu'au coot et elle ne se justifie que lorsqu'il y a de bonnes raisons de penser que les differentes solutions que l'on compare ont les memes consequences. De telles situations sont rares dans le domaine des soins de sante mais un exemple d'analyse des coots est celle qui a ete rea Iisee par Lowson et al. (5) qui ont compare differents traitements de Ia bronchite chronique reposant sur l'oxygenotherapie prolongee a domicile. Selon les auteurs, les trois methodes comparees, oxygene en bouteille, oxygene liquide et concentrateur d' oxygene, ont des effets cliniques equivalents puisque dans tous les cas!'oxygene est administre a!'aide d'un masque facial. A proprement parler, cependant, une telle hypothese devrait etre verifiee et I' analyse des coots constitue done une forme partielle d'evaluation economique de deux medicaments dont le coot est similaire; il s'agit de determiner l'efficacite clinique relative, les coots etant supposes etre les memes. Rapp. trimest. statist. sanit. mond., 38 (1985)

3 All other forms of economic evaluation explicitly consider both costs and consequences. The next three forms often go under the general label "cost-effectiveness analyses" and have the common feature that while costs are expressed in monetary units, consequences are not. At the risk of introducing more terminology, we prefer to use three labels which we believe highlight important differences in approach. First, in "cost-minimization analysis", equivalence in consequence is tested through controlled study, rather than assumed as in cost analysis. Typically, the economic evaluation is conducted at the same time as a controlled clinical trial. If the trial demonstrates equivalent effects for the two medical interventions, the economic evaluation can concentrate on estimating the relative costs. An example ofthis type of study is that by Russell et al. (6). In a controlled trial of day-care surgery versus traditional in-patient surgery for inguinal hernia they found no significant difference in clinical complications or length of convalescence. Therefore, they were able to compare the economic efficiency of the alternatives by examining their relative costs, in hospital care, community care and outof-pocket expenditure by patients. However, it is rare to find pairs of health care interventions where the consequences are alike in all respects. Nevertheless, if there is one important dimension upon which a comparison can be made, it is still possible to compare alternatives without "valuing" the consequences. For example, it might be argued that extension of life is of overriding importance and that the options can be compared in terms of cost per year of life gained. This approach, which we call "cost-effectiveness analysis", has frequently been used in comparisons of kidney transplant, hospital dialysis, home dialysis and continuous ambulatory peritoneal dialysis for chronic renal failure (7-9). Even though the alternative treatments may differ in the number of years of extra life gained, a comparison of them in cost per year of life gained can suggest how the budget for chronic renal failure treatments should be spent so as to maximize the total years of life gained. Some cost-effectiveness analyses consider effects like "cases correctly diagnosed"'. This is admissible providing the achievement of such intermediate clinical objectives can be clearly linked to improvements in patient outcome. It is not usually possible to argue that there is but one relevant dimension along which achievements can be measured. For example, the quality of life afforded by kidney transplantation is likely to be higher than that under the dialysis options. In addition, some treatments, such as cancer chemotherapy, may extend life, but have associated morbidity. Therefore one would ideally like to develop a measure that considered the "utility" or quality of life gained, as well as the quantity of life gained. In a form of economic evaluation known as "cost-utility analysis", options are compared in terms of their cost per quality-adjusted life-year (QAL Y) gained. This approach was used by Stason & Weinstein (10) in a comparison of options in the screening and treatment of hypertension. They considered that a year of life on anti-hypertensive treatment, with its attendant side effects, was equivalent to about 0.99 of a year of life without such problems. In this particular study, the quality assessments were made by a panel of medical experts. In addition, the sensitivity of the study results to changes in these assessments was examined. In other studies (11), researchers have obtained quality of life assessments from patients and members of the general public. Toutes les autres formes d'evaluation economiques portent explicitement sur les coots et les consequences. Les trois formes suivantes sont souvent groupees sous Ia rubrique generale «analyses coot/efficacite»; elles expriment toutes les coots en monnaie mais non les consequences. Au risque d'introduire une terminologie supplementaire, nous preterons utiliser trois appellations qui, a notre avis, font ressortir d'importantes differences d'approche. En premier lieu, dans«i' analyse de minimisation des coots», Ia similitude des consequences est verifiee par une etude controlee, elle n'est pas hypothetique comme dans!'analyse des coots. D'ordinaire,!'evaluation economique est effectuee en meme temps qu'un essai clinique controle. Si celui-ci fait apparaitre que les deux interventions medicales ont des effets equivalents,!'evaluation economique peut se concentrer sur I' evaluation des coots relatifs. Un exemple de ce type d'etude est donne par Russell et al. (6). Un essai controle comparant Ia chirurgie en etablissement de jour et Ia chirurgie classique en service hospitalier pour Ia hernie inguinale a montre que ces deux procedes ne differaient pas sensiblement sous l'angle des complications cliniques ou de Ia duree de Ia convalescence. lis ont done pu comparer l'efficacite economique des solutions de rechange en examinant leur coot relatif, en soins hospitaliers, en soins communautaires et en debours pour les malades. Cependant, on trouve rarement deux interventions de soins de sante dont les consequences sont identiques a tous les egards. Neanmoins, s'il existe une dimension importante sur Ia base de laquelle Ia comparaison peut etre faite, il est encore possible de comparer les solutions de rechange sans evaluer les consequences. Par exemple, on peut etre d'avis que Ia prolongation de Ia duree de Ia vie est primordiale et que les options peuvent etre comparees en fonction de leur coot par an nee de vie gag nee. On a souvent utilise cette approche, que no us appelons «analyse coot/ efficacite», pour com parer Ia transplantation renale, Ia dialyse en hopital, Ia dialyse a domicile et Ia dialyse peritoneale continue en soins ambulatoires pour traiter les insuffisances renales chroniques (7-9). Meme si les traitements substitutifs different quant au nombre d'annees de vie gagnees, on peut les comparer sous l'angle de leur coot par annee de vie gagnee pour savoir comment depenser le budget consacre au traitement des insuffisances renales chroniques de maniere a augmenter au maximum le gain d'annees de vie. Certaines analyses coot/efficacite prennent en compte les effets tels que «les cas correctement diagnostiques». Cela est acceptable a condition que Ia realisation de tels objectifs cliniques intermediaire puisse etre clairement rattachee a!'amelioration de l'etat du malade. Cependant, on ne peut pas toujoursdire qu'il n' existe qu'une seule dimension en fonction de laquelle Ia realisation des objectifs peut etre mesuree. Par exemple, Ia qualite de Ia vie rendue possible par une transplantation renale sera vraisemblablement superieure a celle que permettent les differentes dialyses possibles. De plus, si certains traitements permettent de prolonger Ia duree de Ia vie, ils sont associes a une certaine morbidite. Cela est vrai, par exemple, de Ia chimiotherapie du cancer. En theorie, on souhaiterait done pouvoir mesurer «I' uti lite» ou Ia qua lite de Ia vie gagnee, ainsi que Ia quantite de vie gagnee. Dans Ia forme d'evaluation economique connue sous le nom d'«analyse coot/utilite», les options sont comparees en fonction de leur coot par annee de vie gagnee corrigee de Ia qualite. Cette approche a ete utili see par Stason & Weinstein (10) pour comparer les options qui s'offrent dans le depistage et le traitement de I' hypertension. lis ont estime qu'une annee de vie passee en traitement de!'hypertension, etant donne les effets secondaires que cela suppose, equivalait environ au 0,99e d'une annee de vie exempte de ces problemes. Dans l'etude citee, les evaluations qualitatives ont ete effectuees par un tableau d'experts medicaux. De plus, Ia sensibilite des resultats de I' etude aux ecarts dans ces appreciations a ete examinee. Dans d'autres etudes (11), les chercheurs ont demande a des mala des et au grand public comment ils evaluaient Ia qualite de Ia vie. Wid hlth statist. quan., 38 (1985)

4 358 - The last three forms of economic evaluation discussed have the common feature that while the consequences of interventions are assessed and measured to some degree, they are not expressed (or valued) in money terms. Obviously, valuation of all the costs and consequences in money terms would permit the broadest type of comparison. In principle, it would be possible to ascertain whether particular health care treatments or programmes were worthwhile in themselves. In "cost-benefit analysis" attempts are made to express a broad range of costs and consequences in money terms. For example, in a comparison of a community-oriented mental illness programme with the hospital-based alternative, Weisbrod et al. (12) measured the costs to the health sector, other public agencies, the patient and family, and monetary benefits in terms of the increased earning potential or productivity of those patients able to return to work. However, as is nearly always the case, there are categories of health consequence that are difficult to express in money terms. In practice, cost-benefit analysis concentrates on those consequences that are relatively easy to value, such as productivity gains (through return to work or extension of working life) and savings in health care resources arising from the patient's improved health. Therefore, it is our view that "cost-utility analysis", where health consequences are valued relative to one another rather than in money terms, offers the greatest scope for consideration of a broad range of costs and consequences. That is not to say that economists have failed to develop methodologies for the valuation of health consequences in money terms (73, 14), rather that their practical application has been limited. In summary, we have considered five forms of economic evaluation which differ in the extent to which they measure and value the consequences of interventions. The simplest forms, such as "cost analysis" and "costminimization analysis", respectively assume or test for equivalence in consequences so that the economic evaluation is of relative costs alone. "Cost-effectiveness analysis" reviews different ways of achieving the same objective, with the consequences often expressed in physical units. The more complex forms attempt some valuation of the consequences, either in money terms as in "costbenefit analysis", or in terms of health utilities as in "costutility analysis". In general, we believe that the label to be attached to a given study is less important than whether the study's methodology is appropriate to the issue being examined. In the next section we outline the features of good study methodology, concluding with a checklist of ten questions to ask of any published study. Les trois dernieres formes d'evaluation economique examinees ont ceci en commun qu'elles evaluent et mesurent a un certain degre les consequences des interventions mais qu'elles ne les expriment pas (et ne les evaluent pas) en monnaie. A!'evidence,!'evaluation de tous les coots et de toutes les consequences en monnaie permettrait Ia comparaison Ia plus globale. II devrait en principe etre possible de verifier si certains traitements ou programmes de soins de sante sont utiles en soi. Dans I'«analyse coot/avantages»on tented' exprimer toute une gam me de coots et de consequences en monnaie. Par exemple, en comparant un programme de sante mentale axe sur Ia communaute et Ia solution hospitaliere, Weisbrod et al. (12)ont mesure les coots qui incombent au secteur de Ia sante, a d'autres organismes publics, au malade eta sa famille, et les avantages monetaires comme le potentiel de gain accru et le surcroit de productivite des malades capables de reprendre leur travail. Cependant, com me c' est presque toujours le cas, certaines categories de consequences pour Ia sante sont difficiles a exprimer en monnaie. En fait, dans Ia pratique,!'analyse coot/avantages se limite aux consequences qui sont relativement faciles a evaluer, telles que les gains de productivite (par Ia reprise du travail ou Ia prolongation de Ia vie active) et l'economie de ressources sanitaires due a!'amelioration de Ia sante du malade.ll nous apparait done que l'«analyse coot/utilite», ou les consequences sanitaires sont evaluees les unes par rapport aux autres et non en monnaie, est celle qui se prete le mieux a l'examen d'un large eventail de coots et de consequences. Cela ne signifie pas que les economistes n'ont pas mis au point des methodes permettant d'evaluer les consequences sanitaires en monnaie ( 13, 14); en fait, leur application pratique a ete limitee. En resume, nous avons examine cinq formes d'evaluation economique qui se distinguent par Ia maniere plus ou moins poussee dont elles mesurent et evaluent les consequences des interventions. Les formes les plus simples, comme I'«analyse des coots» et I'«analyse de minimisation des coots», supposent et verifient respectivement I' equivalence des consequences de sorte que!'evaluation economique ne vise que des coots relatifs. L'«analyse coot/avantages» passe en revue les differentes manieres de parvenir a un meme objectif, souvent en exprimant les consequences au moyen d'unites physiques. Les formes plus complexes tentent d'evaluer les consequences, soit en monnaie comme dans I'«analyse coot/avantages», soit en terme d'avantage utile pour Ia sante, com me dans I'«analyse coot/utilite». Nous estimons, en general que I' etiquette qu'il convient d'attacher a une etude donnee importe moins que Ia question de savoir si Ia methodologie uti Iisee pour I' etude est adaptee au probleme etudie. La section qui suit decrit les caracteristiques d'une methodologie d'etude appropriee et s'acheve par une liste de controle de dix questions a poser au sujet de toute etude publiee. Elements of a sound economic evaluation Posing a well-defined question in answerable form As in all fields of scientific inquiry, it is important to be clear on the study question. For example, is it assumed that a given treatment objective, such as screening and treatment for essential hypertension, is going to be met? In which case the evaluation can concern itself with ascertaining the most efficient way of meeting the chosen objective. Alternatively, is the evaluation concerned with the more fundamental question of whether the given objective should be met, or the extent to which it should be met, compared to alternative uses of the same resources? Attempts to answer such a question are likely to require more sophisticated forms of evaluation. A well-defined study question will also clearly identify the alternatives being compared and the viewpoint(s) from which the comparison is to be made. Questions such Elements d'une bonne evaluation economique Poser une question bien detinie susceptible de reponse De meme que dans tous les domaines d'investigation scientifique, Ia question posee doit etre claire. Par exemple, suppose-t-on qu'un objectif therapeutique donne, comme le depistage et le traitement de!'hypertension essentielle, sera atteint? Auquel cas I' evaluation peut s' attacher a verifier que I est le moyen le plus efficace d'atteindre l'objectif choisi. L'evaluation concerne-t-elle plutot Ia question plus fondamentale de savoir s'il convient bien d'atteindre I' objectif donne, ou dans quelle mesure il devrait etre atteint, de preference aux aut res utilisations possibles des memes ressources? Pour tenter de repondre a une telle question, il faudra vraisemblablement recourir a des formes plus complexes d'evaluation. Une question bien definie exposera aussi clairement les diverses solutions possibles que I' on compare et le(s) point(s) de vue ou I' on doit se placer pour effectuer Ia comparaison. Rapp. trimest. statist. sanit. mond., 38 (1985)

5 359- as "Is a community care programme for the elderly worthwhile?" beg the questions "to whom?" and "compared with what?". A well-specified question might be the following: "From the viewpoints of (a) the ministry of health, (b) other public sector agencies providing care and (c) patients and their families, is a community care programme preferable to the existing programme of institutionalization in long-term care facilities for patients of a given level of dependency?''. Note that there are a number of possible viewpoints of evaluation: particular health care agencies, the patient and family and the third-party payer (i.e. government or insurance company). However, in addition, the economic evaluation should also consider the costs and consequences of alternatives to society as a whole, as this is the broadest and most comprehensive viewpoint. Finally, in stating the chosen alternatives for comparison it is often useful if studies mention any other relevant options and why they have been excluded from further consideration. Une question telle que «Un programme de so ins communautaires pour les personnes a gees se justifie-t-il?)) appelle les questions «a qui?» et «en comparaison de quoi?». Une question bien precise pourrait s' enoncer com me suit:«du point de vue a) du ministere de Ia sante, b) d'autres organismes publics de prestation de soins et c) des malades et de leur famille, un programme de soins communautaires est-il preferable au programme existant d'hospitalisation prolongee dans des etablissements de soins pour malades d'un niveau de dependance donne?». II convient de noter que I' evaluation peut etre faite a partir de nombreux points de vue possibles: certains organismes de soins de sante, le malade et sa famille et le payeur tiers (c'est-a-dire les pouvoirs publics ou Ia compagnie d'assurance). L'evaluation economique, cependant, devrait aussi prendre en compte le coot et les consequences des solutions de rechange pour Ia societe dans son ensemble, puisqu'elle represents le point de vue le plus large et le plus complet. Enfin, en indiquant les solutions de rechange choisies pour faire l'objet de Ia comparaison, il est souvent utile que les etudes fassent etat de toutes les autres options pertinentes et precisent pouquoi elles ne seront pas prises en compte. Giving a comprehensive description of the competing alternatives Although there are often limitations of space in health service journals, it is important to give a full description of the alternatives being evaluated. For example, one needs to know who does what, to whom, where and how often. The reasons for such a description are self-evident; readers need to judge whether the options concerned are applicable to their own setting and to assess whether any important costs or consequences have been omitted from the analysis. Therefore, an evaluation of a community care programme for the elderly would need to give details of what is involved in visits by health care workers, accommodation at home, day care, institutional relief or respite care and inputs from the family or friends. Establishing the effectiveness of programmes or interventions Since economic evaluation requires consideration of both the costs and consequences of options, it relies on technical evidence of the effectiveness of interventions. That is, to what extent do they meet the objectives in prevention, diagnosis, treatment or rehabilitation? In the health care field the most widely accepted method of establishing the effectiveness of interventions is the randomized-controlled trial and one would certainly expect economic evaluations to be based on such clinical research where it is both ethically and practically possible to conduct it. Where evidence from controlled trials does not exist, some assessment should be made of the impact of uncertainties in the medical evidence on the results of the economic evaluation. (We will return to this point under sensitivity analysis below.) Often the lack of good medical evidence can limit the scope for economic evaluation. In their study comparing the cost-effectiveness of cimetidine with proximal vagotomy for peptic ulcer, Culyer & Maynard ( 15) noted that, despite the large number of trials of the new drug, few were well designed. Either they did not compare relevant service alternatives (e.g. many involved a placebo, which was unlikely to be given routinely), or were too small, or were inadequately controlled. For more discussion of the quality of medical evidence see reference ( 16). Donner une description comp!f!jte des diverses solutions en competition Bien que Ia place soit souvent limitee dans les revues des services de sante, il importe de decrire de fa<;:on detaillee les diverses solutions de rechange qui font l'objet de!'evaluation. Par exemple, on a besoin de savoir qui fait quoi, a qui, ou eta quelle frequence. Les raisons d'une telle description sont evidentes; le lecteur do it pouvoir juger si les options en presence s'appliquent a sa propre situation et determiner sides coots ou des consequences importants ont echappe a I' analyse. C'est pourquoi!'evaluation d'un programme de soins communautaires pour les personnes agees devra preciser ce qu'il recouvre: vi sites des agents de soins de sante, logement a domicile, soins de jour, soins en etablissement destines a soulager Ia douleur et contribution de Ia famille et des amis. Determiner /'efficacite des programmes ou interventions L' evaluation economique devant necessairement prendre en consideration les coots et les consequences des options, elle s'appuie sur les preuves techniques de l'efficacite des interventions. En d'autres termes, dans quelle mesure repondent-elles aux objectifs de Ia prevention, du diagnostic, du traitement et de Ia readaptation? Dans le domaine des so ins de sante, Ia methode Ia plus largement acceptee pour determiner l'efficacite des interventions est l'essai controls randomise et on s'attend certainement a ce que les evaluations economiques s'appuient sur de telles recherches cliniques Ia ou il est possible, tant sur le plan ethique que sur le plan pratique, de les effectuer. Lorsqu'on ne dispose d'aucune preuve fondee sur des essais controles, il conviendrait d' evaluer l'impact des incertitudes des preuves medicales sur les resultats de I' evaluation economique. (No us reviendrons ulterieurement sur ce point a Ia rubrique «analyse de sensibilite».) L'absence de preuve medicale adequate peut souvent limiter Ia portee de I' evaluation economique. Dans leur etude comparant le rapport coot/efficacite de Ia cimetidine et de Ia vagotomie proximale pour traiter un ulcer gastroduodenal, Culyer & Maynard ( 15) ont note qu' en de pit du grand nombre d'essais auxquels a ete soumis le nouveau medicament, peu d'entre eux ont ete bien con<;:us. Ou ils ne comparaient pas des services de rechange pertinents (par exemple, nombre d' entre eux portaient sur un medicament factice qui avait peu de chance d'ihre administre de fa<;:on systematique), ou ils etaient trop restreints, ou encore ils etaient mal controh~s. Pour une etude plus approfondie de Ia qualite des preuves medicales, se reporter a Ia reference bibliographique (16). Wid hlth statist. quart., 38 (1985)

6 360 - For some large public health interventions, such as vaccination campaigns, it is much harder to conduct experiments to establish effectiveness, although in some cases the efficacy of the vaccine (when administered under ideal conditions) may be known. In such cases economic evaluations may have to rely on evidence from "before-andafter" studies conducted in other locations, undertaking sensitivity analysis if review of the existing literature generates a range of estimates. In addition, some public health interventions, particularly those in the developing world, have multiple objectives (some of which may not be connected with improvements in health). This introduces further complexities in study design. Identifying all the important and relevant costs and consequences Even though it may not be possible or necessary to measure and value all the relevant costs and consequences of the alternatives being compared, it is important that they be identified. This is to minimize the chances that the analysis becomes biased in favour of the easily measurable items, at the expense of others. An overview of the types of costs and consequences that may be relevant to economic evaluation of health Pour certaines interventions de sante publique de grande envergure, comme des campagnes de vaccination, il est beaucoup plus difficile de proceder a des experiences pour en determiner l'efficacite meme si, dans certains cas, l'efficacite du vaccin (lorsqu'il est administre dans les conditions optimales) peut etre connue. En pareil cas, il peut etre necessaire de fonder les evaluations economiques sur les preuves resultant d'etudes «avant et apres» menses ailleurs, et d'entreprendre une analyse de sensibilite si I' etude de Ia litterature existante fait apparaitre un eventail d' estimations. En outre, certaines interventions de sante publique, en particulier dans les pays en developpement, ont des objectifs multiples (dont certains peuvent etre sans rapport avec!'amelioration de Ia sante). Cela complique Ia conception de!'etude. Identifier taus les coots et consequences importants et pertinents Meme s'il n'est ni possible ni indispensable de mesurer et d'evaluer tous les coots et consequences pertinents des solutions de rechange que I' on compare, il importe d'en faire l'inventaire. Cela afin de reduire au minimum les risques que I' analyse soit biaisee en faveur des aspects faciles a mesurer, aux depens des autres. La fig. 1 donne un apen;:u des types de coots et de consequences pouvant presenter de!'interet pour!'evaluation eco- FIG. 1 TYPES OF COSTS AND CONSEQUENCES RELEVANT TO ECONOMIC EVALUATION OF HEALTH CARE SERVICES AND PROGRAMMES Costs I. Organizing and operating costs within the health care sector (e.g. health care professionals' time, supplies, equipment, power and capital costs) II. Costs borne by patients and their families Out-of-pocket expenses Patient and family inputs into treatment Time lost from {\ Indirect costs work Psychic costs Ill. Costs borne externally to the health care sector, patients and their families Direct costs Consequences I. Changes in physical, social or emotional functioning (effects) II. Changes in resource use (benefits) For organizing and operating services within the health care sector Ill. Changes in the quality of life of patients and their families (utility) For the original condition \ For unrelated conditions f Direct benefits Relating to activities of patients and their families Savings in expenditure }.. or leisure time D1rect benefits Savings in lost work } Indirect benefits t1me TYPES DE COUTS ET DE CONSEQUENCES PRESENTANT DE L'INTERh POUR L'EVALUATION ECONOMIQUE DES SERVICES ET PROGRAMMES DE SOINS DE SANTE CoOts I. CoOts d' organisation et d' exploitation a l'interieur du secteur des soins de sante (par example temps des professionnels des soins de sante, fournitures, materiel, energie et coots des immobilisations) II. CoOts pris en charge par les malades et leur famille Debours Entrees du malade et de sa famille dans le traitement Temps perdu pour le travail } CoOts indirects CoOts psychologiques Ill. CoOts assumes en dehors du secteur des soins de sante, des malades et de leur famille CoOts directs Consequences I. Changements dans le fonctionnement physique, social ou affectif (effets) II. Changements dans!'utilisation des ressources (avantages) Pour!'organisation et!'exploitation de services a l'interieur des soins de sante Pour Ia maladie initiale, Pour des maladies independantes } Lies aux activites des malades et de leur famille Economies en depenses ou en loisirs } Economies en temps de travail perdu Ill. Changements dans Ia qualite de Ia vie des malades et de leur famille (utilite) } Avantages directs Avantages directs Avantages indirects Source: Reference (41) - Rliferance (47) Rapp. trimest. statist. sanit. mond., 38 ( 1985)

7 361 - programmes is shown in Fig. 1. The costs comprise those resulting from resource inputs by the health sector and other agencies providing care, and inputs by patients and families (direct costs). In addition there may be further costs resulting from time lost from work as a result of the intervention (called "indirect costs" by economists) and psychic costs (e.g. anxiety or pain and suffering caused by treatment). Finally, there may be costs borne externally to the health care sector: for example a chemical safety measure may alter the cost or availability of products if it results in more costly production processes. Turning to consequences, it can be seen that there are changes in the physical, social or emotional functioning of individuals which give rise to two other important categories of consequence. For example, there may be changes in resource use arising from treatment. Many of these changes are likely to be in the form of resource savings, if the patient's improved health results in lower consumption of medical services. (This is one of the main arguments for preventive measures.) However, there may also be increased resource consumption in the future, if patients being cured of one condition contract others. Weinstein & Stason (17) argued that a hypertension screening programme, if it prevented strokes and heart attacks, would lead to increased costs in the future, owing to the diseases of old age (e.g. cancer, arthritis). These costs must be balanced against the undoubted benefits of individuals living longer. In addition, there are likely to be other resource savings, to patients and their families, and savings in lost work time. (These mirror some of the items on the cost side of the equation.) Finally, there will be changes in the quality of life of patients and their families which are, of course, the main objective of health care interventions. The general schema of costs and consequences outlined above reflects that found in the published literature. However, the inclusion of some items is not without controversy. In particular, the inclusion of indirect costs and benefits in the analysis biases evaluations in favour of individuals or groups that participate in the work-force. This is clearly a dilemma; while countries are crucially dependent on the wealth created by those members of the population that are at work, it may not be considered ethically defensible to give such groups priority in access to health care. Similarly, inclusion of savings in health care resources as one of the consequences, although not the subject of methodological controversy, can bias the analysis against disadvantaged groups. For example, in comparing the costs and consequences of vaccination programmes in urban and rural settings in Zambia, Ponnighaus ( 18) found programmes to be more costworthy in the large centres of population. One of the reasons for this finding was that health services were already better developed in the urban areas; therefore there were potentially more health service resources to be saved by the preventive programmes in urban locations. However, this is not necessarily a good justification for concentrating the vaccination effort in such areas. In short, while the general schema of costs and consequences for evaluation should be as outlined in Fig. 1, the inclusion or exclusion of items needs to be judged in the broader context of objectives for health services in a given country; one such objective is equality in the provision of services ( 19). Measurement of costs and consequences in appropriate physical units Although one tends to view the estimation procedures in economic analysis as being directed towards measurement of costs and consequences in money terms, there is nomique de ressources par le secteur de Ia sante et d'autres organismes de prestation de so inset les conditions des malades et de leur famille (coots directs). Aux autres coots pouvant resulter du temps de travail perdu par suite de!'intervention (appeles «coots indirects» par les economistes) s'ajoutent les coots psychiques (par exemple, l'anxiete ou Ia douleur et Ia souffrance dues a un traitement). Enfin, peuvent s'ajouter des coots assumes en dehors du secteur des soins de sante: par exemple, une mesure de securite chimique peut modifier le coot ou Ia disponibilite de produits si elle entraine une augmentation du coot des methodes de production. Quant aux consequences, on peut constater que certains changements dans le fonctionnement physique, social ou affectif des individus entrainent deux autres categories importantes de consequences. Par exemple, le traitement peut entrainer une modification de!'utilisation des ressources. Nombre de ces changements revetiront vraisemblablement Ia forme d'une economie de ressources si!'amelioration de I' etat de sante du malade se traduit par une moindre utilisation des services medicaux. Tel est, naturellement, l'un des principaux arguments en faveur des mesures de prevention. Cependant, Ia consommation future des ressources peut aussi augmenter si le malade, gueri d'une maladie, en contracte d'autres. Selon Weinstein & Stason (17), par exemple, si un programme de depistage de!'hypertension permet de prevenir les attaques cerebrales et les crises cardiaques, il entrainera a l'avenir une augmentation des coots due aux maladies de Ia vieillesse (comme le cancer et l'arthrite). Ces coots evidemment doivent etre compares aux avantages indubitables d'une prolongation de Ia vie. II y aura vraisemblablement encore d'autres economies de ressources pour les malades et leurs families ainsi qu'une economie de temps de travail perdu. (Tels sont certains des aspects de Ia partie coot de!'equation.) Enfin, des changements interviendront dans Ia qualite de Ia vie des malades et de leurs families et ce sont, naturellement, le principal objectif des interventions des soins de sante. Le schema general des coots et des consequences decrit ci-dessus est celui qui transparait dans les publications sur ce sujet. Toutefois, I' inclusion de certains points neva pas sans soulever des controverses. L'inclusion des coots et avantages indirects dans!'analyse, notamment, biaise les evaluations en faveur des individus ou groupes qui font partie de Ia population active. II est evident que eel a pose un dilemme; tandis que les pays dependent etroitement de Ia richesse creee par les membres de Ia population qui travaillent, il n'est peut-etre pas defendable sur le plan moral de donner a ces groupes Ia priorite d'acces aux soins de sante. De meme,!'inclusion des economies dans les ressources des soins de sante comme l'une des consequences, bien qu'elle ne fasse pas l'objet de controverses methodologiques, peut biaiser I' analyse aux depens des groupes desavantages. Par example, en comparant les coots et les consequences des programmes de vaccination dans les milieux urbains et ruraux de Zambie, Ponnighaus (18) a constate que les programmes etaient plus rentables dans les grands centres de population et ce parce que les services de sante etaient deja mieux developpes en zone urbaine; il y a done davantage de ressources a sauvegarder dans les services de sante en situant le programme de prevention en milieu urbain. Toutefois, cela n' est peut-etre pas une raison suffisante pour concentrer les efforts de vaccination dans ces zones. En bref, t;mdis que le schema general des coots et des consequences pour I' evaluation devrait se presenter comme a Ia fig. 1,!'inclusion ou I' exclusion de certains elements doit etre jugee dans le contexte elargi des objectifs des services de sante dans un pays donne; l'un de ces objectifs est Ia fourniture equitable des services (19). La mesure des coots et des consequences en unites physiques appropriees Bien que I' on tende a considerer que les methodes d'estimation, dans!'analyse economique, visent a mesurer les coots et les consequences en monnaie, il existe une etape Wid hlth statist. quart., 38 ( 1985)

8 362- an important intermediate stage. That is, one needs to measure the resource inputs to the programme in the appropriate physical units prior to valuation, e.g. hours of medical time, number of nurse visits, consumable items used, hours of family or volunteer time used. Often these estimates are not reported in published work, although they must surely have been made in order to calculate costs in financial terms. We believe it would be helpful if the "ingredients" of health programmes were listed more often, as it helps the reader identify the likely costs of implementing the programme in his own setting. This is particularly true in an international context, where results given in another country's currency may be difficult to interpret. Estimation of many of the resource inputs may be relatively straightforward. However, "overhead" or shared costs present a particular problem. For example, if the programme or treatment is delivered as part of a larger activity, what proportion of the shared resources, such as central administration, should be attributed to a given programme? This problem will be evident in the hospital setting, where many resources are shared, but it arises also in primary care, e.g. in vaccination campaigns delivering more than one vaccine. On occasion it might be possible to identify the extra resources that are required to add the new programme to the existing activity, which it might be assumed will continue in any case. For example, one might argue that adding measles vaccination to an existing immunization programme results in little extra administration costs but involves significant extra costs in maintaining a more efficient cold chain. In principle, economists subscribe to this approach - that of identifying incremental costs and consequences - but problems arise when every programme director denies responsibility for the shared resources! Here, one needs a method of assessing the consumption of shared resources by each programme if one wants to estimate the full costs of a service that is delivered in conjunction with others, e.g. the neonatal care unit in a regional hospital. The subsequent valuation of those costs (discussed below) would be based on the opportunity cost principle. That is, what benefits could be derived from those resources if they were freed for use in other activities. Problems in the estimation of the consequences of programmes in the physical, social or emotional functioning of individuals have already been mentioned. There are problems of interdependence here too. For example, a child who might be prevented from contracting measles by an immunization programme in a developing country may also be suffering from other diseases or malnutrition, which in turn influence the potential for life extension arising from the vaccination campaign. Similarly, a programme that saves health service resources (e.g. hospitalization) may only save the incremental costs of treating the averted illness. For example, if an influenza vaccination programme for the elderly reduces hospitalization, the full benefits of this would not be realized unless the hospital beds were put to good use, or capacity closed. If the beds remain empty the overhead costs also remain and the savings may be minimal. Credible valuation of costs and consequences Depending upon the form of economic evaluation being employed and the question for study, it will be necessary to express many of the measured costs and consequences in money terms. All the forms of economic evaluation require money estimates of costs. These are easier to obtain than money estimates for some of the consequences of health treatments or programmes. However, valuation of costs should not be viewed as a simple, intermediaire importante: il taut mesurer les ressources consacrees au programme en unites physiques appropriees avant de les evaluer; par exemple, les heures de temps medical, le nombre de vi sites effectuees par les infirmiers/infirmieres, les articles consomptibles utilises, les heures de temps des families ou de benevoles utilisees. Dans les publications sur ce sujet, ces estimations sont souvent pour le calcul des coots en termes financiers. A notre avis, cependant, il faudrait donner plus souvent Ia liste des «ingredients» des programmes de sante, pour aider le lecteur a identifier le coot probable de Ia mise en reuvre du programme dans sa propre situation. Cela est vrai en particulier dans un contexte international ou les resultats donnes dans Ia monnaie d'un autre pays peuvent Eitre difficiles a interpreter. L'estimation de nombre des ressources entrant dans un programme peut Eitre relativement simple. Cependant, les «frais generaux» ou coots partages posent un probleme particulier. Par exemple, si le programme ou le traitement fait partie d'une activite de plus grande envergure, quelle part des ressources partagees, telle que!'administration centrale, devrait Eitre attribuee a un programme donne? Ce probleme devient evident dans le cadre hospitalier, ou de nombreuses ressources sont partagees, mais se pose aussi dans les soins primaires, par exemple les campagnes de vaccination couvrant plus d'un vaccin. Parfois, on pourra peut-eitre detinir le surcrolt de ressources qui sera necessaire pour adjoindre le nouveau programme a l'activite existante dont on peut supposer qu'elle continuera de toute fa<;:on. On pourrait dire, par exemple, que le fait d'ajouter Ia vaccination contre Ia rougeole a un programme de vaccination existant n'entralne qu'une faible augmentation des coots administratifs, mais s'assortit d'une augmentation sensible des coots due a l'entretien d'une chaine de froid plus efficace. En principe, les economistes souscrivent a cette approche - celle qui consiste a identifier les coots et les consequences differentials - mais des problemas surgissent lorsque tous les directeurs de programme rejettent Ia responsabilite des ressources partagees! Ce qu'il taut ici c'est une methode qui permette d'evaluer Ia consommation de ressources partagees par chaque programme si I' on veut estimer le coot total d'un service qui est dispense en liaison avec d'autres, par exemple l'unite de soins neonatals dans un hopital regional. L'evaluation ulterieure de ces coots (examinee ci-a pres) reposerait sur le principe des coots d'opportunite, soit les avantages que l'on retirerait de ces ressources si elles pouvaient librement Eitre affectees a d'autres usages. Les problemas lies a!'estimation des consequences des programmes sur le fonctionnement physique, social et affectif des individus ont deja ete evoques. lei aussi il se pose des problemes d'interdependance. Par exemple, un enfant qui pourrait echapper a Ia rougeole grace a un programme de vaccination dans un pays en 'developpement pourrait aussi souffrir d'autres maladies ou de malnutrition, lesquelles influent elles-meimes sur Ia capacite d'une campagne de vaccination a prolonger Ia vie. De meime, un programme qui epargne des ressources en services de sante (comme!'hospitalisation) ne peut economiser que le coot differentiel du traitement de Ia maladie evitee. Par exemple, si un programme de vaccination contre Ia grippe destine aux personnes gees reduit le nombre des hospitalisations, on ne prendra conscience de tousles avantages qui s'ensuivent que s'il est fait bon usage des lits d'hopital ou s'ils sont supprimes. Si les lits demeurent inoccupes, les frais generaux subsisteront et les economies seront minimes. Evaluation credible des coots et des consequences Selon Ia forme d'evaluation economique utilisee et Ia question etudiee, il pourra Eitre necessaire d'exprimer nombre des coots et des consequences en monnaie. Toutes les formes d'evaluation economique necessitent une estimation des coots en monnaie, laquelle est plus facile a realiser que I' evaluation en monnaie de certaines des consequences des traitements ou des programmes de sante. Toutefois,!'evaluation des coots ne doit pas Eitre consideree comme un pro- Rapp. trimest. statist. sanit. mond.. 38 (1985)

9 363- value-free process. For the direct costs to the health care sector of operating health care programmes, it is normal to take existing market prices as the source of valuation. That is, estimates are taken from current operating budgets or from billings made to the health insurance plan, depending on the category of resource and the method of funding health care which exist in the country concerned. Apart from sheer convenience, the use of market prices is based on the notion that, where markets are operating perfectly, prices reflect the opportunity cost of the given resource. Of course, this approach is open to question since it is well known that markets do not operate perfectly owing to the existence of monopolies. In addition, taxes and subsidies may cause observed prices to deviate from true opportunity costs. In principle, the price observed for each resource should be considered separately and adjusted upwards or downwards if thought necessary: that is, a shadow (or accounting) price should be calculated. In evaluations performed in industrialized countries this is rarely done and few examples exist in the literature. (For example, in a study on care of the elderly, Wager (20) deducted fuel tax from the cost of home nursing, as he felt the tax made that programme artificially expensive relative to institutional care.) In developing countries, particularly those operating exchange control policies, such adjustment may be more important to make.c However, in all countries it may be necessary to develop shadow prices for resources that do not have a market price. For example, inputs of family time or volunteer time may have an opportunity cost, although they may not result in a financial cost to the programme. In principle, these costs should be estimated, although in practice they rarely are. Finally, as mentioned earlier, the measurement and valuation of indirect costs and benefits raises particular problems. Do the wages received by workers really reflect the opportunity cost of their labour? Is it inequitable to value these costs and consequences using wage rates, as it will bias the analysis against the poor, the elderly, the housewife and the unemployed? The extent to which consequences in improved health are valued will depend on the form of analysis being employed. Some of the methods were mentioned earlier and will be discussed further in the context of the review of published work in later articles in this issue. Adjusting costs and consequences for differential timing It is usually argued that as individuals or as a community we are not indifferent to the timing of costs and consequences. Most of us would prefer to postpone resource outlays or other costs, yet receive benefits or other favourable consequences as soon as possible. This notion (known as "time preference") is particularly important when comparing alternatives whose time profiles of costs and consequences differ. For example, a preventive programme aimed at changing risk factors in cardiovascular disease requires resource outlays now, but most of the improvements in mortality and morbidity will not occur until many years in the future. This is not usually the case for curative programmes, such as coronary-artery-bypass surgery. The most widely accepted method of comparing costs and consequences occurring at different points in cessus simple, depourvu de valeur. Pour evaluer les coots directs que fait peser sur le secteur des soins de sante Ia mise en rnuvre des programmes de soins de sante, il est normal de prendre comme base les prix du marche existant, et d'appuyer les estimations sur les budgets en cours ou les demandes de remboursement presentees au systeme d'assurances maladie, selon Ia categorie de ressources et le mode de financement des soins de sante dans le pays interesse. Outre une simple question de commodite,!'utilisation des prix du marche repose sur Ia notion selon laquelle Ia ou les marches fonctionnent parfaitement, les prix refletent le coot d 'opportunite de Ia ressource donnee. On peut naturellement contester cette approche car chacun sait que les marches ne fonctionnent pas parfaitement du fait de!'existence des monopoles. Les taxes et les subventions peuvent en outre amener les prix observes a s'ecarter des veritables coots d'opportunite. En principe, le prix observe pour chaque ressource devrait ihre examine independamment et ajuste a Ia hausse ou a Ia baisse si cela est juga necessaire: c' est-a-dire qu'un prix fictif (ou comptable) doit ihre calcule. Dans les evaluations effectuees dans les pays industrialises cela se fait rarement et il en existe peu d'exemples dans Ia documentation parue sur ce sujet. (Par exemple, dans une etude sur les soins aux personnes agees, Wager (20) a deduit le montant de Ia taxe sur les carburants du coot des soins infirmiers a domicile car il a estime que cette taxe augmentait artificiellement le coot de ce programme par rapport aux soins hospitaliers.) Dans les pays en developpement, en particulier ceux qui ont une politique de controle des changes, ces ajustements sont peut-etre encore plus importants.c Dans tous les pays, cependant, il peut etre necessaire de calculer des prix fictifs pour les ressources qui n' ont pas de prix marchand. Par exemple, les entrees en temps de Ia famille ou temps de benevole peuvent avoir un coot d'opportunite meme si elles n'entralnent pas necessairement un coot financier pour le programme. La encore, en principe, ces coots devraient etre estimes bien qu'en pratique ils le soient rarement. Entin, comme nous l'avons indique precedemment, Ia me sure et I' evaluation des coots et des avantages indirects soulevent des problemes particuliers. Les salaires pen;:us par les travailleurs refletent-ils veritablement le coot d' opportunite de leur travail? Est-il injuste d'evaluer ces coots et ces consequences sur Ia base des taux salariaux puisque cela biaisera!'analyse au detriment des pauvres, des personnes agees, des menageres et des chomeurs? La mesure dans laquelle les consequences sous forme d'amelioration de Ia sante sont evaluees dependra de Ia forme d'analyse utilisee. Certaines des methodes ont ete evoquees precedemment et nous y reviendrons ci-apres dans le present numero lorsque nous passerons en revue les travaux publies. Ajuster les coots et /es consequences en fonction du temps On a coutume de dire qu' en tant qu'individus ou en tant que communaute, nous ne sommes pas indifferents a Ia chronologie des coots et des consequences. La plupart d'entre nous pretereraient remettre a plus tard les depenses de ressources et les autres coots tout en beneticiant des que possible des avantages et autres consequences favorables. Cette notion (connue squs le nom de «preference temporelle») est particulierement importante lorsqu'on compare des solutions de rechange dont les profils temporels des coots et des consequences sont differents. Par exemple, un programme de prevention visant a modifier les facteurs de risque des maladies cardiovasculaires necessite une depense de ressources immediate, alors que Ia plupart des ameliorations sous!'angle de Ia mortalite et de Ia morbidite ne se produiront qu'apres de nombreuses annees. Cela n'est d'ordinaire pas le cas des c See MILLS. A. Economic evaluation of health programmes: application of the principles in developing countries, p. 368 of this issue. c Voir MILLS. A. Application des principes d'evaluation economique des programmes de sante dans les pays en developpement, p. 368 du present numero. Wid hlth statist. quan., 38 (1985)

10 364 - time is to discount costs and consequences to present values. This approach, the arithmetical procedure for which resembles a compound-interest sum performed in reverse, has the effect of giving costs and consequences in the present a greater weight in the analysis than those occurring in the future. (For details of the calculation see (1,2).) The key assumption in the approach is the choice of discount rate. There exists a good deal of economics literature on this point, which is outside the scope of this article. The main points to note are as follows. First, most economists agree that the discount rate should be greater than zero, but disagree on the precise rate. Most of the economic evaluations in the literature apply rates of between 2% and 1 0% in real terms. Second, there is no reason to suppose that every country would want to discount the future at the same rate. After all, the choice of rate is a value judgement, reflecting the community's preference for goods and services now compared to later. In addition, to the extent that the composition of the community changes through time, there are also inter-generational equity issues to be addressed when making choices between those programmes which deliver benefits now rather than in the future. In some countries the government recommends a rate, as in the United Kingdom (21). Where there is some uncertainty about the rate to be applied in the evaluation, the most sensible approach is to rework the analysis using a range of rates in order to assess whether it has an important impact on the study result. Often it does not. Finally, it is worth pointing out that whereas the most common use of a discount rate is to convert costs and consequences occurring in the future to present values, another use is to convert a capital expenditure occurring at the beginning of a programme into an equivalent annual cost. This approach is useful where all the other costs and consequences are already expressed as annual recurring amounts. Performing an incremental analysis of costs and consequences The example of the screening test for cancer of the colon cited earlier (4) illustrated the importance of performing an incremental analysis of costs and consequences. That is, the relevant question to pose was not "what is the average cost per case detected by each screening strategy?", but rather "what are the extra consequences and extra costs of one strategy when compared to another?". Therefore, this is the best way to compare the alternatives being evaluated. Also, when the implicit alternative to the programme being examined is "doing nothing", it should be remembered that "doing nothing" rarely results in zero costs or zero consequences. Performing a sensitivity analysis This approach has already been mentioned in the discussion of uncertainties in medical evidence and uncertainties in the choice of discount rate. Sensitivity analysis is simply a reworking of the analysis using different assumptions on the values to be assigned to variables about which there is uncertainty or methodological controversy. The objective is to ascertain whether the different assumptions have any impact on study results. If the results are sensitive to the estimates assumed, further work may be justified to improve the accuracy of estimates. For example, the health consequences of a vaccination programme may be crucially dependent on vaccine programmes curatifs tels que le pontage coronarien. La methode Ia plus generalement acceptee pour com parer les coots et les consequences intervenant a divers moments consiste a actualiser les coots et les consequences pour obtenir les valeurs actuelles. Cette approche, dont Ia technique arithmetique ressemble au calcul de l'intereh compose effectue a rebours, a pour effet de donner aux coots et aux consequences actuels davantage de poids dans!'analyse qu'aux coots et consequences futurs. (Pour le detail du calcul, voir (1,2).) L'hypothese cle dans cette approche est le choix du taux d'actualisation. II existe une importante somme de publications economiques sur cette question qui deborde le cadre du present article. Les principaux points a retenir sont les suivants: en premier lieu, Ia plupart des economistes conviennent que le taux d'actualisation doit etre superieur a zero mais ils ne s'accordent pas sur le taux precis. La plupart des evaluations economiques qui ont ete publiees appliquent des taux situes entre 2% et 10% en termes reels. En deuxieme lieu, il n'y a pas de raison de supposer que tous les pays souhaiteront actualiser le futur au meme taux. Apres tout, le choix du taux releve d'un jugement de valeur, qui reflete Ia preference de Ia communaute pour certains biens et services aujourd'hui par opposition a plus tard. En outre, dans Ia mesure ou Ia composition de Ia communaute evolue avec le temps, il faut aussi tenir compte de questions de justice entre les generations lorsqu' on choisit entre les programmes dont les avantages sont immediats et ceux dont les avantages se font sentir ulterieurement. Dans certains pays, les pouvoirs publics conseillent un taux, comme au Royaume-Uni (21). Lorsqu'il plane un doute sur le taux a appliquer dans!'evaluation,!'approche Ia plus sensee consiste a refaire!'analyse en utilisant un eventail de taux pour evaluer si cela a un impact important sur le resultat de I' etude. Souvent, ce n'est pas le cas. Enfin, il convient de fa ire observer que si!'utilisation Ia plus courante d'un taux d'actualisation est de convertir les coots et les consequences intervenant dans le futur en valeurs actuelles, une autre utilisation consiste a convertir une depense d'equipement qui intervient au debut d'un programme en coot annuel equivalent. Cette approche est utile lorsque tous les autres coots et consequences ont deja ete exprimes en montants se renouvelant annuellement. Effectuer une analyse differentielle des coots et des consequences L'exemple du test de depistage du cancer du colon cite precedemment (4) montrait qu'il importe d'effectuer une analyse differentielle des coots et des consequences. En d'autres termes, Ia question qu'il convenait de poser n'etait pas «quel est le coot moyen par cas depiste au moyen de chaque strategie de depistage?» mais «quelles sont les consequences supplementaires et les coots supplementaires d'une strategie par rapport a une autre?». Tel est done le meilleur moyen de comparer les diverses solutions de rechange faisant l'objet de I' evaluation. Aussi, lorsque Ia solution de rechange implicite au programme examine est «ne rien fa ire», il convient de se souvenir que «ne rien fa ire» signifie rarement que le coot est nul et que les consequences sont nulles. Effectuer une analyse de sensibilite Cette approche a deja ete evoquee dans Ia discussion sur les incertitudes des preuves medicales et les incertitudes dans le choix du taux d'actualisation. Une analyse de sensibilite consiste simplement a refaire!'analyse en attribuant differentes valeurs hypothetiques aux variables sur lesquelles plane un doute ou qui font l'objet d'une controverse methodologique. L'objectif est de s'assurer si les differentes hypotheses ont un impact quelconque sur les resultats de I' etude. Si les resultats sont sensibles aux estimations hypothetiques, un effort supplementaire meriterait d'etre fait pour ameliorer Ia precision des estimations. Par exemple, les consequences pour Ia sante d'un programme de vaccination peuvent depen- Rapp. trimest. statist. sanit. mond., 38 ( 1985)

11 365- effectiveness and this would therefore need to be known accurately in order to perform a good economic evaluation. In other cases, accurate estimates may not be important. For example, Henderson (22) has shown that while there is considerable uncertainty in estimating the psychic benefits of screening for neural tube defects, these uncertainties would be unlikely to cancel out the net benefits of such screening programmes. Including a presentation and discussion of all issues of concern to users It will be clear from the above discussion that economic evaluations require the analyst to make a number of technical and value judgements. A good analysis will make these judgements as explicit as possible so that the reader can question them and make different judgements where appropriate. It has to be remembered that economic evaluation is an aid to decision-making and not a substitute for thought. Therefore, it is important that the evaluation includes a discussion of the main judgements made, the ways in which the costs and consequences of the alternatives may differ from one setting to another and any other important factors in the choice between options that may have been inadequately incorporated into the analysis. It is particularly important to note the distributional impact of programmes. That is, which groups in society bear the costs and which groups benefit. Sometimes analysts may examine the incidence of costs and consedre etroitement de l'efficacite du vaccin et il faudrait done Ia connaitre precisement pour effectuer une bonne evaluation economique. Dans d'autres cas, Ia precision des estimations ne sera peut-etre pas aussi importante. Par exemple, Henderson (22) a montre que si I' on ne peut estimer avec certitude les avantages psychiques du depistage des anomalies du tube neural de l'embryon, ces incertitudes ne gomment pas pour autant les avantages nets de ces programmes de depistage. lnclure /'expose et l'examen de toutes les questions interessant les utilisateurs II ressort clairement de ce qui precede que les evaluations economiques necessitent de Ia part de l'analyste un certain nombre de jugements techniques et de valeur. Une bonne analyse rendra compte de ces jugements aussi clairement que possible pour que le lecteur puisse les remettre en question et formuler des jugements differents, le cas echeant. On se souviendra que I' evaluation economique do it faciliter Ia prise de decisions mais qu'elle ne tient pas lieu de retlexion. II importe done que!'evaluation comprenne un examen des principaux jugements formules, de Ia maniere dont les coots et les consequences des difterentes solutions de rechange peuvent varier d'une situation a une autre et de tout autre facteur important dans le choix entre les options pouvant avoir ete incorpore a tort dans!'analyse. II importe en particulier de noter comment se repartit!'impact des programmes. C' est-a-dire quels sont les groupes de Ia societe qui en assument le coot et a quels groupes ils beneticient. Les analystes examinent parfois!'incidence des TABLE 1. TEN QUESTIONS TO ASK OF ANY PUBLISHED STUDY 1. Was a well-defined question posed in answerable form? (a) Did the study examine both costs and effects of the service(s) or programme(s)? (b) Did the study involve a comparison of alternatives? (c) Was a viewpoint for the al)alysis stated or was the study placed in a particular decision-making context? 2. Was a comprehensive description of the competing alternatives given (i.e. can you tell who did what to whom, where, and how often)? (a) Were any important alternatives omitted? (b) Was (should) a "do-nothing" alternative (have been) considered? 3. Was there evidence that the programmes' effectiveness had been established? Was this done through a randomized, controlled clinical trial? If not, how strong was the evidence of effectiveness? 4. Were all important and relevant costs and consequences for each alternative identified? (a) Was the range wide enough for the research question at hand? (b) Did it cover all relevant viewpoints (e.g. those of the community or society, patients and third-party payers)? (c) Were capital costs as well as operating costs included? 5. Were costs and consequences measured accurately in appropriate physical units (e.g. hours of nursing time, number of physician visits, days lost from work or years of life gained) prior to valuation? (a) Were any identified items omitted from measurement? If so, does this mean that they carried no weight in the subsequent analysis? (b) Were there any special circumstances (e.g. joint use of resources) that made measurement difficult? Were these. circumstances handled appropriately? 6. Were costs and consequences valued credibly? (a) Were the sources of all values (e.g. market values, patient or client preferences and views, policy makers' views and health care professionals' judgements) clearly identified? (b) Were market values used for changes involving resources gained or used? (c) When market values were absent (e.g. when volunteers were used) or did not reflect actual values (e.g. clinic space was donated at a reduced rate) were adjustments made to approximate market values? (d) Was the valuation of consequences appropriate for the question posed (i.e. was the appropriate type, or types, of analysis - cost-effectiveness, cost-benefit or cost-utility - selected)? 7. Were costs and consequences adjusted for differential timing? (a) Were costs and consequences that occurred in the future "discounted" to their present values? (b) Was any justification given for the discount rate used? 8. Was an incremental analysis of costs and consequences of alternatives performed? Were the additional (incremental) costs generated by the use of one alternative over another compared with the additional effects, benefits or utilities generated? 9. Was a sensitivity analysis performed? (a) Was justification provided for the ranges of values (for key parameters) used in the sensitivity analysis? (b) Were the study results sensitive to changes in the values (within the assumed range)? 10. Did the presentation and discussion of the results of the study include all issues of concern to users? (a) Were the conclusions ofthe analysis based on some overall index or ratio of costs to consequences (e.g. cost-effectiveness ratio)? If so, was the index interpreted intelligently or in a mechanistic fashion? (b) Were the results compared with those of other studies that had investigated the same questions? (c) Did the study discuss the generalizability of the results to other settings and patient/client groups? (d) Did the study allude to, or take account of, other important factors in the choice or decision under consideration (e.g. distribution of costs and consequences or relevant ethical issues)? (e) Did the study discuss issues of implementation, such as the feasibility of adopting the "preferred" programme, given existing financial or other constraints, and whether any freed resources could be used for other worthwhile programmes? Source: Reference ( 19) Wid hlth statist. quart., 38 ( 1985)

12 TABLEAU 1. DIX QUESTIONS A POSER AU SUJET DE TOUTE ETUDE PUBLIEE 1. La question posee etait-elle bien detinie et susceptible de reponse? a) L' etude portait-elle a Ia fois sur les coots et sur les effets du ou des service(s) ou du ou des programme(s)? b) L'etude comportait-elle une comparaison des diverses solutions de rechange? c) L'analyse a-t-elle ete effectuee a partir d'un point de vue donne ou I' etude se situait-elle dans un contexte decisionnel particulier? 2. Les differentes solutions en competition ont-elles ete decrites de maniere complete (en d'autres termes, pouvez-vous dire qui a fait quoi. a qui, ou et a quelle frequence)? a) Des solutions de rechange importantes ont-elles ete omises? b) Une solution consistant a «ne rien fa ire» a-t-elle ete (auraitelle do etre) envisages? 3. Avait-on Ia preuve que l'efficacite des programmes avait ete verifies? A-t-on procede pour cela a un essai clinique controle randomise? Sinon. quel poids avait Ia preuve de l'efficacite? 4. Tous les coots et consequences importants et pertinents de chaque solution de rechange ont-ils ete identifies? a) L'eventail etait-il suffisamment grand pour Ia question examinee? b) Couvrait-il tous les points de vue pertinents (par example, ceux de Ia communaute ou de Ia societe, des malades et des tiers payeurs? c) A-t-on inclus les coots des immobilisations et les coots d' exploitation? 5. Les coots et les consequences ont-ils ete mesures de fa<;:on precise en unites physiques appropriees (par example, heures de temps de soins infirmiers, nombre de visites de medecin, journees de travail perdues ou annees de vie gagnees) avant I' evaluation? a) Parmi les points de vue identifies certains ont-ils echappe aux mesures? Si tel est le cas, cela signifie-t-il qu'ils n'ont eu aucun poids dans I' analyse ulterieure? b) Des circonstances particulieres (comme!'utilisation conjoints des ressources) ont-elles rendu Ia mesure difficile? Ces circonstances ont-elles ete traitees de maniere appropries? 6. Les coots et les consequences ont-ils ete evalues de maniere credible? a) Les sources de toutes les valeurs (par example valeurs marchandes, preferences et opinions du malade ou du client, points de vue des decideurs politiques et jugements des professionnels des soins de sante) ont-elles ete clairement identifiees? b) Des valeurs marchandes ont-elles ete utilisees pour des changements tels que des ressources gagnees ou utilisees? c) En I' absence de valeurs marchandes (par exemple,lorsqu'on fait appel a des benevoles) ou lorsque ces valeurs ne refletaient pas des valeurs reelles (par example, les locaux d'un dispensaire ont ete fournis a un taux reduit) des ajustements ont-ils ete operes pour se rapprocher des valeurs marchandes? d) L'evaluation des consequences etait-elle adequate pour Ia question posee? (c'est-a-dire, a-t-on choisi le(s) type(s) d'analyse approprie(s) - coot/efficacite, coot/avantages ou coot/utilite)? 7. Les coots et les consequences ont-ils ete echelonnes? a) Les coots et consequences a venir ont-ils ete «actualises >> a leur valeur actuelle? b) Une justification a-t-elle ete donnee pour le taux d'actualisation utilise? 8. Une analyse differentielle des coots et des consequences des solutions de rechange a-t-elle ete effectuee? Les coots supplementaires (differentials) resultant de!'utilisation d'une solution plutot que d'une autre ont-ils ete compares aux effets, avantages ou moyens supplementaires obtenus? 9. Une analyse de sensibilite a-t-elle ete effectuee? a) Une justification a-t-elle ete donnee pour les eventails de valeurs (pour les parametres clef) utilises dans I' analyse de sensibilite? b) Les resultats de I' etude etaient-ils sensibles aux changements des valeurs (dans I' eventail suppose)? 10. La presentation et Ia discussion des resultats de I' etude recouvraient-elles toutes les questions interessant les utilisateurs? a) Les conclusions de!'analyse reposaient-elles sur un indice global ou un rapport des coots aux consequences? (par example. rapport coot/efficacite)? Dans l'affirmative,l'indice a-t-il ete interprete intelligemment ou de maniere mecanique 7 b) Les resultats ont-ils ete compares a ceux d'autres etudes ayant porte sur les memes questions? c) L'etude envisageait-elle Ia possibilite de generaliser les resultats a d' aut res situations et d' autres groupes de malades ou clients? d) L'etude faisait-elle allusion a, ou prenait-elle en compte, d'autres facteurs importants dans le choix ou Ia decision examine (par example, distribution des coots et consequences ou questions morales pertinentes)? e) L'etude abordait-elle des questions de mise en ceuvre, comme Ia faisabilite d'adopter le programme «pretere», etant donne les contraintes financieres ou autres existantes, et Ia question de savoir si des ressources liberees pourraient etre utilisees pour d' autres programmes utiles? Source: Reference bibliographique (79) quences to rich and to poor, or to particular geographical regions, as this is often a major factor in decision making. On a few occasions, distributional weights have been applied, thereby assigning a higher value to a dollar of benefit received by a poor person compared with that received by a rich person. However, if such approaches are used, care must be taken not to obscure such value judgements from the decision-maker in a mass of figures. In our view it is probably more helpful to raise the distributional issues through an intelligent discussion of study results, unless an explicit set of distributional weights has been agreed in a given country. A checklist of questions to ask of any published study The methodological points discussed above are summarized, in Table 1, in the form of a checklist. We do not suppose for one moment that any study will satisfy the reader on every criterion. Certainly our own studies do not! Rather our aim is to give the reader a methodological "gold standard" against which studies can be judged. coots et des consequences pour les riches et pour les pauvres, ou pour certaines regions geographiques, cela etant souvent un facteur determinant dans Ia prise des decisions. Dans quelques cas, un coefficient de ponderation a ete applique de maniere a accroitre Ia valeur du dollar per9u par un pauvre par rapport a celle du dollar per9u par un riche. Toutefois, lorsqu'on utilise de telles approches, il convient de veiller a ne pas embrouiller ces jugements de valeur pour le decideur par une masse de chiffres. II nous semble probablement plus utile de soulever les questions de distribution en analysant intelligemment les resultats de!'etude, a moins qu'un jeu explicite de coefficients de ponderation pour Ia distribution n'ait ete adopte dans un pays donne. Liste de controle des questions a poser au sujet de toute etude publiee Les points de methode examines ci-dessus sont resumes au tableau 1 sous forme de liste de controle. Nous ne pensons pas un instant qu'une etude satisfera le lecteur sur tous le plans. Ce n'est certainement pas le cas de nos etudes! Notre but est plutot de fournir au lecteur un «etalon d' or» methpdologique a partir duquel il pourra juger les etudes. C'est de Rapp. trimest. statist. sanit. mond.. 38 (1985)

13 Only in this way can the reader begin to assess the significance of published work for the policy decisions he may have to take in health service planning or in his own practice cette fac;:on seulement que le lecteur pourra commencer a evaluer!'importance d'une publication pour les decisions politiques qu'il pourra avoir a prendre dans Ia planification des services de sante ou dans son propre bureau. Acknowledgements We thank our colleagues and students for their criticisms of earlier versions of this paper and Anne Mills for commenting on the final draft. Remerciements Nous remercions nos colh3gues et nos etudiants de leur lecture critique des precedentes versions du present article et Anne Mills des observations qu'elle a bien voulu formuler au sujet de Ia version finale. REFERENCES - 1. DRUMMOND, M.F. Principles of economic appraisal in health care. Oxford, Oxford Medical Publications, WARNER, K.E. & LUCE, B.R. Cost-benefit and cost-effectiveness analysis in health care. Ann Arbor (Mich.), Health Administration Press, CoHEN, J.E. Some potential economic benefits of eliminating mortality attributed to schistosomiasis in Zanzibar. Social science and medicine, 8: (1974). 4. NEUHAUSER, D. & LEWICKI, A.M. What do we gain from the sixth stool guaiac? New England journal of medicine, 293: (1975). 5. LOWSON, K.V., DRUMMOND, M.F. & BISHOP, J.M. Costing new services: long-term domiciliary oxygen therapy. Lancet, 1: (1981). 6. RussELL, I.T. ET AL. Day-care surgery for hernias and haemorrhoids: a clinical, social and economic evaluation. Lancet; 1: (1977). 7. KLARMAN. H.E. ET AL. Cost-effectiveness analysis applied to the treatment of chronic renal disease. Medical care, 6: (1968). 8. LUDBROOK, A. A cost-effectiveness analysis ofthe treatment of chronic renal failure. Applied economics, 13: ( 1981 ). 9. CHURCHILL, D.N. ET AL. Cost-effectiveness analysis comparing continuous ambulatory peritoneal dialysis to hospital haemodialysis. Medical decision making (in press - so us pre sse). 10. STASON, W.B. & WEINSTEIN, M.C. Allocation of resources to manage hypertension. New England journal of medicine, 296: (1977). 11. SACKETT, D.L. & TORRANCE, G.W. The utility of different health states as perceived by the general public. Journal of chronic diseases, 31 ( 11): ( 1978). 12. WEISBROD, B.A. ET AL. Alternative to mental hospital treatment. 11. Economic cost-benefit analysis. Archives of general psychiatry, 37: ( 1980). REFERENCES 13. JONES-LEE, M. W. The value of life: an economic analysis. London, Martin Robertson, ACTON, J.P. Measuring the social impact of heart and circulatory disease programs: preliminary framework and estimates. Report R NHLI. Santa Monica, Rand Corporation, CUL YER, A.J. & MAYNARD, A.K. Cost-effectiveness of duodenal ulcer treatment. Social science and medicine, 15C: 3-11 ( 1981). 16. DEPARTMENT OF CLINICAL EPIDEMIOLOGY AND BIOSTATISTICS, MCMASTER UNIVERSITY HEALTH SCIENCES CENTRE. How to read clinical journals: V. To distinguish useful from useless or even harmful therapy. Canadian Medical Association journal, 124: ( 1981). 17. WEINSTEIN, M.C. & STASON, W.B. Foundations of costeffectiveness analysis for health and medical practices. New England journal of medicine, 296: (1977). 18. PONNIGHAUS, J.M. The cost/benefit of measles immunization: a study from Southern Zambia. Journal of tropical medicine and hygiene, 83: DEPARTMENT OF CLINICAL EPIDEMIOLOGY AND BIOSTATISTICS, McMASTER UNIVERSITY HEALTH SCIENCES CENTRE. How to read clinical journals: VII. To understand an economic evaluation (part B). Canadian Medical Association journal, 130: (1984). 20. WAGER, R. Care of the elderly - an exercise in costbenefit analysis commissioned by Essex County Council. London, Chartered Institute for Public Finance and Accountancy, HM TREASURY. Investment appraisal in the public sector. London, Her Majesty's Stationery Office, HENDERSON, J.B. An economic appraisal of the benefits of screening for open spina bifida. Social science and medicine, 16: ( 1982). Wid hlth statist. quan., 38 (1985)

COUNCIL OF THE EUROPEAN UNION. Brussels, 18 September 2008 (19.09) (OR. fr) 13156/08 LIMITE PI 53

COUNCIL OF THE EUROPEAN UNION. Brussels, 18 September 2008 (19.09) (OR. fr) 13156/08 LIMITE PI 53 COUNCIL OF THE EUROPEAN UNION Brussels, 18 September 2008 (19.09) (OR. fr) 13156/08 LIMITE PI 53 WORKING DOCUMENT from : Presidency to : delegations No prev. doc.: 12621/08 PI 44 Subject : Revised draft

Plus en détail

Application Form/ Formulaire de demande

Application Form/ Formulaire de demande Application Form/ Formulaire de demande Ecosystem Approaches to Health: Summer Workshop and Field school Approches écosystémiques de la santé: Atelier intensif et stage d été Please submit your application

Plus en détail

2 players Ages 8+ Note: Please keep these instructions for future reference. WARNING. CHOKING HAZARD. Small parts. Not for children under 3 years.

2 players Ages 8+ Note: Please keep these instructions for future reference. WARNING. CHOKING HAZARD. Small parts. Not for children under 3 years. Linja Game Rules 2 players Ages 8+ Published under license from FoxMind Games NV, by: FoxMind Games BV Stadhouderskade 125hs Amsterdam, The Netherlands Distribution in North America: FoxMind USA 2710 Thomes

Plus en détail

Les licences Creative Commons expliquées aux élèves

Les licences Creative Commons expliquées aux élèves Les licences Creative Commons expliquées aux élèves Source du document : http://framablog.org/index.php/post/2008/03/11/education-b2i-creative-commons Diapo 1 Creative Commons presents : Sharing Creative

Plus en détail

Please find attached a revised amendment letter, extending the contract until 31 st December 2011.

Please find attached a revised amendment letter, extending the contract until 31 st December 2011. Sent: 11 May 2011 10:53 Subject: Please find attached a revised amendment letter, extending the contract until 31 st December 2011. I look forward to receiving two signed copies of this letter. Sent: 10

Plus en détail

Exemple PLS avec SAS

Exemple PLS avec SAS Exemple PLS avec SAS This example, from Umetrics (1995), demonstrates different ways to examine a PLS model. The data come from the field of drug discovery. New drugs are developed from chemicals that

Plus en détail

Autres termes clés (Other key terms)

Autres termes clés (Other key terms) Carve-out method Autres termes clés (Other key terms) Norme Rapports d assurance sur les contrôles d une société de services extérieurs (, Assurance Reports on Controls at a Third Party Service Organization)

Plus en détail

Présentation des états financiers 2014 Presentation of the 2014 Financial Statements

Présentation des états financiers 2014 Presentation of the 2014 Financial Statements Présentation des états financiers 2014 Presentation of the 2014 Financial Statements Les faits saillants Highlights L état financier du MAMROT est très complexe et fournit de nombreuses informations. Cette

Plus en détail

Assoumta Djimrangaye Coordonnatrice de soutien au développement des affaires Business development support coordinator

Assoumta Djimrangaye Coordonnatrice de soutien au développement des affaires Business development support coordinator 2008-01-28 From: [] Sent: Monday, January 21, 2008 6:58 AM To: Web Administrator BCUC:EX Cc: 'Jean Paquin' Subject: RE: Request for Late Intervenorship - BCHydro Standing Offer C22-1 Dear Bonnie, Please

Plus en détail

PROJET DE LOI C- BILL C- SECRET SECRET HOUSE OF COMMONS OF CANADA CHAMBRE DES COMMUNES DU CANADA

PROJET DE LOI C- BILL C- SECRET SECRET HOUSE OF COMMONS OF CANADA CHAMBRE DES COMMUNES DU CANADA SECRET C- SECRET C- First Session, Forty-first Parliament, Première session, quarante et unième législature, HOUSE OF COMMONS OF CANADA CHAMBRE DES COMMUNES DU CANADA BILL C- PROJET DE LOI C- An Act to

Plus en détail

Hydro-Québec Distribution

Hydro-Québec Distribution Hydro-Québec Distribution 2004 Distribution Tariff Application Demande R-3541-2004 Request No. 1 Reference: HQD-5, Document 3, Page 6 Information Requests HQD says that it will be required to buy energy

Plus en détail

BILL 207 PROJET DE LOI 207

BILL 207 PROJET DE LOI 207 Bill 207 Private Member's Bill Projet de loi 207 Projet de loi d'un député 3 rd Session, 39 th Legislature, Manitoba, 57 Elizabeth II, 2008 3 e session, 39 e législature, Manitoba, 57 Elizabeth II, 2008

Plus en détail

Stress and Difficulties at School / College

Stress and Difficulties at School / College Stress and Difficulties at School / College This article will deal with the pressures and problems that students face at school and college. It will also discuss the opposite - the positive aspects of

Plus en détail

Un ACTIF InConToURnABLE PoUR DEs PARTEnARIATs significatifs. social. An ASSeT To meaningful PARTneRSHIPS

Un ACTIF InConToURnABLE PoUR DEs PARTEnARIATs significatifs. social. An ASSeT To meaningful PARTneRSHIPS Le capital Un ACTIF InConToURnABLE PoUR DEs PARTEnARIATs significatifs social capital An ASSeT To meaningful PARTneRSHIPS Présentation des participants participants presentation Fondation Dufresne et Gauthier

Plus en détail

Loi sur le point de service principal du gouvernement du Canada en cas de décès

Loi sur le point de service principal du gouvernement du Canada en cas de décès CANADA CONSOLIDATION CODIFICATION Main Point of Contact with the Government of Canada in case of Death Act Loi sur le point de service principal du gouvernement du Canada en cas de décès S.C. 2015, c.

Plus en détail

RFP 1000162739 and 1000163364 QUESTIONS AND ANSWERS

RFP 1000162739 and 1000163364 QUESTIONS AND ANSWERS RFP 1000162739 and 1000163364 QUESTIONS AND ANSWERS Question 10: The following mandatory and point rated criteria require evidence of work experience within the Canadian Public Sector: M3.1.1.C / M3.1.2.C

Plus en détail

AMENDMENT TO BILL 32 AMENDEMENT AU PROJET DE LOI 32

AMENDMENT TO BILL 32 AMENDEMENT AU PROJET DE LOI 32 THAT the proposed clause 6(1), as set out in Clause 6(1) of the Bill, be replaced with the following: Trustee to respond promptly 6(1) A trustee shall respond to a request as promptly as required in the

Plus en détail

Résumé de l évaluation périodique de 2013-2014 des programmes d études supérieures en. Épidémiologie

Résumé de l évaluation périodique de 2013-2014 des programmes d études supérieures en. Épidémiologie Résumé de l évaluation périodique de 2013-2014 des programmes d études supérieures en épidémiologie Préparé par le Comité d évaluation des programmes d études supérieures Faculté des études supérieures

Plus en détail

1. Subject 1. Objet. 2. Issue 2. Enjeu. 905-1-IPG-070 October 2014 octobre 2014

1. Subject 1. Objet. 2. Issue 2. Enjeu. 905-1-IPG-070 October 2014 octobre 2014 905-1-IPG-070 October 2014 octobre 2014 (New) Danger as a Normal Condition of Employment 905-1-IPG-070 (Nouveau) Danger constituant une Condition normale de l emploi 905-1-IPG-070 1. Subject 1. Objet Clarification

Plus en détail

MAT 2377 Solutions to the Mi-term

MAT 2377 Solutions to the Mi-term MAT 2377 Solutions to the Mi-term Tuesday June 16 15 Time: 70 minutes Student Number: Name: Professor M. Alvo This is an open book exam. Standard calculators are permitted. Answer all questions. Place

Plus en détail

APPENDIX 6 BONUS RING FORMAT

APPENDIX 6 BONUS RING FORMAT #4 EN FRANÇAIS CI-DESSOUS Preamble and Justification This motion is being presented to the membership as an alternative format for clubs to use to encourage increased entries, both in areas where the exhibitor

Plus en détail

RISK-BASED TRANSPORTATION PLANNING PRACTICE: OVERALL METIIODOLOGY AND A CASE EXAMPLE"' RESUME

RISK-BASED TRANSPORTATION PLANNING PRACTICE: OVERALL METIIODOLOGY AND A CASE EXAMPLE' RESUME RISK-BASED TRANSPORTATION PLANNING PRACTICE: OVERALL METIIODOLOGY AND A CASE EXAMPLE"' ERTUGRULALP BOVAR-CONCORD Etwiromnental, 2 Tippet Rd. Downsviel+) ON M3H 2V2 ABSTRACT We are faced with various types

Plus en détail

Formation en conduite et gestion de projets. Renforcer les capacités des syndicats en Europe

Formation en conduite et gestion de projets. Renforcer les capacités des syndicats en Europe Formation en conduite et gestion de projets Renforcer les capacités des syndicats en Europe Pourquoi la gestion de projets? Le département Formation de l Institut syndical européen (ETUI, European Trade

Plus en détail

AccessLearn Community Group: Introductory Survey. Groupe communautaire AccessLearn : étude introductive. Introduction.

AccessLearn Community Group: Introductory Survey. Groupe communautaire AccessLearn : étude introductive. Introduction. AccessLearn Community Group: Introductory Survey Introduction The W3C Accessible Online Learning Community Group (aka AccessLearn) is a place to discuss issues relating to accessibility and online learning,

Plus en détail

L intégration socioscolaire des jeunes Québécois d origine chinoise : le rôle des écoles ethniques complémentaires

L intégration socioscolaire des jeunes Québécois d origine chinoise : le rôle des écoles ethniques complémentaires L intégration socioscolaire des jeunes Québécois d origine chinoise : le rôle des écoles ethniques complémentaires Ming Sun Université de Montréal Haï Thach École Chinoise (Mandarin) de Montréal Introduction

Plus en détail

Experiences TCM QUALITY MARK. Project management Management systems ISO 9001 ISO 14001 ISO 22000

Experiences TCM QUALITY MARK. Project management Management systems ISO 9001 ISO 14001 ISO 22000 TCM QUALITY MARK Jean-Marc Bachelet Tocema Europe workshop 4 Project management Management systems ISO 9001 ISO 14001 ISO 22000 + lead auditors for certification bodies Experiences Private and state companies,

Plus en détail

Consultation PRIPs. Q. 9: Should pensions be explicitly excluded from the PRIPs initiative at this stage? Please justify or explain your answer.

Consultation PRIPs. Q. 9: Should pensions be explicitly excluded from the PRIPs initiative at this stage? Please justify or explain your answer. Consultation PRIPs Scope of the PRIPs Regime Q. 1: Should the PRIPs initiative focus on packaged investments? Please justify or explain your answer. Q. 2: Should a definition of PRIPs focus on fluctuations

Plus en détail

When you are told to do so, open your paper and write your answers in English in the spaces provided.

When you are told to do so, open your paper and write your answers in English in the spaces provided. FOR OFFICIAL USE C 000/403 NATIONAL QUALIFICATIONS 008 TUESDAY, 3 MAY.0 AM.0 PM Total FRENCH STANDARD GRADE Credit Level Reading Fill in these boxes and read what is printed below. Full name of centre

Plus en détail

Publication IEC 61000-4-3 (Edition 3.0 2008) I-SH 01

Publication IEC 61000-4-3 (Edition 3.0 2008) I-SH 01 Publication IEC 61000-4-3 (Edition 3.0 2008) I-SH 01 Electromagnetic compatibility (EMC) Part 4-3: Testing and measurement techniques Radiated, radio-frequency, electromagnetic field immunity test INTERPRETATION

Plus en détail

SC 27/WG 5 Normes Privacy

SC 27/WG 5 Normes Privacy SC 27/WG 5 Normes Privacy Club 27001 Toulousain 12/12/2014 Lionel VODZISLAWSKY Chief Information Officer l.vodzislawsky@celtipharm.com PRE-CTPM 141212-Club27001 Toulouse normes WG5_LV L organisation de

Plus en détail

A propos de ce livre Ceci est une copie numérique d un ouvrage conservé depuis des générations dans les rayonnages d une bibliothèque avant d être numérisé avec précaution par Google dans le cadre d un

Plus en détail

Guideline for the Index of the Quality of the Air

Guideline for the Index of the Quality of the Air Guideline for the Index of the Quality of the Air Report EPS 1/AP/3 April 1996 iii Readers Comments Comments regarding the content of this report should be addressed to: Tom Furmanczyk Pollution Data

Plus en détail

Initiative d excellence de l université de Bordeaux. Réunion du Comité stratégique 17-19 décembre 2014. Recommandations

Initiative d excellence de l université de Bordeaux. Réunion du Comité stratégique 17-19 décembre 2014. Recommandations Initiative d excellence de l université de Bordeaux Réunion du Comité stratégique 17-19 décembre 2014 Recommandations 2/1 RECOMMANDATIONS DU COMITE STRATEGIQUE Une feuille de route pour le conseil de gestion

Plus en détail

Level 2 French, 2003

Level 2 French, 2003 For Supervisor s 2 90398 Level 2 French, 2003 90398 Read and understand written language in French in less familiar contexts Credits: Six 9.30 am Friday 28 November 2003 Check that the National Student

Plus en détail

Organisation de Coopération et de Développement Economiques Organisation for Economic Co-operation and Development. Bil.

Organisation de Coopération et de Développement Economiques Organisation for Economic Co-operation and Development. Bil. A usage officiel/for Official Use C(2006)34 C(2006)34 A usage officiel/for Official Use Organisation de Coopération et de Développement Economiques Organisation for Economic Co-operation and Development

Plus en détail

RÉSUMÉ DE THÈSE. L implantation des systèmes d'information (SI) organisationnels demeure une tâche difficile

RÉSUMÉ DE THÈSE. L implantation des systèmes d'information (SI) organisationnels demeure une tâche difficile RÉSUMÉ DE THÈSE L implantation des systèmes d'information (SI) organisationnels demeure une tâche difficile avec des estimations de deux projets sur trois peinent à donner un résultat satisfaisant (Nelson,

Plus en détail

EU- Luxemburg- WHO Universal Health Coverage Partnership:

EU- Luxemburg- WHO Universal Health Coverage Partnership: EU- Luxemburg- WHO Universal Health Coverage Partnership: Supporting policy dialogue on national health policies, strategies and plans and universal coverage Year 2 Report Jan. 2013 - - Dec. 2013 [Version

Plus en détail

GCSE Bitesize Controlled Assessment

GCSE Bitesize Controlled Assessment GCSE Bitesize Controlled Assessment Model 2 (for A/A* grade) Question 4 Subject: Topic: French Speaking In this document you will find practical help on how to improve your grade. Before you start working

Plus en détail

AINoE. Rapport sur l audition d AINoE Paris, 18 juin 2003

AINoE. Rapport sur l audition d AINoE Paris, 18 juin 2003 AINoE Abstract Interpretation Network of Excellence Patrick COUSOT (ENS, Coordinator) Rapport sur l audition d AINoE Paris, 18 juin 2003 Thématique Rapport sur l audition d AINoE Paris, 18 juin 2003 1

Plus en détail

Promotion of bio-methane and its market development through local and regional partnerships. A project under the Intelligent Energy Europe programme

Promotion of bio-methane and its market development through local and regional partnerships. A project under the Intelligent Energy Europe programme Promotion of bio-methane and its market development through local and regional partnerships A project under the Intelligent Energy Europe programme Contract Number: IEE/10/130 Deliverable Reference: W.P.2.1.3

Plus en détail

conception des messages commerciaux afin qu ils puissent ainsi accroître la portée de leur message.

conception des messages commerciaux afin qu ils puissent ainsi accroître la portée de leur message. RÉSUMÉ Au cours des dernières années, l une des stratégies de communication marketing les plus populaires auprès des gestionnaires pour promouvoir des produits est sans contredit l utilisation du marketing

Plus en détail

GLOBAL COMPACT EXAMPLE

GLOBAL COMPACT EXAMPLE GLOBAL COMPACT EXAMPLE Global Compact Good Practice GROUPE SEB 2004-2005 1/4 FIRM: GROUPE SEB TITLE: GROUPE SEB Purchasing Policy contributing to sustainable development GC PRINCIPLES taken into account:

Plus en détail

Haslingden High School French Y8 Block C Set 1 HOMEWORK BOOKLET

Haslingden High School French Y8 Block C Set 1 HOMEWORK BOOKLET Haslingden High School French Y8 Block C Set 1 HOMEWORK BOOKLET Name: Form: Subject Teacher: Date Given: Date to Hand in: Level: Effort: House Points: Comment: Target: Parent / Guardian Comment: Complete

Plus en détail

Excellence dedicated to nuclear medicine, public health and environment

Excellence dedicated to nuclear medicine, public health and environment Excellence dedicated to nuclear medicine, public health and environment TOC 1. Introduction 2. Quick win 3. External events not in the original design basis 3. Costs 4. Perspectives Excellence dedicated

Plus en détail

2002 Maritime Mathematics Competition Concours de Mathématiques des Maritimes 2002

2002 Maritime Mathematics Competition Concours de Mathématiques des Maritimes 2002 2002 Maritime Mathematics Competition Concours de Mathématiques des Maritimes 2002 Instructions: Directives : 1 Provide the information requested below Veuillez fournir les renseignements demandés ci-dessous

Plus en détail

Net-université 2008-1-IS1-LEO05-00110. http://www.adam-europe.eu/adam/project/view.htm?prj=5095

Net-université 2008-1-IS1-LEO05-00110. http://www.adam-europe.eu/adam/project/view.htm?prj=5095 Net-université 2008-1-IS1-LEO05-00110 1 Information sur le projet Titre: Code Projet: Année: 2008 Type de Projet: Statut: Accroche marketing: Net-université 2008-1-IS1-LEO05-00110 Projets de transfert

Plus en détail

The potential of the building sector in sustainable and lowcarbon

The potential of the building sector in sustainable and lowcarbon The potential of the building sector in sustainable and lowcarbon strategies Arab Hoballah, UNEP SUSTAINABLE AND COMPETITIVE HOTELS THROUGH ENERGY INNOVATION - NEZEH 2015 L'INNOVATION ÉNERGÉTIQUE AU SERVICE

Plus en détail

Food for thought paper by the Coordinator on Reporting 1 PrepCom 3rd Review Conference 6 décembre 2013

Food for thought paper by the Coordinator on Reporting 1 PrepCom 3rd Review Conference 6 décembre 2013 Food for thought paper by the Coordinator on Reporting 1 PrepCom 3rd Review Conference 6 décembre 2013 (slide 1) Mr President, Reporting and exchange of information have always been a cornerstone of the

Plus en détail

Natixis Asset Management Response to the European Commission Green Paper on shadow banking

Natixis Asset Management Response to the European Commission Green Paper on shadow banking European Commission DG MARKT Unit 02 Rue de Spa, 2 1049 Brussels Belgium markt-consultation-shadow-banking@ec.europa.eu 14 th June 2012 Natixis Asset Management Response to the European Commission Green

Plus en détail

100004371 Social Finance Accelerator Initiative. July 10, 2015 Question:

100004371 Social Finance Accelerator Initiative. July 10, 2015 Question: 100004371 Social Finance Accelerator Initiative July 10, 2015 Question: Although I have not yet heard a response about my two prior questions, I have another question relating to the DOS Security Requirement.

Plus en détail

Instructions Mozilla Thunderbird Page 1

Instructions Mozilla Thunderbird Page 1 Instructions Mozilla Thunderbird Page 1 Instructions Mozilla Thunderbird Ce manuel est écrit pour les utilisateurs qui font déjà configurer un compte de courrier électronique dans Mozilla Thunderbird et

Plus en détail

Animation de la démarche Santé et Sécurité au Travail pour Les Crudettes SAS

Animation de la démarche Santé et Sécurité au Travail pour Les Crudettes SAS MINISTERE DE L AGRICULTURE LES CRUDETTES SAS www.lescrudettes.com MÉMOIRE DE FIN D ÉTUDES présenté pour l obtention du diplôme d ingénieur agronome spécialisation : Agro-alimentaire option : QUALI-RISQUES

Plus en détail

EN/FR. Europaudvalget 2013 Rådsmøde 3229 - transport, tele og energi Bilag 3 Offentligt COUNCIL OF THE EUROPEAN UNION. Brussels, 11 March 2013 7342/13

EN/FR. Europaudvalget 2013 Rådsmøde 3229 - transport, tele og energi Bilag 3 Offentligt COUNCIL OF THE EUROPEAN UNION. Brussels, 11 March 2013 7342/13 Europaudvalget 2013 Rådsmøde 3229 - transport, tele og energi Bilag 3 Offentligt COUNCIL OF THE EUROPEAN UNION Brussels, 11 March 2013 7342/13 TRANS 106 INFORMATION NOTE from: General Secretariat to: Council

Plus en détail

French 2208A. French for Healthcare Le français de la santé

French 2208A. French for Healthcare Le français de la santé French 2208A French for Healthcare Le français de la santé Professeur : Heures de bureau : Iryna Punko disponible tous les jours par courriel, sauf le week-end. Préalable - Fr 1900 E ou Fr 1910, ou permission

Plus en détail

Forthcoming Database

Forthcoming Database DISS.ETH NO. 15802 Forthcoming Database A Framework Approach for Data Visualization Applications A dissertation submitted to the SWISS FEDERAL INSTITUTE OF TECHNOLOGY ZURICH for the degree of Doctor of

Plus en détail

C est quoi, Facebook?

C est quoi, Facebook? C est quoi, Facebook? Si tu as plus de 13 ans, tu fais peut-être partie des 750 millions de personnes dans le monde qui ont un compte Facebook? Et si tu es plus jeune, tu as dû entendre parler autour de

Plus en détail

BILL C-682 PROJET DE LOI C-682 C-682 C-682 HOUSE OF COMMONS OF CANADA CHAMBRE DES COMMUNES DU CANADA

BILL C-682 PROJET DE LOI C-682 C-682 C-682 HOUSE OF COMMONS OF CANADA CHAMBRE DES COMMUNES DU CANADA C-682 C-682 Second Session, Forty-first Parliament, 62-63-64 Elizabeth II, 2013-2014-201 Deuxième session, quarante et unième législature, 62-63-64 Elizabeth II, 2013-2014-201 HOUSE OF COMMONS OF CANADA

Plus en détail

The French capacity market: on-going consultation on explicit XB participation. Chloé Latour Markets Department

The French capacity market: on-going consultation on explicit XB participation. Chloé Latour Markets Department The French capacity market: on-going consultation on explicit XB participation Chloé Latour Markets Department The French capacity market in a nutshell A market-based solution SUPPLIERS - Demand for Certificates

Plus en détail

Florida International University. Department of Modern Languages. FRENCH I Summer A Term 2014 FRE 1130 - U01A

Florida International University. Department of Modern Languages. FRENCH I Summer A Term 2014 FRE 1130 - U01A Florida International University Department of Modern Languages FRENCH I Summer A Term 2014 FRE 1130 - U01A Class time: Monday, Tuesday, Wednesday, Thursday; 6:20 P.M. - 9:00 P.M. Instructors: Prof. Jean-Robert

Plus en détail

that the child(ren) was/were in need of protection under Part III of the Child and Family Services Act, and the court made an order on

that the child(ren) was/were in need of protection under Part III of the Child and Family Services Act, and the court made an order on ONTARIO Court File Number at (Name of court) Court office address Applicant(s) (In most cases, the applicant will be a children s aid society.) Full legal name & address for service street & number, municipality,

Plus en détail

ICH Q8, Q9 and Q10. Krishnan R. Tirunellai, Ph. D. Bureau of Pharmaceutical Sciences Therapeutic Products Directorate Health Canada December 4, 2008

ICH Q8, Q9 and Q10. Krishnan R. Tirunellai, Ph. D. Bureau of Pharmaceutical Sciences Therapeutic Products Directorate Health Canada December 4, 2008 ICH Q8, Q9 and Q10 An Opportunity to Build Quality into Product Krishnan R. Tirunellai, Ph. D. Bureau of Pharmaceutical Sciences Therapeutic Products Directorate Health Canada December 4, 2008 Sequence

Plus en détail

Usage guidelines. About Google Book Search

Usage guidelines. About Google Book Search This is a digital copy of a book that was preserved for generations on library shelves before it was carefully scanned by Google as part of a project to make the world s books discoverable online. It has

Plus en détail

A propos de ce livre. Consignes d utilisation

A propos de ce livre. Consignes d utilisation A propos de ce livre Ceci est une copie numérique d un ouvrage conservé depuis des générations dans les rayonnages d une bibliothèque avant d être numérisé avec précaution par Google dans le cadre d un

Plus en détail

TRADITIONAL ARCHTECTURE AND URBANISM: CURRICULA AND TRAINING COURSE DEVELOPMENT-TAUMA

TRADITIONAL ARCHTECTURE AND URBANISM: CURRICULA AND TRAINING COURSE DEVELOPMENT-TAUMA COURSE DEVELOPMENT-TAUMA 2010-1-TR1-LEO05-16787 1 Information sur le projet Titre: Code Projet: TRADITIONAL ARCHTECTURE AND URBANISM: CURRICULA AND TRAINING COURSE DEVELOPMENT-TAUMA 2010-1-TR1-LEO05-16787

Plus en détail

GCSE Bitesize Controlled Assessment

GCSE Bitesize Controlled Assessment GCSE Bitesize Controlled Assessment Model 2 (for A/A* grade) Question 3 Subject: Topic: French Writing In this document you will find practical help on how to improve your grade. Before you start working

Plus en détail

Evaluation de la prime de risques de la vente d une bande d énergie nucléaire

Evaluation de la prime de risques de la vente d une bande d énergie nucléaire 28/3/2011 ANNEXE 6 (Source: Electrabel) Evaluation de la prime de risques de la vente d une bande d énergie nucléaire Si nous vendons une bande d énergie nucléaire à certains clients, que nous garantissons

Plus en détail

BA (Hons) French with Translation Studies F/T SH 322F

BA (Hons) French with Translation Studies F/T SH 322F BA (Hons) French with Translation Studies F/T SH 322F 1. Rationale With the advent of globalization, translation studies have become an imperative field to be taken on-board by department of languages.

Plus en détail

Sujet de TPE PROPOSITION

Sujet de TPE PROPOSITION Single photon source made of single nanodiamonds This project will consist in studying nanodiamonds as single photon sources. The student will study the emission properties of such systems and will show

Plus en détail

Archived Content. Contenu archivé

Archived Content. Contenu archivé ARCHIVED - Archiving Content ARCHIVÉE - Contenu archivé Archived Content Contenu archivé Information identified as archived is provided for reference, research or recordkeeping purposes. It is not subject

Plus en détail

ONTARIO Court File Number. Form 17E: Trial Management Conference Brief. Date of trial management conference. Name of party filing this brief

ONTARIO Court File Number. Form 17E: Trial Management Conference Brief. Date of trial management conference. Name of party filing this brief ONTARIO Court File Number at (Name of court) Court office address Form 17E: Trial Management Conference Brief Name of party filing this brief Date of trial management conference Applicant(s) Full legal

Plus en détail

Population aging : A catastrophe for our health care system?

Population aging : A catastrophe for our health care system? Population aging : A catastrophe for our health care system? Amélie Quesnel-Vallée Dept. of Epidemiology & Dept. of Sociology Lee Soderstrom Dept. of Economics McGill University A catastrophe? Population

Plus en détail

QUESTIONNAIRE DU PARTICIPANT

QUESTIONNAIRE DU PARTICIPANT QUESTIONNAIRE DU PARTICIPANT NOMS: PRÉNOM: DATE DE NAISSANCE: LIEU DE NAISSANCE: ADRESSE: TÉLÉPHONE FIXE: PORTABLE: COURRIER ÉLECTRONIQUE: PERSONNE À CONTACTER EN ESPAGNE EN CAS D URGENCE: TÉLÉPHONE EN

Plus en détail

APPROACHES TO SOCIAL LIFE CYCLE ASSESSMENT

APPROACHES TO SOCIAL LIFE CYCLE ASSESSMENT APPROACHES TO SOCIAL LIFE CYCLE ASSESSMENT Impossible d'afficher l'image. Votre ordinateur manque peut-être de Keynote lecture, 3 rd International Seminar on Social LCA 6 th May 2013 Professor Roland Clift

Plus en détail

Section B: Receiving and Reviewing the Technician Inspection Report & Claims Decision Process

Section B: Receiving and Reviewing the Technician Inspection Report & Claims Decision Process Phoenix A.M.D. International Inc. - Claim Procedures, Timelines & Expectations Timelines & Expectations 1. All telephone messages and e-mail correspondence is to be handled and responded back to you within

Plus en détail

Editing and managing Systems engineering processes at Snecma

Editing and managing Systems engineering processes at Snecma Editing and managing Systems engineering processes at Snecma Atego workshop 2014-04-03 Ce document et les informations qu il contient sont la propriété de Ils ne doivent pas être copiés ni communiqués

Plus en détail

PC industriels et disques associés

PC industriels et disques associés Technical Service Bulletin PRODUIT DATE CREATION DATE MODIFICATION FICHIER PC INDUSTRIEL 23/03/2010 201005 REV A PC industriels et disques associés English version follows. SF01 (du 4 au 8 janvier 2010)

Plus en détail

Safety Management System

Safety Management System Safety Management System For small ATO Implementation of SMS for small and very small ATO A specific situation Safety Management System For small ATO FTO - TRTO (AIRPLANES) Safety Management System For

Plus en détail

Niveau débutant/beginner Level

Niveau débutant/beginner Level LE COFFRE À OUTILS/THE ASSESSMENT TOOLKIT: Niveau débutant/beginner Level Sampler/Echantillon Instruments d évaluation formative en français langue seconde Formative Assessment Instruments for French as

Plus en détail

Construire son projet : Rédiger la partie impacts (2/4) Service Europe Direction des Programmes et de la Formation pour le Sud

Construire son projet : Rédiger la partie impacts (2/4) Service Europe Direction des Programmes et de la Formation pour le Sud Construire son projet : Rédiger la partie impacts (2/4) Service Europe Direction des Programmes et de la Formation pour le Sud Sommaire Construire son projet : Rédiger la partie impacts (2/4) Comment définir

Plus en détail

AUDIT COMMITTEE: TERMS OF REFERENCE

AUDIT COMMITTEE: TERMS OF REFERENCE AUDIT COMMITTEE: TERMS OF REFERENCE PURPOSE The Audit Committee (the Committee), assists the Board of Trustees to fulfill its oversight responsibilities to the Crown, as shareholder, for the following

Plus en détail

Photo Manipulations in the 2011 CES

Photo Manipulations in the 2011 CES Canadian Election Study Methodological Briefs Methodological Brief #2013-A Photo Manipulations in the 2011 CES Patrick Fournier, Université de Montréal Stuart Soroka, McGill University Fred Cutler, University

Plus en détail

Gestion des prestations Volontaire

Gestion des prestations Volontaire Gestion des prestations Volontaire Qu estce que l Income Management (Gestion des prestations)? La gestion des prestations est un moyen de vous aider à gérer votre argent pour couvrir vos nécessités et

Plus en détail

National Health Survey. Le Luxembourg dans le contexte international

National Health Survey. Le Luxembourg dans le contexte international National Health Survey Le Luxembourg dans le contexte international Ministère de la Santé conférence de presse du 25 février 9 Présentation de l étude 2 Fiche technique Un échantillon de 484 personnes

Plus en détail

C est quoi, Facebook?

C est quoi, Facebook? C est quoi, Facebook? aujourd hui l un des sites Internet les plus visités au monde. Si tu as plus de 13 ans, tu fais peut-être partie des 750 millions de personnes dans le monde qui ont une page Facebook?

Plus en détail

Placement test for those considering enrolment into the French 2 nd Yr course at Professional and Continuing Education (PCE)

Placement test for those considering enrolment into the French 2 nd Yr course at Professional and Continuing Education (PCE) Professional and Continuing Education Placement test for those considering enrolment into the French 2 nd Yr course at Professional and Continuing Education (PCE) Ideally, this placement test is to be

Plus en détail

CMBEC 32 May 22, 2009

CMBEC 32 May 22, 2009 MEDICAL DEVICE REGULATIONS OVERVIEW CMBEC 32 May 22, 2009 Sarah Chandler A/Head, Regulatory and Scientific Section Medical Devices Bureau (MDB) Therapeutic Products Directorate (TPD) 613-954-0285 sarah_chandler@hc-sc.gc.ca

Plus en détail

eid Trends in french egovernment Liberty Alliance Workshop April, 20th 2007 French Ministry of Finance, DGME

eid Trends in french egovernment Liberty Alliance Workshop April, 20th 2007 French Ministry of Finance, DGME eid Trends in french egovernment Liberty Alliance Workshop April, 20th 2007 French Ministry of Finance, DGME Agenda What do we have today? What are our plans? What needs to be solved! What do we have today?

Plus en détail

BILL C-539 PROJET DE LOI C-539 C-539 C-539 HOUSE OF COMMONS OF CANADA CHAMBRE DES COMMUNES DU CANADA. An Act to promote local foods

BILL C-539 PROJET DE LOI C-539 C-539 C-539 HOUSE OF COMMONS OF CANADA CHAMBRE DES COMMUNES DU CANADA. An Act to promote local foods C-539 C-539 First Session, Forty-first Parliament, Première session, quarante et unième législature, HOUSE OF COMMONS OF CANADA CHAMBRE DES COMMUNES DU CANADA BILL C-539 PROJET DE LOI C-539 An Act to promote

Plus en détail

Instaurer un dialogue entre chercheurs et CÉR: pourquoi? Me Emmanuelle Lévesque Centre de génomique et politiques Université McGill

Instaurer un dialogue entre chercheurs et CÉR: pourquoi? Me Emmanuelle Lévesque Centre de génomique et politiques Université McGill Instaurer un dialogue entre chercheurs et CÉR: pourquoi? Me Emmanuelle Lévesque Centre de génomique et politiques Université McGill Perceptions de perte de confiance dans la littérature récente: des exemples

Plus en détail

Control your dog with your Smartphone. USER MANUAL www.pet-remote.com

Control your dog with your Smartphone. USER MANUAL www.pet-remote.com Control your dog with your Smartphone USER MANUAL www.pet-remote.com Pet-Remote Pet Training Pet-Remote offers a new and easy way to communicate with your dog! With the push of a single button on your

Plus en détail

Le passé composé. C'est le passé! Tout ça c'est du passé! That's the past! All that's in the past!

Le passé composé. C'est le passé! Tout ça c'est du passé! That's the past! All that's in the past! > Le passé composé le passé composé C'est le passé! Tout ça c'est du passé! That's the past! All that's in the past! «Je suis vieux maintenant, et ma femme est vieille aussi. Nous n'avons pas eu d'enfants.

Plus en détail

David Marsden Labour market segmentation in Britain: the decline of occupational labour markets and the spread of entry tournaments

David Marsden Labour market segmentation in Britain: the decline of occupational labour markets and the spread of entry tournaments David Marsden Labour market segmentation in Britain: the decline of occupational labour markets and the spread of entry tournaments Article (Accepted version) (Refereed) Original citation: Marsden, David

Plus en détail

INSTITUT MARITIME DE PREVENTION. For improvement in health and security at work. Created in 1992 Under the aegis of State and the ENIM

INSTITUT MARITIME DE PREVENTION. For improvement in health and security at work. Created in 1992 Under the aegis of State and the ENIM INSTITUT MARITIME DE PREVENTION For improvement in health and security at work Created in 1992 Under the aegis of State and the ENIM Maritime fishing Shellfish-farming Sea transport 2005 Le pilier social

Plus en détail

Gestion des revenus. Référé par les services de la Protection de l enfance

Gestion des revenus. Référé par les services de la Protection de l enfance Gestion des revenus Référé par les services de la Protection de l enfance Qu est-ce que la gestion des revenus (Income Management)? La Gestion des revenus (Income Management) est un moyen pour vous aider

Plus en détail

BA (Hons) French with Translation Studies P/T SH 322

BA (Hons) French with Translation Studies P/T SH 322 BA (Hons) French with Translation Studies P/T SH 322 1. Rationale With the advent of globalization, translation studies have become an imperative field to be taken on-board by department of languages.

Plus en détail

L ouverture des données de la recherche en 2015 : définitions, enjeux, dynamiques

L ouverture des données de la recherche en 2015 : définitions, enjeux, dynamiques L ouverture des données de la recherche en 2015 : définitions, enjeux, dynamiques «Re-analysis is a powerful tool in the review of important studies, and should be supported with data made available by

Plus en détail

FEUILLE RESUME APPEL A CANDIDATURE ARSLA 2012

FEUILLE RESUME APPEL A CANDIDATURE ARSLA 2012 FEUILLE RESUME APPEL A CANDIDATURE ARSLA 2012 Titre du projet / Title of the project Etude Abstract en Français Somme totale demandée (en euros) / Proposed budget (in euros) Expertise / Expertise Indiquer

Plus en détail

GRAPHIC STANDARDS MANUAL

GRAPHIC STANDARDS MANUAL GRAPHIC STANDARDS MANUAL CHARTE GRAPHIQUE This Graphic Standards Manual is aimed at the relays of the Europe Direct information network. They are members of a single family dedicated to the same aim: the

Plus en détail

Table of Contents. Patent ambush in the US and the EU : How wide is the gap?

Table of Contents. Patent ambush in the US and the EU : How wide is the gap? Table of Contents PART I Patent ambush in the US and the EU : How wide is the gap? I the economics of patent ambush... 13 I. Introduction... 13 II. The U.S. patent system and its flaws... 14 III. Competition

Plus en détail

Comprendre l impact de l utilisation des réseaux sociaux en entreprise SYNTHESE DES RESULTATS : EUROPE ET FRANCE

Comprendre l impact de l utilisation des réseaux sociaux en entreprise SYNTHESE DES RESULTATS : EUROPE ET FRANCE Comprendre l impact de l utilisation des réseaux sociaux en entreprise SYNTHESE DES RESULTATS : EUROPE ET FRANCE 1 Objectifs de l étude Comprendre l impact des réseaux sociaux externes ( Facebook, LinkedIn,

Plus en détail