traitement des données manquantes dans les données de panel

pour l'obtention du grade de Maıtre `es sciences (M.Sc.) FACULTÉ ..... ser la méthode de Gauss-Legendre qui est basée sur le calcul numérique des intégrales.

Télécharger le PDF

3MB taille 124 téléchargements 145 vues

commentaire

Report

Mohamed Adel BARHOUMI

´ TRAITEMENT DES DONNEES MANQUANTES ´ DANS LES DONNEES DE PANEL : CAS DES ´ VARIABLES DEPENDANTES DICHOTOMIQUES

Mémoire présenté a` la Faculté des études supérieures de l’Université Laval dans le cadre du programme de maˆıtrise en statistique pour l’obtention du grade de Maˆıtre ès sciences (M.Sc.)

´ DES SCIENCES ET DE GENIE ´ FACULTE ´ UNIVERSITE LAVAL ´ QUEBEC

Février 2006

c

Mohamed Adel Barhoumi, 2006

R´ esum´ e Dans ce document, nous examinons la performance de l’estimation par la méthode bayésienne et celle par la méthode de vraisemblance. En premier lieu, on s’intéresse au cas o` u la base de données est complète pour estimer un modèle dichotomique par l’approche du maximum de vraisemblance et qui sera comparée a` l’estimation du modèle par l’approche bayesienne ; dans ce dernier cas, on utilise la méthode d’échantillonnage de Gibbs. En deuxième lieu, on étudie l’impact du mécanisme de données manquantes ainsi que l’étude des cas complets sur l’estimation des paramètres du modèle. En outre, on utilise les modèles MCAR, MAR et NMAR. Nous illustrons ces méthodes d’estimation a` l’aide des données simulées, ainsi qu’avec des données réelles portant sur la décision d’emploi ou de travail chez les jeunes.

Avant-propos Je tiens a` remercier sincèrement mon directeur de recherche Monsieur Louis-Paul Rivest, professeur au Département de mathématique et de statistique de l’Université Laval, pour ses conseils judicieux, sa patience ainsi que sa disponibilité ; j’ai beaucoup apprécié travailler sous sa direction. Son encouragement et son aide m’ont permis de mener ce travail a` terme. J’aimerais aussi remercier Monsieur Denis Bolduc pour son aide et ses conseils précieux. Je désire remercier mes parents ; je pense a` ma mère ; tes conseils et tes sacrifices sont gravés dans mon esprit et me guideront pour toute la vie et a` mon père ; ta patience et ton soutien moral au long de mes études ont été pour moi d’un grand réconfort. Je pense aussi a` mon ami Ali et a` son épouse Asma pour leur support et leur dévouement, a` mes frères et soeurs pour leur compréhension et leur amour qui m’ont donné la force de continuer. Je tiens particulièrement a` remercier ma fiancée Olfa. J’aimerais enfin remercier Kamel Béji pour la relecture du mémoire.

Table des mati` eres R´ esum´ e

ii

Avant-Propos

iii

Table des mati` eres

iv

Liste des tableaux

v

Table des figures

vii

1 Introduction

1

2 Donn´ ees longitudinales compl` etes 2.1 Panels complets . . . . . . . . . . 2.1.1 Modèles de panel . . . . . 2.2 Modèle dichotomique . . . . . . . 2.2.1 Fonction de vraisemblance 2.3 Algorithme de maximisation de la 2.3.1 Formule de Gauss . . . . .

. . . . . .

3 3 4 5 5 6 7

. . . . . . . . . .

9 9 9 11 12 12 14 17 19 20 20

4 Donn´ ees longitudinales incompl` etes 4.1 Panels incomplets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27 27

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . fonction de vraisemblance . . . . . . . . . . . . . . .

3 Approche bayesienne 3.1 Approche bayesienne . . . . . . . . . . . . . . . . 3.1.1 Survol de la méthodologie bayesienne . . 3.1.2 Distributions a priori . . . . . . . . . . . . 3.2 Inférence bayesienne . . . . . . . . . . . . . . . . ´ 3.3 Echantillonnage de Gibbs . . . . . . . . . . . . . 3.3.1 Modèle dichotomique . . . . . . . . . . . . 3.3.2 Estimation par l’approche bayesienne . . . 3.4 Résultats . . . . . . . . . . . . . . . . . . . . . . . 3.4.1 Estimateur du maximum de vraisemblance 3.4.2 Résultats par l’échantillonnage de Gibbs .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . .

. . . . . . . . . .

. . . . . .

. . . . . . . . . .

. . . . . .

. . . . . . . . . .

. . . . . .

. . . . . . . . . .

. . . . . .

. . . . . . . . . .

v

4.2 Modèles pour le mécanisme de non-réponse . . . . . . . . . . . . . . . . 4.3 Augmentation de données . . . . . . . . . . . . . . . . . . . . . . . . . 4.3.1 L’algorithme de base . . . . . . . . . . . . . . . . . . . . . . . . 4.3.2 Convergence de l’algorithme d’augmentation de données . . . . 4.4 Estimation pour le modèle dichotomique en pré- sence de données manquantes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.4.1 Mécanisme MCAR . . . . . . . . . . . . . . . . . . . . . . . . . 4.4.2 Mécanisme MAR . . . . . . . . . . . . . . . . . . . . . . . . . . 4.4.3 Mécanisme NMAR . . . . . . . . . . . . . . . . . . . . . . . . . ´ 4.4.4 Etude des cas complets . . . . . . . . . . . . . . . . . . . . . . . 4.4.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5 Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5.1 Mécanisme MCAR . . . . . . . . . . . . . . . . . . . . . . . . . 4.5.2 Mécanisme MAR . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5.3 Mécanisme NMAR . . . . . . . . . . . . . . . . . . . . . . . . . ´ 4.5.4 Etude des cas complets . . . . . . . . . . . . . . . . . . . . . . .

27 29 29 31 32 33 39 45 50 57 58 59 64 69 74

5 Conclusion

80

Bibliographie

81

A Distributions a posteriori : cas de donn´ ees compl` etes

85

B Programmes Stata et Matlab B.1 Pragrammes d’estimation par le maximum de vraisemblance . . . . . . B.2 Programmes d’estimation par l’échantillonnage de Gibbs . . . . . . . . B.2.1 Programme d’estimation par l’échantillonnage de Gibbs : base de données complètes . . . . . . . . . . . . . . . . . . . . . . . . . B.2.2 Programme adapté a des données manquantes selon différents mécanismes de non réponse . . . . . . . . . . . . . . . . . . . . B.2.3 Programme pour le mécanisme MAR . . . . . . . . . . . . . . . B.3 Programme pour les cas complets . . . . . . . . . . . . . . . . . . . . .

89 89 92

97 101 106

C R´ esultats pour diff´ erentes simulations C.1 Simulations pour le mécanisme MCAR . . . . . . . . . . C.2 Simulations pour le mécanisme MAR . . . . . . . . . . . C.3 Simulation pour le mécanisme NMAR . . . . . . . . . . . C.4 Simulation pour l’étude des cas complets base de données

112 112 114 116 117

. . . . . . . . . . . . . . . MCAR

. . . .

. . . .

. . . .

92

Liste des tableaux 3.1 Estimation du maximum de vraisemblance . . . . . . . . . . . . . . . . 3.2 Les différents scénarios . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3 Résultats via l’échantillonnage de Gibbs pour un échantillon de taille 100 et dont les vraies valeurs pour µ, β et σ 2 sont 0, 1 et 1, respectivement. 4.1 Résultats via l’échantillonnage de Gibbs, scénario 1, avec différentes proportions de données manquantes MCAR dans chaque période . . . . . 4.2 Résultats via l’échantillonnage de Gibbs, scénario 1, avec différentes proportions de données manquantes MAR dans chaque période . . . . . . 4.3 Résultats via l’échantillonnage de Gibbs, scénario 1, avec différentes proportions de données manquantes NMAR dans chaque période . . . . . 4.4 Résultats via l’échantillonnage de Gibbs, scénario 1, avec différentes proportions de donnée manquante CC-MCAR dans chaque période . . . . 4.5 Résultats via l’échantillonnage de Gibbs avec différentes proportions de données manquantes NMAR, étude des cas complets : scénario 1 du tableau 3.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.6 Description de la base de données : Moyenne des variables explicatives 4.7 Résultats via l’échantillonnage de Gibbs avec différentes proportions de données manquantes MCAR, . . . . . . . . . . . . . . . . . . . . . . . 4.8 Résultats via l’échantillonnage de Gibbs avec différentes proportions de données manquantes MAR . . . . . . . . . . . . . . . . . . . . . . . . 4.9 Résultats via l’échantillonnage de Gibbs avec de différentes proportions de données manquantes NMAR. . . . . . . . . . . . . . . . . . . . . . 4.10 Résultats via l’échantillonnage de Gibbs avec différentes proportions de données manquantes MCAR, études des cas complets. . . . . . . . . . C.1 Résultats via l’échantillonnage de Gibbs scénario 1 avec de différents proportions de données manquantes MCAR dans chaque période . . . C.2 Résultats via l’échantillonnage de Gibbs scénario1 avec de différents proportions de données manquantes MAR dans chaque période . . . . . . C.3 Résultats via l’échantillonnage de Gibbs scénario1 avec de différents proportions de données manquantes NMAR dans chaque période . . . . .

20 20 21

34 40 45 51

52 58 59 64 69 74

113 115 116

vii

C.4 Résultats via l’échantillonnage de Gibbs scénario 1 avec de différents proportions de données manquantes MCAR dans chaque période : étude des cas complets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

117

Table des figures 3.1 Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement : scénario 1 du tableau 3.2 . . . . . . . . . . . . . . . . 3.2 Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement : scénario 4 du tableau 3.2 . . . . . . . . . . . . . . . . 3.3 Convergences de β, µ et σ 2 , ayant les vraies valeurs 1, 0 et 1, respectivement : scénario 1 du tableau 3.2 . . . . . . . . . . . . . . . . . . . . . . 3.4 Convergences de β, µ et σ 2 , ayant les vraies valeurs 1, 0 et 1, respectivement : scénario 4 du tableau 3.2 . . . . . . . . . . . . . . . . . . . . . . 4.1 Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données MCAR avec 5% de données manquantes : scénario 1 du tableau 3.2 . . . . . . . . . . . . . . . . . . . . . . . . . 4.2 Convergences de β, µ et σ 2 , ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données MCAR avec 5% de données manquantes : scénario 1 du tableau 3.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3 Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données MCAR avec 66% de données manquantes : scénario 1 du tableau 3.2 . . . . . . . . . . . . . . . . . . . . . . . . . 4.4 Convergences de β, µ et σ 2 , ayant les vraies valeurs 1, 0 et 1, respectivement, MCAR avec 66% de données manquantes : scénario 1 du tableau 3.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5 Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données MAR de 5% : scénario 1 du tableau 3.2 4.6 Convergences de β, µ et σ 2 , ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données MAR de 5% : scénario 1 du tableau 3.2 . . . . . . 4.7 Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données MAR avec 66% de données manquantes : scénario 1 du tableau 3.2 . . . . . . . . . . . . . . . . . . . . . . . . . . 4.8 Convergences de β, µ et σ 2 , ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données MAR avec 66% de données manquantes : scénario 1 du tableau 3.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22 23 24 25

35

36

37

38 41 42

43

44

ix

4.9 Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données NMAR avec 5% de données manquantes : scénario 1 du tableau 3.2 . . . . . . . . . . . . . . . . . . . . . . . . . 4.10 Convergences de β, µ et σ 2 , ayant les vraies valeurs 1, 0 et 1, respectivement, Cas de données NMAR avec 5% de données manquantes : scénario 1 du tableau 3.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.11 Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données NMAR avec 60% de données manquantes : scénario 1 du tableau 3.2 . . . . . . . . . . . . . . . . . . . . . . . . . 4.12 Convergences de β, µ et σ 2 , ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données NMAR avec 60% de données manquantes : scénario 1 du tableau 3.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.13 Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, avec une proportion de données manquantes de 5%, analyse des cas complets MCAR : scénario 1 du tableau 3.2 . . . . . . . . . . . 4.14 Convergence de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, avec une proportion de données manquantes de 5%, analyse des cas complets MCAR : scénario 1 du tableau 3.2 . . . . . . . . . . . . . 4.15 Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, avec une proportion de données manquantes de 66%, analyse des cas complets MCAR : scénario 1 du tableau 3.2 . . . . . . . 4.16 Convergence de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, avec une proportion de données manquantes de 66%, analyse des cas complets MCAR : scénario 1 du tableau 3.2 . . . . . . . . . . . . . 4.17 Densités a posteriori de β, µ et σ 2 , avec une proportion de données manquantes de 7%, analyse des cas MCAR . . . . . . . . . . . . . . . . 4.18 Convergence de β, µ et σ 2 , avec une proportion de données manquantes de 7%, analyse des cas MCAR . . . . . . . . . . . . . . . . . . . . . . . 4.19 Densités a posteriori de β, µ et σ 2 , avec une proportion de données manquantes de 62%, analyse des cas MCAR . . . . . . . . . . . . . . . 4.20 Convergence de β, µ et σ 2 , avec une proportion de données manquantes de 62%, analyse des cas MCAR . . . . . . . . . . . . . . . . . . . . . . 4.21 Densités a posteriori de β, µ et σ 2 , avec une proportion de données manquantes de 10%, analyse des cas MAR . . . . . . . . . . . . . . . . 4.22 Convergence de β, µ et σ 2 , avec une proportion de données manquantes de 10%, analyse des cas MAR . . . . . . . . . . . . . . . . . . . . . . . 4.23 Densités a posteriori de β, µ et σ 2 , avec une proportion de données manquantes de 42%, analyse des cas MAR . . . . . . . . . . . . . . . . 4.24 Convergence de β, µ et σ 2 , avec une proportion de données manquantes de 42%, analyse des cas MAR . . . . . . . . . . . . . . . . . . . . . . .

46

47

48

49

53

54

55

56 60 61 62 63 65 66 67 68

x

4.25 Densités a posteriori de β, µ et σ 2 , avec une proportion de données manquantes de 7%, analyse des cas NMAR . . . . . . . . . . . . . . . . 4.26 Convergence de β, µ et σ 2 , avec une proportion de données manquantes de 7%, analyse des cas NMAR . . . . . . . . . . . . . . . . . . . . . . . 4.27 Densités a posteriori de β, µ et σ 2 , avec une proportion de données manquantes de 65%, analyse des cas NMAR . . . . . . . . . . . . . . . 4.28 Convergence de β, µ et σ 2 , avec une proportion de données manquante de 65%, analyse des cas NMAR . . . . . . . . . . . . . . . . . . . . . . 4.29 Densités a posteriori de β, µ et σ 2 , avec une proportion de données manquantes de 7%, analyse des cas Complets . . . . . . . . . . . . . . 4.30 Convergence de β, µ et σ 2 , avec une proportion de données manquantes de 7%, analyse des cas cas complets . . . . . . . . . . . . . . . . . . . . 4.31 Densités a posteriori de β, µ et σ 2 , avec une proportion de données manquante de 62%, analyse des cas complets . . . . . . . . . . . . . . 4.32 Convergence de β, µ et σ 2 , avec une proportion de données manquante de 62%, analyse des cas complets . . . . . . . . . . . . . . . . . . . . .

70 71 72 73 75 76 77 78

Chapitre 1 Introduction Lors de l’analyse d’enquêtes, il est très fréquent de confronter le problème de données manquantes. Ce phénomène se manifeste par le refus de certaines personnes de répondre a` certaines questions (on parle dans ce cas de non réponse partielle) ou encore de répondre au questionnaire au complet (il s’agit de la non réponse totale). Une autre situation se manifeste également lorsqu’il est impossible de suivre certains individus dans une enquête par panel (ou longitudinale). Ces données manquantes peuvent se retrouver dans les variables dépendantes ou les variables explicatives. La présence de ces dernières entraˆıne une estimation moins précise des paramètres d’intérêt. Il existe plusieurs solutions au problème de données manquantes. Une solution consiste a` éliminer toutes les observations qui comportent au moins une variable a` valeur manquante on parle dans ce cas de l’analyse des cas complets (CC). En effet, la stratégie d’élimination des observations incomplètes est la solution par défault de la majorité des logiciels statistiques. Cependant cette méthode est généralement inappropriée, parce que la perte d’informations qui en découle peut générer un biais important, dont on discutera plus loin dans ce document. En plus, l’analyste s’intéresse a` l’inférence a` partir de l’échantillon au complet. Ce travail porte sur l’étude des données manquantes dans le cas d’une enquête par panel. Litte et Rubin (2002) présentent différents mécanismes de données manquantes. Il peut s’agir soit d’un mécanisme manquant complètement au hasard (MCAR), d’un mécanisme manquant au hasard (MAR) et d’un mécanisme n’est pas manquant au hasard (NMAR). Yi et Thompson (2005), utilisent l’approche de maximum de vraisemblance pour estimer a` la fois la moyenne de la variable réponse et les paramètres d’association d’une base de données longitudinales binaires incomplètes avec un mécanisme NMAR. Ibrahim et al. (2005) comparent quatres approches d’inférence pour les modèles linéaires généralisés avec données ayant des variables explicatives manquantes et o` u le

Chapitre 1. Introduction

2

mécanisme de non réponse est MAR : La méthode de maximum de vraisemblance, l’imputation multiple, la méthode bayésienne et la méthode d’estimation d’équation pondérée. L’objectif premier de ce travail est de comparer les méthodes de maximum de vraisemblance et bayesienne combinée avec l’échantillonnage de Gibbs pour l’estimation d’un modèle binaire. La deuxième partie de ce travail porte sur l’utilisation de l’approche bayesienne et l’échantillonnage de Gibbs pour contourner le problème de données manquantes. Plus précisemment, on s’intéresse a` l’étude des cas complets ainsi qu’aux différents mécanismes de données manquantes, MCAR, MAR et NMAR. Pour ce faire, nous exploitons une base de données synthétiques en premier lieu et en deuxième lieu on utilise une base de données réelles.

Chapitre 2 Donn´ ees longitudinales compl` etes

2.1

Panels complets

Pour qualifier les bases de données pour lesquelles nous possédons de l’information temporelle concernant un ensemble d’individus, nous utilisons le terme données panel. Ces dernières sont composées de coupes transversales et de coupes temporelles. Si chaque individu participe a` chacune des coupes temporelles de l’enquête, nous parlons alors d’une base de panels complets, c’est-à-dire un regroupement de coupes transversales o` u tous les individus sont observés a` chaque période. Les grands avantages des données panel se résument comme suit : 1. Expliquer les effets dynamiques entre les agents, par exemple pour mesurer le taux de chômage, les coupes transversales peuvent estimer la proportion des chômeurs a` une période donnée. Les données panel permettent de suivre l’évolution de la situation de ces derniers dans le temps. 2. Identifier et mesurer les effets dynamiques que les données transversales ne peuvent pas détecter. Par exemple si on veut savoir si le marriage (homme-femme) peut augmenter ou diminuer le salaire d’un travailleur, alors il faut observer le salaire des travailleurs avant et après le marriage, ce qui nécessite l’utilisation des données panel. 3. Contrˆ oler l’hétérogeneité des individus. Aussi, interroger a` répétition les différents individus permet d’avoir une base de données plus informative et contenant des informations diverses. Par contre, plusieurs inconvénients reliés aux données longitudinales complètes limitent leur disponibilité dans la pratique. Le premier inconvénient est celui du suivi des per-

Chapitre 2. Données longitudinales complètes

4

sonnes échantillonnées et est associé au problème de la non réponse. En effet, dès que nous observons la présence des données manquantes, qui peuvent concerner des variables, des unités pour certaines périodes, ou provenir du fait que certaines unités de la dimension transversale ne sont pas observées a` toutes les périodes, nous avons alors des données longitudinales incomplètes, que nous présentons au chapitre suivant. Pour plus de détails il faut se référer a` Baltagi (1995, chapitre 1). Dans la prochaine section, on présente différents modèles de panel.

2.1.1

Mod` eles de panel

Il existe beaucoup de littérature concernant la modélisation des données panel. Nous présenterons deux modèles de panel. Pour cela, prenons comme exemple le modèle de regression linéaire suivant : yit = θ + βxit + uit , i = 1, ..., n et t = 1, ..., T,

(2.1)

uit = αi + it , o` u xit est la variable explicative et yit est la variable dépendante a` caractère continu. L’indice i est celui de l’individu alors que t représente le temps. La composante αi représente la caractéristque de l’individu i, β est le paramètre d’intérêt et it est le terme d’erreur qui suit une distribution N (0, σ 2 ). Le terme uit dénote l’erreur composée du modèle, d’o` u l’appellation, modèle a` erreur composée. Dans ce cas, nous sommes en présence d’un modèle a` erreur composée «One-Way Error Component Regression Model». La notation de ce modèle varie selon la nature du paramètre αi . Si αi est fixe alors il s’agit d’un modèle de panel a ` effets fixes, et si αi est aléatoire alors on parle d’un modèle a ` effets aléatoires. Il existe aussi un autre type de modèle de panel : yit = θ + βxit + uit , i = 1, ..., n et t = 1, ..., T, uit = αi + λt + it , o` u λt est l’effet temporel ; dans ce cas on parle d’un modèle «Two-Way Error Component Regression Model». Dans ce contexte, on parle d’un modèle a` effets fixes si λt et αi sont fixes et on parle d’un modèle a` effets aléatoires si ces deux paramètres sont aléatoires. ` la section prochaine Pour plus de détails a` ce sujet voir Baltagi (1995, chapitre 2). A nous présentons le modèle d’intérêt ainsi que différentes méthodes d’estimation.

Chapitre 2. Données longitudinales complètes

2.2

5

Mod` ele dichotomique

Supposons que nous visitons chaque individu T fois. Soient Yit , la variable réponse pour l’individu i a` la période t, et Yi = (Yi1 , ...YiT ), le vecteur réponse pour l’individu i = 1, ..., n. Le modèle fait intervenir une variable latente Yit∗ . Une réalisation de Yi est ∗ ∗ 0 notée par yi = (yi1 , ...yiT )0 et une réalisation de Yi∗ est notée par Yi∗ = (yi1 , ...yiT ) . Soit xi = (xi1 , ..., xiT ) un vecteur de covariables de dimension (T × 1) pour l’individu i. Si Yi est dichotomique, un des modèles les plus flexibles est le probit que nous décrivons dans cette sous section. Posons

Yit =

(

1, si Yit∗ ≥ 0 0, si Yit∗ < 0 ,

o` u i = 1, ..., n est l’indice de l’individu, t = 1, ..., T est le temps et Yit∗ est une variable latente qui s’écrit comme

Yit∗ = αi + βxit + it ,

(2.2)

o` u le paramètre αi représente l’effet individuel non observable. Nous supposons que αi est une variable aléatoire de loi normale de moyenne µ et variance σ 2 et it ∼ N (0, 1). On a alors

P (Yit = 1|αi , β, xit ) = Φ(αi + βxit ) ce qui donne P (Yit = yit |αi ) = [Φ(αi + βxit )]yit [1 − Φ(αi + βxit )]1−yit . Les paramètres d’intérêt sont β, µ et σ 2 . Dans la section suivante, nous nous penchons sur la fonction de vraisemblance du modèle.

2.2.1

Fonction de vraisemblance

Soient yi = (yi1 , ..., yiT ) et xi = (xi1 , ..., xiT ), les données dont nous disposons et supposons que (yi1 , ..., yiT ) sont indépendants sachant (xi , αi ). Donc la distribution conditionnelle de (yi1 , ..., yiT |xi , αi ), étant donné β, est

Chapitre 2. Données longitudinales complètes

f (yi |αi , β, xi ) =

T Y t=1

[Φ(αi + βxit )]yit [1 − Φ(αi + βxit )]1−yit .

6

(2.3)

Mais puisque les αi ne sont pas observables, alors il ne faut pas qu’ils apparaissent dans l’expression de la fonction de vraisemblance. Il faut utiliser la distribution marginale de yi donnée par

∞

1 1 2 exp − 2 (αi − µ) dαi f (yi |αi , β, xi ) √ fm (yi |β, xi , µ, σ) = 2σ 2πσ −∞ Z

(2.4)

Le logarithme de (2.4) donne la log-vraisemblance marginale, li (θ), de l’individu i, avec θ = (β, σ 2 , µ). Le logarithme de la fonction de vraisemblance est :

l(θ) =

n X

li (θ).

(2.5)

i=1

Dans la section suivante, nous présenterons l’algorithme que nous avons utilisé pour maximiser cette fonction.

2.3

Algorithme de maximisation de la fonction de vraisemblance

La fonction de vraisemblance (2.4) ne possède pas de forme explicite. Cependant, différentes approches sont disponibles afin de l’approximer. Entre autre, on va utiliser la méthode de Gauss-Legendre qui est basée sur le calcul numérique des intégrales définies ou indéfinies. Soit f : [−1, 1] −→ R, une fonction continue donnée. On désire R1 approcher numériquement la quantité −1 f (x)dx. D´ efinition Si g est une fonction continue sur [−1, 1] alors la formule de quadrature est donnée par J(g) =

M X j=1

ωj g(tj ),

Chapitre 2. Données longitudinales complètes

7

qui est définie par la donnée de M points d’intégration telle que − 1 ≤ t1 ≤ ... ≤ tM ≤ 1 puis M nombres réels ω1 , ..., ωM appelés poids de la formule de quadrature. Ces M points et ces M poids doivent être définis de sorte que J(g) soit une approximation R1 numérique de −1 g(t)dt. On dit que la formule de quadrature J(g) est exacte pour les R1 polynômes de degré r ≥ 0 si J(p) = −1 p(t)dt pour tout polynôme de degré inférieur ou égal a` r.

2.3.1

Formule de Gauss

L’idée des formules de Gauss est de choisir des points d’intégration t1 , ..., tM particuliers de sorte que la formule de quadrature soit exacte pour des polynômes de degré r aussi grand que possible. Le polynôme de Legendre de degré M est défini par GM (t) =

1 dM 2 (t − 1)M . 2M M ! dtM

(2.6)

Th´ eor` eme 1. Les polynˆ omes de Legendre, PM (X), de degré G0 , G1 , G2 , ... vérifient les propriétés suivantes 1. G0 , ..., GM forment une base de PM (X). R1 2. Si i 6= j alors −1 Gi (t)Gj (t)dt = 0, c’est la propriété d’orthogonalité.

3. GM a ` exactement M zéros réels distincts tous compris dans l’intervalle (−1, 1), ces zéros sont appelés points de Gauss.

On dit que la quadrature J(g) = M points si

PM

j=1

ωj g(tj ) est la formule de Gauss-Legendre a`

1. Les points d’intégration t1 < ... < tM sont les M zéros du polynôme de Legendre. R1 2. Les poids ω1 , ..., ωM sont définis par les relations ωj = −1 Lj (t)dt, j = 1, ..., M o` u L1 , ..., LM est la base de Lagrange de PM −1 (X) associée aux M points de Gauss. Q t−ti e polynôme Pour définir la base de Lagrange, soit Lk défini par Lk (t) = N i=0 tk −ti appel´ de Lagrange est tel que : 1. Lk est un polynôme de degré N , 2. Lk (tj ) = 0 si j 6= k, 0 ≤ j ≤ N ,

3. Lk (tk ) = 1.

Chapitre 2. Données longitudinales complètes

8

Alors L0 , L1 , ..., LN forment une base de PN (X), appelée base de Lagrange, associée aux points t0 , t1 , ..., tN , pour plus de détails, voir Abramowitz et Stegun (1972 page 916). Nous avons programmé cet algorithme d’intégration par Gauss-Legendre en utilisant le logiciel STATA et on a pris M = 40 points d’intégrations. Ensuite, nous avons créé un programme qui maximise la fonction de vraisemblance (2.5), en exploitant la commande ml maximize de STATA, qui utilise l’algorithme de Newton-Raphson. Les résultats sur les données simulées sont présentés dans le chapitre suivant. Ce dernier porte sur une autre méthode d’estimation, complètement différente de la méthode décrite ci-haut, qui se base sur l’échantillonnage de Gibbs.

Chapitre 3 Approche bayesienne Dans ce chapitre, nous estimons le modèle de base, tel que présenté a` la section 2.2, en utilisant l’approche bayesienne combinée avec l’échantillonnage de Gibbs. Pour ce faire, nous rappelons les éléments de base de la technique bayesienne et de l’échantillonnage de Gibbs.

3.1 3.1.1

Approche bayesienne Survol de la m´ ethodologie bayesienne

L’approche bayésienne concentre son attention sur l’utilisation de l’information échantillonnale, de distributions de probabilités a priori et de distributions de probabilités a posteriori conjointes des paramètres pour décrire l’incertitude sur ces derniers. La statistique bayésienne est basée sur une simple règle de probabilité. Pour motiver la simplicité de cette approche nous considérons deux variables aléatoire A et B. La règle de probabilité est

f (A, B) = f (B)f (A|B)

(3.1)

o` u f (A, B) est la densité conjointe de A et B, f (A|B) est la densité conditionnelle de A sachant B et f (B) est la densité marginale de B. Alternativement on peut changer le rôle de A et B et trouver l’expression de la densité conjointe de A et B :

10

Chapitre 3. Approche bayesienne

f (A, B) = f (A)f (B|A).

(3.2)

Une simple manipulation de (3.1) et (3.2) donne la règle de Bayes qui est au coeur de l’approche bayesienne : f (B|A) =

f (B)f (A|B) . f (A)

(3.3)

Pla¸cons nous dans le contexte d’une régression linéaire et o` u on s’interesse a` l’estimation du vecteur de paramètres θ et soit y, un vecteur de données. On utilise la règle de Bayes et on remplace B par θ et A par y dans l’equation (3.3), et ce qui donne

f (θ|y) =

f (θ)f (y|θ) , f (y)

(3.4)

o` u f (θ|y) est la densité a posteriori, f (y|θ) est la fonction de vraisemblance, f (θ) est la densité a priori et f (y) est la densité marginale de y. La caractéristique d’intérêt de l’approche bayesienne est la densité a posteriori, f (θ|y). Pour mettre en oeuvre l’idée présentée, supposons que nous avons le modèle de régression suivant :

yi = βxi + i ,

(3.5)

o` u i ∼ N (0, σ). Selon cette notation, le vecteur de paramètre θ contient β et σ. La loi de distribution des paramètres β et σ, ajustée a` la lumière des observations de l’échantillon, se fait au moyen du théorème de Bayes tel que présenté a` l’équation (3.4) :

g(β, σ|x, y) =

h(x, y|β, σ) × g(β, σ) , h(x, y)

telle que

h(x, y) =

  g(β, σ|x, y) :    h(x, y|β, σ) : o` u  h(x, y) :    g(β, σ) :

Z

h(x, y|β, σ)g(β, σ|x, y)dθdσ, β,σ

distribution a posteriori des paramètres d’intérêt, fonction de vraisemblance des données, distribution marginale des données distribution a priori des paramètres.

(3.6)

11

Chapitre 3. Approche bayesienne

La distribution a priori est établie en fonction des croyances de l’analyste, son intuition et ses analyses passées, alors que la fonction de vraisemblance contient des informations associées a` l’échantillon. Plus loin nous montrerons comment déterminer des lois a posteriori a` partir des distributions a priori. Concentrons nous pour l’instant sur la question de la distribution a priori qui sera traitée dans la section suivante.

3.1.2

Distributions a priori

Suivant la conception bayésienne, les distributions initiales permettent d’incorporer toutes les connaissances et opinions a priori sur les paramètres disponibles avant la collecte des données. Cette possibilité constitue a` l’évidence un apport potentiel considérable. Notons que par définition, une classe de distributions a priori forme une famille conjuguée de distribution a priori, si la densité a posteriori, p(θ|x), appartient a` la même classe de distribution a priori quelque soit x. Cependant, la situation qui cause problème est celle o` u ces distributions a priori sont inconnues et/ou peu fiables. Dans le cadre bayésien, la réponse est apportée par l’utilisation des distributions a priori non-informative, con¸cues pour exprimer un ´ etat d’ignorance sur les paramètres, en ne privilégiant pas a priori de valeurs particulières pour θ (Jeffreys 1998). Les probabilités a posteriori correspondantes expriment l’apport propre des données. Cette approche de l’inférence bayésienne est maintenant reconnue comme un standard, pour plus de détails voir Lee (1989, chapitre 2). Mais est-ce que l’utilisation d’une distribution non-informative est toujours possible ? La réponse est oui dans le cas o` u l’espace des paramètres est discret et fini, par exemple Θ = {θ1 , ..., θn }. Alors la distribution a priori non-informative est p(θi ) =

1 , i = 1 ,..., n n

Aussi, dans le cas o` u nous avons un espace de paramètres continu et borné, comme par exemple Θ = [a, b], −∞ < a < b < ∞, alors la distribution a priori est uniforme, p(θ) =

1 , a < θ < b, b−a

donc il s’agit bien d’une distribution non-informative pour θ. De plus, une des solutions proposée est d’utiliser une distribution invariante par toute transformation qui prend le nom de l’a priori de Jeffrey, qui est défini comme :

p(θ) ∝ [I(θ)]1/2 ,

(3.7)

12

Chapitre 3. Approche bayesienne

o` u I(θ) représente l’information de Fisher qui a la forme suivante :

I(θ) = −Ex|θ

∂2 logf (x|θ) ∂θ 2

(3.8)

o` u f (x|θ) est la fonction de vraisemblance. Donc dans le cas de distributin a priori de Jeffrey la fonction de vraisemblance joue un rôle important a` la détermination de la distribution a priori (3.7), pour plus de détails voir Carlin et Louis (2000, chapitre 2).

3.2

Inf´ erence bayesienne

L’inférence statistique traditionnelle se base sur les probabilités d’échantillonnage, p(y|θ), pour construire le test d’hypothèse et l’intervalle de confiance. Dans le cas d’inférence ˆ bayesienne, pour obtenir un estimateur θ(y) de θ, nous avons besoin de sélectionner la caratéristique qui résume la densité a posteriori f (θ|y), comme la moyenne, le médiane ˆ ou le mode. Pour obtenir une mesure de précision d’un estimateur θ(y), on utilise la ˆ variance a posteriori de θ(y) : 2 ˆ = Eθ|y (θ − θ(y)) ˆ var θ(y)

(3.9)

On montre dans la littérature, voir Carlin et Louis (2000, chapitre 2), que la moyenne a posteriori est le meilleur estimateur qu’on peut prendre. Dans la prochaine section on expliquera l’échantillonnage de Gibbs.

3.3

´ Echantillonnage de Gibbs

L’échantillonnage de Gibbs est une technique permettant de générer des variables aléatoires a` partir d’une distribution marginale. Pour expliquer le fonctionnement de l’échantillonnage de Gibbs, nous allons exploiter le cas d’une densité bivariée. Supposons qu’on a une densité conjointe f (x, y) et on s’intéresse a` la simulation de x et y. On simule d’abord x puis y étant donné x ou l’inverse. Ceci nécessite de connaitre les fonctions suivantes :

(

R fX (x) = y f (x, y)dy R fY |X (y) = x f (y|x)dx

13

Chapitre 3. Approche bayesienne

Mais dans le cas o` u fX (x) et fY (y) n’ont pas une forme explicite et que les distributions conditionnelles f (x|y) et f (y|x) sont connues alors on utilise l’échantillonneur de Gibbs : ´ 1. Etape 1 : Donner des valeurs de départ pour x0 et y 0 et poser i = 1 ; ´ 2. Etape 2 : Effectuer les tirages conditionnels de la fa¸con suivante : xi ∼ f (x|y i−1 )

(3.10)

y i ∼ f (y|xi )

´ 3. Etape 3 : Poser i = i+1 et retourner a` l’étape 2 et procéder ainsi jusqu’à la convergence du processus. Autrement dit, les variables aléatoires xi et y i convergent vers un tirage a` partir de leur distribution conjointe. Ceci donne une séquence de Gibbs de variables aléatoires : (x0 , y 0 ), (x1 , y 1 ), ..., (xm , y m ).

(3.11)

Selon la spécification de la distribution conditionnelle, f (xi |y i−1 ) correspond souvent a` une distribution normale, logistique ou a` une autre distribution a` partir de laquelle nous pouvons facilement procéder a` des tirages. Sous certaines conditions de régularité, si m → ∞, alors la distribution conjointe de (X m , Y m ) converge vers la vraie densité conjointe h(x, y) (Casella, 1999). Toutefois, la technique d’échantillonnage de Gibbs est basée sur la théorie des chaˆınes de Markov qui est une suite de variables aléatoires (Xn , n ≥ 0) a` valeurs dans S, un espace d’états, e, discret fini ou infini dénombrable. Une telle théorie doit satisfaire les deux conditions suivantes : 1. p [Xn+1 = s|(X0 , ..., Xn ) = (e0 , ..., r)] = p [Xn+1 = s|Xn = r], c’est la propriété de Markov. 2. p [Xn+1 = s|Xn = r] ne dépend pas de n, c’est la propriété d’homogéneité dans le temps. Une séquence est dite chaˆıne markovienne si l’observation précédente spécifie entièrement ` cet la distribution de l’observation présente, pour plus de détails voir Ross (2000). A égard, il faut noter que le but de la méthode Markov Chain Monte Carlo (MCMC ) est de produire des tirages de la loi conjointe f (.) a` partir des tirages faits dans les distributions conditionnelles complètes en les visitant alternativement de fa¸con systématique. Nous pouvons généraliser au cas de distributions multivariées. En effet, soit une densité conjointe f (θ1 , θ2 , θ3 , ..., θL ) et supposons que toutes les densités conditionnelles, complètes f (θ1 |θ2 , θ3 , ..., θL ), f (θ2 |θ1 , θ3 , ..., θL ), ..., f (θL |θ1 , θ2 , ..., θL−1 ), soient de forme simple et facile a` utiliser. Alors, en utilisant la même démarche que dans le cas de la densité bivariée, les étapes de l’algorithme nous permettant d’obtenir un tirage de f (θ1 , θ2 , θ3 , ..., θL ) se déduisent comme suit :

14

Chapitre 3. Approche bayesienne

´ – Etape 1 : Donner des valeurs de départ, θ10 , θ20 , θ30 , ..., θL0 et poser i = 1. ´ – Etape 2 : Effectuer les tirages conditionnels de la fa¸con suivante : θ1i ∼ f (θ1 |θ2i−1 , θ3i−1 , ..., θLi−1 ) θ2i ∼ f (θ2 |θ1i , θ3i−1 , ..., θLi−1 ) θ3i ∼ f (θ3 |θ1i , θ2i , ..., θLi−1 )

(3.12)

...

i θLi ∼ f (θL |θ1i , θ2i , ..., θL−1 ).

´ – Etape 3 : Poser i = i + 1 et retournez a` l’étape 2 et procéder ainsi jusqu’à convergence vers la distribution stationnaire du processus. Dans la prochaine section, nous utilisons cette méthode pour estimer les paramètres du modèle présenté a` la section 2.2.

3.3.1

Mod` ele dichotomique

Pla¸cons nous dans une situation o` u la variable dépendante est dichotomique et revenons a` notre modèle de base présenté a` la section 2.2

Yit =

(

1, si Yit∗ ≥ 0 0, si Yit∗ < 0 ,

o` u i = 1, ..., n est l’indice de l’individu, t = 1, ..., T est le temps et Yit∗ est une variable latente qui s’écrit comme Yit∗ = αi + βxit + it ,

(3.13)

o` u le paramètre αi représente l’effet individuel non observable. Nous supposons que αi est une variable aléatoire de loi normale de moyenne µ et variance σ 2 et it ∼ N (0, 1). Il est pratique de considérer les variables latentes, yit∗ , et les effets individuels, αi , commes des paramètres. Dans cette section nous expliquons comment estimer les paramètres de ce modèle, yit∗ , i = 1, ..., n et t = 1, ..., T , αi , i = 1, ..., n, β, µ, et σ 2 . Donc, on dispose de n(T + 1) + 3 paramètres a` estimer. Dans le contexte de l’estimation conjointe de β, µ, αi , yit∗ et σ 2 le lien entre l’information a priori, la nouvelle information et la distribution a posteriori se fait au moyen du théorème de Bayes tel que vu a` la section 3.1 :

15

Chapitre 3. Approche bayesienne

f (β, µ, α, y ∗, σ 2 , y|x) = g(β, µ, α, y ∗, σ 2 |x, y) × h(y|x) = h(y|β, µ, α, y ∗, σ 2 , x) × g(β, µ, α, y ∗, σ 2 , x).

(3.14)

avec α = (α1 , ..., αn ) ∗ ∗ yi∗ = (yi1 , ..., yiT )

y∗

= (y1∗ , ..., yn∗ )

Ainsi, la distribution a posteriori qui nous intéresse est h(y|β, µ, α, y ∗, σ 2 , x) × g(β, µ, α, y ∗, σ 2 |x) g(β, µ, α, y , σ |x, y) = . h(y|x) ∗

2

Notons que toutes les distributions sont conditionnelles a` x, mais pour alléger la notation on les enlève des variables sur lesquelles on conditionne. Dans plusieurs cas, la distribution a posteriori est mathématiquement complexe et donc inutilisable de fa¸con concrète. Cette limitation est contournée a` l’aide de l’échantillonnage de Gibbs, tel que vu a` la section 3.3. En effet, dans l’application qui nous intéresse, la densité jointe, g(β, µ, α, y ∗, σ 2 |y), n’a pas de forme explicite. La solution a` ce problème serait de faire des tirages a` partir des distributions a posteriori conditionnelle de chaque paramètre. Les étapes de l’algorithme qui nous permet d’obtenir un tirage dans la loi conjointe g() sont comme suit : – étape 1 : donner des valeurs de départs pour β 0 , µ0 , αi0 , yit∗0 et poser k = 1, o` uk est le numéro de l’itération. – étape 2 : effectuer les tirages conditionnels de fa¸con suivante :

∗ yit∗k+1 ∼ f (yit∗ |β k , αik , y−it , yit )

k , yi∗k+1 , β k , µk , σ 2,k ) αik+1 ∼ f (αi |α−i

β k+1 ∼ f (β|αk+1, y ∗k+1 , µk , σ 2,k )

µk+1 ∼ f (µ|y ∗k+1, αk+1 , β k+1 , σ 2,k )

σ 2,k+1 ∼ f (σ 2 |y ∗k+1 , αk+1 , β k+1 , µk+1 )

(3.15)

16

Chapitre 3. Approche bayesienne

– étape 3 : Poser k = k + 1 et retourner a` l’étape 2 Pour déterminer les différentes distributions conditionnelles a posteriori des paramètres, présentés ci-dessus, nous allons supposer des lois a priori.

Distribution a priori Les distributions a priori sont comme suit :

fYit∗ (yit∗ |β, αi ) = φ (yit∗ − αi − βxit ) 1 αi − µ φ fαi (αi |µ, σ) = σ σ β−a 1 √ fβ (β) = √ φ b b µ − a1 1 √ fµ (µ) = √ φ b1 b1 2 fσ (σ ) = IG(c, d), (3.16)

o` u a, b, a1 , b1 , c et d sont connus, φ() est la densité d’une loi normale standard et IG() est la distribution d’une gamma inverse. Avant de présenter la forme de la distribution a priori de σ 2 , rappelons que la forme de densité Gamma, de paramètre c et d, qu’on prend, pour une variable aléatoire X quelconque est f (x) =

dc c−1 x exp(−xd), Γ(c)

x > 0.

La distribution a priori de σ 2 est une gamma inverse dont la distribution est la suivante : f (σ 2 ) = Les moments de σ 2 sont

dc −2(c+1) d σ exp(− 2 ), Γ(c) σ

σ 2 > 0.

(3.17)

17

Chapitre 3. Approche bayesienne

E(σ 2 ) = var(σ 2 ) =

d c−1

d2 . (c − 1)2 (c − 2)

(3.18)

` ce stade, nous allons présenter les différentes distributions a posteriori. A

3.3.2

Estimation par l’approche bayesienne

Dans cette section, nous expliquons comment déterminer les distributions a posteriori des différents paramètres d’intérêt. Notons que la distribution jointe est

f (yit∗ , β, αi , µ, σ 2 |yit ) ∝

Qn n QT i=1

∗ 2 ∗ t=1 fYit (yit |β, αi , yit )fαi (αi |µ, σ )

fβ (β)fµ (µ)fσ (σ 2 )

o

(3.19)

Distribution a posteriori conditionnelle Pour déterminer les distributions conditionnelles des différents paramètres, on exploite la distribution jointe dans (3.19). Dans cette étape, on présente les lois a posteriori conditionnelle de tous les paramètres. 1. Distribution de yit∗ ´ Etant donné tous les paramètres et en exploitant le modèle de base (2.2), la simulation de yit∗ sera déterminée a` partir de la distribution normale tronquée suivante : (a) si yit = 1 (ou yit∗ > 0), alors on a une distribution normale, tronquée a` gauche a` 0, de moyenne αi + βxit et de variance 1 ; (b) si yit = 0 (ou yit∗ < 0), alors on a une distribution normale, tronquée a` droite a` 0, de moyenne αi + βxit et de variance 1. On simule simplement une série de variables aléatoires a` partir d’une distribution normale de moyenne αi + βxit et de variance 1 ; on prend la première valeur positive si yit = 1 et la première valeur négative sinon.

18

Chapitre 3. Approche bayesienne

2. Distribution de αi La distribution conditionnelle complète de αi est obtenue en isolant les termes dans (3.19) qui dépendent de αi , ce qui donne "

f (αi |yi∗ , µ, β, σ 2 ) ∝

T Y t=1

#

f (yit∗ |αi , β) f (αi |µ, σ 2 ). (3.20)

Après quelques manipulations on trouve la distribution suivante (plus de détails concernant le calcul sont dans l’annexe A)

f (αi |yi∗ , µ, β, σ 2 )

=N

P

∗ t=1 (yit

− βxit ) + T + σ12

µ σ2

1 , T+

1 σ2

.

(3.21)

3. Distribution de µ en procédant de la même manière que pour αi on trouve la distribution suivante de µ :

f (µ|α, σ 2 ) ∝

"

n Y i=1

#

f (αi |µ, σ 2 ) f (µ),

et après quelques manipulations mathématiques on trouve la distribution a posteriori complète suivante :

µ∼N

b1

Pn

αi + σ 2 a 1 , nb1 + σ 2 i=1

σ 2 b1 nb1 + σ 2

(3.22)

Pour plus de détails, le lecteur peut se référer a` l’annexe A. 4. Distribution de β La distribution conditionnelle de β s’obtient comme suit :

f (β|α, y ∗) ∝

hQ

n i=1

i ∗ f (y |β, α ) f (β) i it t=1

QT

f (α, y ∗ )

, (3.23)

19

Chapitre 3. Approche bayesienne

et comme la constante de normalisation ne dépend pas de β alors la distribution conditionnelle complète est la suivante :

β∼N

a b

+

Pn PT

xit (yit∗ − αi ) , P P + ni=1 Tt=1 x2it i=1

1 b

1

t=1

1 b

+

Pn PT i=1

t=1

x2it

!

(3.24)

5. Distribution de σ 2 La distribution de σ 2 est

f (σ 2 |α, µ) ∝

"

n Y i=1

#

f (αi |µ, σ 2 ) f (σ 2 ).

La distribution conditionnelle complète de σ 2 est une gamma inverse avec fonction de densité ( n " )# 1 Pn c+ n2 2 1 1X i=1 (αi − µ) + d −2(c+1+ n2 ) 2 2 σ exp − 2 (αi − µ) + d (3.25) Γ(c + n2 ) σ 2 i=1 Nous présentons a` la section suivante les résultats de l’estimation du modèle tel que présenté au chapitre 2 en utilisant l’estimation par maximum de vraisemblance et par l’approche bayesienne.

3.4

R´ esultats

Les résultats qui seront présentés dans cette section sont basés sur des données simulées. En effet, on a simulé la variable explicative xit d’une distribution normale de moyenne 0 et de variance 1, i = 1, ..., 100 et t = 1, ..., 4. En deuxième lieu, on a simulé αi , i = 1, ..., 100, a` partir d’une distribution normale de moyenne µ0 = 0 et de variance ` la troisième étape, on simule le terme d’erreur it , i = 1, ..., 100 et t = 1, ..., 4. σ02 = 1. A Enfin, on simule la variable latente yit∗ comme suit : yit∗ = αi + β0 xit + it ,

(3.26)

o` u β0 = 1 est la vraie valeur de β. La variable yit est déterminée a` partir des valeurs de yit∗ : si yit∗ < 0, alors yit = 0 et si yit∗ ≥ 0, alors yit = 1.

20

Chapitre 3. Approche bayesienne

3.4.1

Estimateur du maximum de vraisemblance

Dans cette section on présente l’estimation par la méthode du maximum de vraisemblance du modèle dichotomique tel que vu a` la section 2.2. Pour l’interpolation de Legendre, on utilise 40 points. Le résultat par maximum de vraisemblance est résumé dans le tableau suivant : Tab. 3.1 – Estimation du maximum de vraisemblance ´ Variables Coefficients Ecart-type Vraies Valeurs ∗∗ β 1.094 0.19 1 ∗∗ µ -0.065 0.37 0 2 ∗∗ σ 0.879 0.15 1 N 100 Log-Vraisemblance -238.099 Seuil observé :

† : 10%

∗ : 5%

∗∗ : 1%

ˆ µ Le tableau 3.1 montre que les estimateurs β, ˆ et σ ˆ 2 sont significatifs. Le résultat de l’estimation du même modèle par l’échantillonneur de Gibbs sera discuté a` la section suivante. Le programme STATA pour faire ce calcul est présenté a` l’annexe B.

3.4.2

R´ esultats par l’´ echantillonnage de Gibbs

Sc´ enario

Nous allons étudier différentes distributions a priori dans le but de voir leur impact sur l’estimation des paramètres. En effet, on a 4 différentes distributions a priori pour chaque paramètre et dans chaque cas on détermine les moments a posteriori de chaque paramètre. L’espérence et la variance a posteriori de µ et β sont décrites a` la section 3.3.2. Le tableau 3.2 résume les différents scénarios que nous avons utilisés.

1 2 3 4

Tab. 3.2 – Les différents scénarios Moments a priori ´ Espérence (Ecart-types sont entre parenthèses) µ β σ2 2.00 (1.00) 2.00 (1.00) 1.33 (0.94 ) 2.00 (1.73) 3.00 (1.73) 2.00 (2.00 ) 5.00 (3.16) 6.00 (3.16) 3.00 (3.00 ) 3.00 (3.75) 4.00 (3.75) 3.00 (3.00 )

Chapitre 3. Approche bayesienne

21

Les résultats de ces différents scénarios sont présentés dans le tableau 3.3

Sc´ enario

Tab. 3.3 – Résultats via l’échantillonnage de Gibbs pour un échantillon de taille 100 et dont les vraies valeurs pour µ, β et σ 2 sont 0, 1 et 1, respectivement. Moments a posteriori Moyenne a posteriori (écart-types a posteriori entre parenthèses) µ β σ2 1 -0.03 (0.14) 1.14 (0.20) 0.99 (0.26) 2 -0.06 (0.14) 1.15 (0.20) 1.08 (0.30) 3 -0.06 (0.14) 1.17 (0.20) 1.22 (0.30) 4 -0.07 (0.14) 1.15 (0.20) 1.19 (0.30)

Le programme MATLAB permettant d’accomplir ce calcul est présenté dans l’annexe B. Une analyse du tableau 3.3 montre que si la distribution a priori de µ est N (2, 1), alors sa moyenne a posteriori, qui estime sa vraie valeur, est de −0.03 avec un écart-type de 0.14. Si la distribution a priori de β est une N (2, 1), alors sa moyenne a posteriori, qui estime sa vraie valeur, est de 1.14 et son écart-type est 0.2 et si la distribution a priori de σ 2 est une Gamma inverse de moyenne 1.33 et d’écart-type 0.94, alors sa moyenne a posteriori est 0.99 et son écart-type est de 0.26. Signalons a` ce propos que si on passe d’une distribution a priori informative, dans le sens o` u sa variance est petite, a` d’autres distributions a priori moins informatives, on remarque que l’estimation de µ et β et leurs écarts-types respectifs sont peu sensibles aux distributions a priori. L’estimation de σ 2 est influencée par la spécification des distributions a priori. Dans le tableau 3.3 la moyenne a posteriori varie de plus de 20% selon la spécification de la distribution a priori. Dans les pages qui suivent, on présente les graphiques montrant la convergence des itérations et les densités a posteriori pour les scénarios 1 et 4 du tableau 3.2.

22

Chapitre 3. Approche bayesienne

Densité de Beta

Densité de Mu 3.5

2.5

3 2

2.5

1.5

2

1.5 1

1 0.5

0.5

0 0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

0 −0.8

2.2

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

Densité de SigmaCarrée 1.8

1.6

1.4

1.2

1

0.8

0.6

0.4

0.2

0

0

0.5

1

1.5

2

2.5

3

Fig. 3.1 – Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement : scénario 1 du tableau 3.2 .

23

Chapitre 3. Approche bayesienne

Densité de Beta

Densité de Mu 3

2.5

2.5 2

2 1.5

1.5

1

1

0.5

0.5

0 0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

2.2

0 −0.8

2.4

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

Densité de SigmaCarrée 1.4

1.2

1

0.8

0.6

0.4

0.2

0

0

0.5

1

1.5

2

2.5

3

Fig. 3.2 – Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement : scénario 4 du tableau 3.2 .

24

Chapitre 3. Approche bayesienne

Beta en fonction du NbIterations

Mu en fonction du NbIterations

2.4

0.6

2.2 0.4

2 0.2

1.6

Valeurs de Mu

Valeurs de Beta

1.8

1.4

1.2

1

0

−0.2

−0.4

0.8 −0.6

0.6

0.4 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

−0.8 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

sigmacarre en fonction du NbIterations 3

2.5

Valeurs de sigmacarre

2

1.5

1

0.5

0 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

Fig. 3.3 – Convergences de β, µ et σ 2 , ayant les vraies valeurs 1, 0 et 1, respectivement : scénario 1 du tableau 3.2 .

25

Chapitre 3. Approche bayesienne

Beta en fonction du NbIterations

Mu en fonction du NbIterations

2

0.6

0.4

0.2

Valeurs de Mu

Valeurs de Beta

1.5

0

−0.2

1 −0.4

−0.6

0.5 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

−0.8 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

sigmacarre en fonction du NbIterations 3

2.5

Valeurs de sigmacarre

2

1.5

1

0.5

0 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

Fig. 3.4 – Convergences de β, µ et σ 2 , ayant les vraies valeurs 1, 0 et 1, respectivement : scénario 4 du tableau 3.2 .

Chapitre 3. Approche bayesienne

26

Les graphiques 3.3 et 3.4 démontrent que la convergence des tirages des différents paramètres vers une distribution stationnaire a` partir de leurs distributions a posteriori est rapidement atteinte dès la première centaine d’itérations. Ceci est dˆ u au fait que les distributions a posteriori conditionnelles des paramètres sont connues. Dans le cas o` u les distributions a posteriori conditionnelles ne sont pas connues, Tanner (1987, chapitre 6) présente différentes méthodes qui aident a` atteindre la convergence rapidement. Pour faire de l’inférence statistique sur les estimés, nous enlevons la première moitié des tirages et notre inférence ultime repose alors sur la deuxième moitié des tirages. La pratique de supprimer les premiers tirages est appelée burn-in ; pour plus de détails a` ce sujet voir Gelman et al (2000 chapitre 6 page 294).

Chapitre 4 Donn´ ees longitudinales incompl` etes

4.1

Panels incomplets

Dans ce chapitre, nous étudions le modèle présenté a` la section 2.2 en présence de données manquantes. En effet, si des individus sont absents de certaines coupes temporelles, nous parlons de fa¸con générale de données longitudinales incomplètes. Dans ces deux cas, nous sommes en présence de panels incomplets. La possibilité d’étudier des comportements dynamiques dépend directement de la richesse des informations relatives aux variables recueillies. Les principales difficultés quant a` l’utilisation de ces données sont d’ordre méthodologique. La nécessité de développer les techniques appropriées pour tenir compte des manquements dans l’information constitue un obstacle important. Dans les sections qui suivent, nous allons présenter différentes méthodes permettant de résoudre le problème des données manquantes.

4.2

Mod` eles pour le m´ ecanisme de non-r´ eponse

Dans cette section, nous présentons les différents mécanismes qui mènent a des observations manquantes, selon la terminologie de Little et Rubin (2002). Il s’agit de connaitre la relation qui existe entre les données manquantes et le reste des observations. L’analyse d’une base de données contenant des observations manquantes va dépendre du mécanisme qui cause la non réponse.

28

Chapitre 4. Données longitudinales incomplètes

Pour ce faire, posons Rit =

(

1, si i est observé a` la période t 0, sinon ,

avec i = 1, ..., n et t = 1, ..., T et soit Ri = (Ri1 , ..., RiT )0 et ri = (ri1 , ..., riT )0 la réalisation de Ri . La fonction de densité jointe de (ri , yi ), o` u yi = (yi1 , ..., yiT )0 , peut être factorisée comme suit : f (yi , ri ) = f (yi )f (ri |yi ),

(4.1)

o` u yi = (yio , yim ) est une partition de yi avec yio la composante observée de yi et yim la composante manquante de yi . Supposons que yit et le processus de non réponse sont indexés par les paramètres θ et ν, respectivement. La fonction de densité jointe sera f (yio , yim , ri , θ, ν) = f (yio , yim , θ)f (ri |yio , yim , ν).

(4.2)

Les mécanismes de données manquantes sont classés selon la dépendance entre yio et yim de la probabilité conditionnelle f (ri |yio , yim , ν). Les trois classes de modèles de nonréponse sont 1. Mécanisme manquant complètement au hasard (MCAR) : Le mécanisme est MCAR dans le cas o` u la probabilité de réponse des unités individuelles est uniforme et ne dépend pas de yio , ni de yim , c’est-à-dire f (ri |yio , yim , ν) = f (ri |ν)

∀ yio , yim

et ν.

2. Mécanisme manquant au hasard (MAR) : Le mécanisme est MAR si la probabilité de réponse des unités individuelles ne dépend pas de Yim , mais dépend seulement de Yio . Il s’agit d’une hypothèse qui est moins restrictive que MCAR et on a

f (ri |yio , yim , ν) = f (ri |yio , ν),

∀ yim

3. Mécanisme non manquant au hasard(NMAR) Un mécanisme est dit NMAR si la probabilité de réponse des unités individuelles dépend de yim et peut dépendre de yio . Il existe plusieurs méthodes pour contourner les problèmes des données manquantes parmi lesquelles la méthode d’augmentation des données, qui sera présentée dans la section suivante.

Chapitre 4. Données longitudinales incomplètes

4.3

29

Augmentation de donn´ ees

Dans cette section on explique la méthode d’augmentation de données telle que présentée dans Tanner (1987). Dans notre cas, on va adapter cette méthode aux cas des données longitudinales incomplètes. Supposons que yi = (yi1 , ..., yiT ), o` u i est l’indice de l’individu alors que T dénote la période d’observabilité de l’individu. Un individu peut être observé a` une période mais ne l’est pas a` une autre période. Par exemple, si o o m m on a 4 périodes on peut trouver le cas suivant yi = (yi1 , yi2 , yi3 , yi4 ), donc l’individu est observé pour les deux premières périodes 1 et 2 et manquant pour les périodes 3 et 4. o o m m Dans ce cas, on pose yio = (yi1 , yi2 ) et yim = (yi3 , yi4 ). Pour préserver la même notation que celle décrite dans Tanner (1987), on va poser y o = yio et y m = yim . L’idée principale de cet algorithme est d’augmenter les données observées y o par la quantité y m , qui sera considérée comme donnée latente. Donc si y o et y m sont tous les deux connus, on peut fa¸cilement calculer la distribution a posteriori p(θ|y o , y m ). La densité qui nous intéresse est p(θ|y o ), que nous ne pouvons pas déterminer de fa¸con explicite. Mais si on peut simuler différentes valeurs de y m , alors p(θ|y o ) sera la moyenne de p(θ|y o , y m ) sur toutes les valeurs imputées de y m . Donc il existe une mutuelle dépendance entre p(θ|y o ) et p(y m |y o ) qui mène a` un algorithme itératif pour calculer p(θ|y o ). Soit y o , la base de données observée dont la distribution dépend d’un vecteur de paramètre θ. Supposons qu’il y a une fa¸con d’augmenter y o par une quantité de valeurs latentes y m . On peut fa¸cilement analyser la base de données augmentée, y = (y o , y m ). Une explication plus détaillée de cette méthode sera présentée a` la section suivante.

4.3.1

L’algorithme de base

L’algorithme de base est motivé par deux identités simples. 1. Identit´ e a posteriori : La distribution d’intérêt est la probabilité a posteriori suivante : Z o o m p(θ|y ) = Eym [p(θ|y , y )] = p(θ|y o , y m )p(y m |y o )dy m ,

(4.3)

ym

o` u p(θ|y o ) est la densité a posteriori des paramètres θ sachant les données observées y o , p(y m |y o ) est la densité prédictive des valeurs manquantes y m sachant y o et p(θ|y m , y o ) représente la densité conditionnelle de θ sachant les données augmentées y = (y o , y m ). 2. Identit´ e pr´ edictive :

30

Chapitre 4. Données longitudinales incomplètes

m

o

m

o

p(y |y ) = Eφ [p(y |y , φ)] =

Z

Θ

p(y m |y o , φ)p(φ|y o)dφ,

(4.4)

o` u Θ représente l’ensemble des valeurs possibles des paramètres θ. Si on substitue (4.4) dans (4.3), on obtient l’équation suivante :

g(θ) =

k(θ, φ) =

Z

ym

Z

k(θ, φ).g(φ)dφ, θ

p(θ|y m , y o ).p(y m |φ, y o)dy m

(4.5)

o` u g(θ) = p(θ|y o ) et θ est le paramètre lié aux données observées et φ est le paramètre lié aux données manquantes. La méthode de substitution successive peut être utilisée pour résoudre l’équation (4.5). Autrement dit, on commence par une approximation initiale g0 (θ) pour calculer successivement

gi+1 (θ) = (T gi )(θ),

(4.6)

o` u

T f (θ) =

Z

k(θ, φ)f (φ)dφ

(4.7)

avec T une transformation d’intégrale qui transforme tout fonction integrable f en une autre fonction integrable T f . Tanner et Wong (1987) adoptent la méthode de Monte Carlo pour déterminer l’intégrale dans (4.5). En particulier, ils appliquent la méthode de Monte Carlo a` la densité a posteriori pour calculer g(θ) = p(θ|y o ), ce qui donne le schéma itératif suivant : – a1 : générer θ ∗ a` partir de gi (θ), (parce que p(θ|y o ) = g(θ)) – a2 : générer y m a` partir de p(y m |θ ∗ , y o ), o` u θ ∗ est la valeur générée en (a1 ) (et ceci en utilisant l’équation (4.4)).

Chapitre 4. Données longitudinales incomplètes

31

– b : Déterminer gi+1 .

gi+1

J 1X = p(θ|yjm , y o ). J j=1

(4.8)

Il est intéressant de noter a` ce propos que les étapes (a1 ) et (a2 ) sont considérées comme celles de génération de données latentes, y m . En effet, ces deux étapes sont repétées J fois pour obtenir y1m , ..., yJm . Selon la terminologie utilisée par Rubin, on appelle cette étape l’imputation multiple. C’est pour cela qu’on appelle l’étape (a) l’étape d’imputation et l’étape (b) l’étape a posteriori. La convergence de cet algorithme sera le sujet de la section suivante.

4.3.2

Convergence de l’algorithme d’augmentation de donn´ ees

Dans cette section, on reprend l’explication de Tanner et Wong (1987) concernant la convergence de l’algorithme. Soit L1 , l’espace des fonctions intégrables de θ ∈ Θ et R kf k = |f (θ)|dθ pour f ∈ L1 . Soient gi (θ), k(θ, φ) et T définies comme dans (4.5)-(4.7). Supposons que la vraie densité a posteriori qui nous intéresse est g∗ (θ). Les résultats qui sont a` l’origine de la convergence de l’algorithme d’augmentation de données sont : 1. g∗ est le seul point qui satisfait l’équation de point fixe, T g∗ = g∗ . 2. Quelles que soient les valeurs de départ, l’algorithme (4.6) converge linéairement vers g∗ Tanner (1987) montre que, sous des conditions de régularité, on a l’inégalité suivante :

kgi+1 − g∗ k ≤ αi kg0 − g∗ k , avec α ∈ (0, 1), donc peu importe les valeurs de départ, g∗ , l’algorithme atteindra le point fixe, pour plus de détails voir Tanner (1987). Dans ce document nous allons baser notre attention sur l’algorithme d’échantillonnage de Gibbs afin de simuler les y m et estimer par la suite les paramètre du modèle d’intérêt. Nous exploitons pour cette fin une base de données simulée, qui sera expliquée dans les prochaines sections.

Chapitre 4. Données longitudinales incomplètes

4.4

32

Estimation pour le mod` ele dichotomique en pr´ esence de donn´ ees manquantes

Dans cette section, nous allons estimer le modèle dichotomique tel que présenté a` la section 2.2, mais en présence de données manquantes. Pour cela nous avons simulé une base de données et nous avons fait différentes expériences en fonction de proportion de données manquantes. En premier lieu, nous supposons que la variable manquante est la variable dépendante et nous étudions le cas o` u le mécanisme de non réponse est MCAR, MAR et NMAR. On va aussi s’intéresser a` l’étude des cas complets (CC), autrement dit l’analyse ne concerne que les données disponibles. Revenons au modèle de base suivant :

Yit =

(

1, si Yit∗ ≥ 0 0, si Yit∗ < 0 ,

o` u i = 1, ..., n est l’indice du sujet et t = 1, ..., T est le temps. La variable latente, Yit∗ , est modélisée comme suit :

Yit∗ = αi + βxit + it , o` u

(

(4.9)

αi ∼ N (µ, σ 2 ) it ∼ N (0, 1).

et αi et it sont indépendant. Nous allons estimer ce modèle en utilisant l’échantillonnage de Gibbs, mais en présence des données manquantes. En outre, on utilise la démarche du chapitre précédent. Soit Yitm qui désigne que Y est manquant pour l’individu i a` la période t. Ainsi remarquons que si Yit est manquant alors Yit∗ est aussi manquant et sera noté Yit∗m . Il convient aussi de préciser que, compte tenu du modèle a` variables latentes, pour estimer les paramètres d’intérêt il est suffisant de déterminer la valeur de la variable Yit∗m . Les distributions a priori et a posteriori sont les mêmes que dans la section 3.3.2, sauf pour la distribution a posteriori de Yit∗ . En effet, le tirage de Yit∗ se fait a` partir de la loi normale tronquée dans le cas o` u Yit est observé, mais dans le cas ∗ contraire, Yit sera simulé a` partir de la distribution suivante :

Yit∗ ∼ N (αi + βxit , 1).

(4.10)

33

Chapitre 4. Données longitudinales incomplètes

o` u αi et β sont les valeurs courantes de l’algorithme.

Distribution de yit∗ ´ Etant donné tous les paramètres, la simulation de yit∗ se fait a` partir de la distribution normale tronquée suivante : 1. si yit = 1 (ou yit∗ > 0), alors on a une distribution normale, tronquée a` gauche a` 0, de moyenne αi + βxit et de variance 1 ; 2. si yit = 0 (ou yit∗ < 0), alors on a une distribution normale, tronquée a` droite a` 0, de moyenne αi + βxit et de variance 1 ; 3. si yit est manquant, alors yit∗m ∼ N (αi + βxit , 1).

` cet égard, nous allons créer des observations manquantes de Yit , selon trois mécanismes, A soient les mécanismes MCAR, MAR et NMAR, dans le but de voir si l’estimation des paramètres par l’échantillonnage de Gibbs est sensible a` la spécification du mécanisme de non réponse. Il est intéressant de noter, a` ce propos, que nous étudions pour chaque mécanisme différentes proportions de données manquantes.

4.4.1

M´ ecanisme MCAR

Supposons que nous avons une base de données de taille 100 et que le but est de créer une proportion de données manquantes selon un mécanisme MCAR. Pour ce faire, nous exploitons l’indicateur des données manquantes définis précédemment, Rit . Posons mt , le nombre d’observations manquantes a` la période t, qui sera déterminé selon la probabilité suivante :

p(Rit = 0|yi , p) = p,

∀ yi .

(4.11)

Pour analyser différentes bases contenant des données manquantes, on fait varier la valeur de p(pour p = 0.05 on a 5% des observations sont manquantes, pour p = 0.5 on a 50% des observations sont manquantes et ainsi de suite). Concernant l’aspect théorique, puisque R ne dépend pas des données, l’algorithme donne la bonne distribution a posteriori. Le tableau 4.1 résume les résultats obtenus en appliquant l’algorithme d’échantillonnage de Gibbs a` ce mécanisme.

Chapitre 4. Données longitudinales incomplètes

34

Proportion

Tab. 4.1 – Résultats via l’échantillonnage de Gibbs, scénario 1, avec différentes proportions de données manquantes MCAR dans chaque période P´ eriodes Moments a posteriori pourcentage de Moyenne a posteriori données manquantes (écart-types a posteriori entre parenthèses) t1 t2 t3 t4 µ β σ2 5% 11% 3% 5% 4% 0.0703 (0.1260) 1.1317 (0.1897) 1.0140 (0.2833 ) 19% 19% 22% 16% 22% -0.0482 (0.1349) 1.1535 (0.2056) 1.0762 (0.3223) 45% 34% 49% 45% 52% -0.2494 (0.1500) 0.8545 (0.2097) 1.1685 (0.3567) 66% 61% 70% 60% 66% 0.0765 (0.1459) 0.9703 (0.2334) 0.9333 (0.3195)

Il est intéressant de noter que, pour chaque proportion de données manquantes on applique l’algorithme d’échantillonnage de Gibbs sur cinq bases de données différentes. Les résultats de ces bases sont présentés dans les tableaux 4.1 et de C.1 l’Annexe C. L’analyse des résultats présentés dans les tableaux C.1 et 4.1 montrent que les moyennes a posteriori de µ et β ainsi que leurs écarts-types a posteriori ne semblent pas être affectés par la variation des proportions de données manquantes. Toutefois, l’écart-type a posteriori de σ 2 est légèrement affecté par la variation des proportions des données manquantes. En effet, l’écart-type a posteriori de σ 2 passe de 0.2833 pour une proportion de 5% a` 0.3567 pour une proportion de 45%. Dans les pages qui suivent, on présente les graphiques des densités a posteriori de µ, β et σ 2 ainsi que leurs graphiques de convergence pour les cas de 5% et de 66% de données manquantes.

35

Chapitre 4. Données longitudinales incomplètes

Densité de Beta

Densité de Mu 3.5

2.5

3 2

2.5

1.5

2

1.5 1

1 0.5

0.5

0 0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

0 −0.6

2.2

−0.4

−0.2

0

2.5

3

0.2

0.4

0.6

0.8

Densité de SigmaCarrée 1.5

1

0.5

0

0

0.5

1

1.5

2

Fig. 4.1 – Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données MCAR avec 5% de données manquantes : scénario 1 du tableau 3.2

36

Chapitre 4. Données longitudinales incomplètes

Mu en fonction du NbIterations 0.6

0.4

Valeurs de Mu

0.2

0

−0.2

−0.4

−0.6

−0.8 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

sigmacarre en fonction du NbIterations 3

2.5

Valeurs de sigmacarre

2

1.5

1

0.5

0 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

Fig. 4.2 – Convergences de β, µ et σ 2 , ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données MCAR avec 5% de données manquantes : scénario 1 du tableau 3.2

37

Chapitre 4. Données longitudinales incomplètes

Densité de Beta

Densité de Mu

1.8

3

1.6 2.5

1.4

1.2

2

1 1.5

0.8

0.6

1

0.4 0.5

0.2

0

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

0 −0.6

−0.4

−0.2

0

2.5

3

3.5

0.2

0.4

0.6

0.8

Densité de SigmaCarrée 1.5

1

0.5

0

0

0.5

1

1.5

2

Fig. 4.3 – Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données MCAR avec 66% de données manquantes : scénario 1 du tableau 3.2

38

Chapitre 4. Données longitudinales incomplètes

Beta en fonction du NbIterations

Mu en fonction du NbIterations

2

0.8

1.8 0.6

1.6 0.4

Valeurs de Mu

Valeurs de Beta

1.4

1.2

1

0.2

0

0.8 −0.2

0.6 −0.4

0.4

0.2 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

−0.6 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

sigmacarre en fonction du NbIterations 3.5

3

Valeurs de sigmacarre

2.5

2

1.5

1

0.5

0 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

Fig. 4.4 – Convergences de β, µ et σ 2 , ayant les vraies valeurs 1, 0 et 1, respectivement, MCAR avec 66% de données manquantes : scénario 1 du tableau 3.2

Chapitre 4. Données longitudinales incomplètes

4.4.2

39

M´ ecanisme MAR

Nous allons supposer un modèle monotone pour le mécanisme des données manquantes, c’est-à-dire si un individus est manquant dans une période t il sera manquant pour le reste des périodes. Pour cela nous exploitons la même base de données mais les proportions de données manquantes seront crées comme suit, en utilisant la même approche que Yi et Thompson (2005) : 1. On suppose que Ri1 = 1 pour tout i = 1, ..., n. 2. En deuxième lieu, on va créer Ri2 tel que p(Ri2 = 1|Ri1 = 1, yi1 ) =

exp(λ0 + λ1 yi1 ) , 1 + exp(λ0 + λ1 yi1 )

(4.12)

et Ri2 sera simulé a` partir d’une loi Bernoulli de probabilité p(Ri2 = 1|Ri1 = 1, y1 ), ´ et ceci en fixant les paramètres λ0 et λ1 a` l’avance. Etant donné qu’il s’agit d’un modèle monotone pour le mécanisme de non réponse, alors si Ri2 = 0 ceci implique que Ri3 = Ri4 = 0 sinon on passe a` l’étape suivante. 3. On va créer Ri3 tel que p(Ri3 = 1|Ri2 = 1, yi2 ) =

exp(λ0 + λ1 yi2 ) . 1 + exp(λ0 + λ1 yi2 )

(4.13)

Ri3 sera créé a` partir d’une loi Bernoulli de probabilité p(Ri3 = 1|Ri2 = 1, yi2 ) et si Ri3 = 0 alors Ri4 = 0 sinon on passe a` l’étape suivante. 4. La variable Ri4 sera simulée a` partir d’une Bernoulli ayant la probabilité suivante : p(Ri4 = 1|Ri3 = 1, yi3 ) =

exp(λ0 + λ1 yi3 ) . 1 + exp(λ0 + λ1 yi3 )

(4.14)

Les différentes proportions de données manquantes sont déterminées en faisant varier les valeurs de λ0 et λ1 . Théoriquement, l’échantillonnage de Gibbs donne une estimation non biaisée de la distribution a posteriori car yit−1 et yit sont indépendants étant donné αi . Donc la formule (3.19) est toujours vraie. Les résultats de l’estimation par l’échantillonnage de Gibbs, en présence de données manquantes MAR sont décrites dans le tableau (4.2),

Chapitre 4. Données longitudinales incomplètes

40

Proportion

Tab. 4.2 – Résultats via l’échantillonnage de Gibbs, scénario 1, avec différentes proportions de données manquantes MAR dans chaque période P´ eriodes Moments a posteriori pourcentage de Moyenne a posteriori données manquantes (écart-types a posteriori entre parenthèses) t1 t2 t3 t4 µ β σ2 5% 0% 3% 6% 9% -0.0700 (0.1265) 1.1383 (0.1931) 0.9931 (0.2801) 14% 0% 6% 14% 22% 0.0323 (0.1229) 1.1801 (0.2021) 0.9126 (0.2665) 27% 0% 21% 39% 49% -0.1094 (0.1388) 0.8135 (0.1998) 0.9775 (0.2951) 53% 0% 44% 65% 79% 0.1460 (0.1460) 0.9719 (0.2164) 0.9964 (0.3846) 66% 0% 69% 89% 97% -0.0946 (0.1649) 0.9112 (0.2777) 1.1102 (0.4897)

L’étude du mécanisme MAR montre que la moyenne a posteriori de µ ainsi que son écart-type ne sont pas affectés par la variation de proportion des données manquantes. Par contre, les moyennes et les écarts-types a posteriori de β et de σ 2 sont sensibles aux variations de proportion des données manquantes. En effet les résultats présentés dans le tableau C.2 montrent que l’écart-type a posteriori de σ 2 passe de 0.2801 pour une proportion de 5% a` plus que 0.5075, pour une proportion supérieure ou égale a` 53%. La moyenne a posteriori de β passe de 0.1931 pour une proportion de 5%, a` 0.4422 pour une proportion de 66%. Les graphiques de densités et de convergence de µ, β et σ 2 sont présentés dans les pages qui suivent.

41

Chapitre 4. Données longitudinales incomplètes

Densité de Beta

Densité de Mu 3.5

2.5

3 2

2.5

1.5

2

1.5 1

1 0.5

0.5

0 0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

0 −0.8

2.2

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

Densité de SigmaCarrée 1.6

1.4

1.2

1

0.8

0.6

0.4

0.2

0

0

0.5

1

1.5

2

2.5

3

Fig. 4.5 – Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données MAR de 5% : scénario 1 du tableau 3.2

42

Chapitre 4. Données longitudinales incomplètes

Beta en fonction du NbIterations

Mu en fonction du NbIterations

2

0.4

1.8

0.3

0.2

1.6 0.1

Valeurs de Mu

Valeurs de Beta

1.4

1.2

1

0

−0.1

−0.2

−0.3

0.8 −0.4

0.6 −0.5

0.4 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

−0.6 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

sigmacarre en fonction du NbIterations 3

2.5

Valeurs de sigmacarre

2

1.5

1

0.5

0 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

Fig. 4.6 – Convergences de β, µ et σ 2 , ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données MAR de 5% : scénario 1 du tableau 3.2

43

Chapitre 4. Données longitudinales incomplètes

Densité de Beta

Densité de Mu

1.5

2.5

2

1 1.5

1

0.5

0.5

0 −0.5

0

0.5

1

1.5

2

0 −1

2.5

−0.8

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

0.8

Densité de SigmaCarrée 1.4

1.2

1

0.8

0.6

0.4

0.2

0

0

1

2

3

4

5

6

Fig. 4.7 – Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données MAR avec 66% de données manquantes : scénario 1 du tableau 3.2

44

Chapitre 4. Données longitudinales incomplètes

Beta en fonction du NbIterations

Mu en fonction du NbIterations

2

0.6

1.8 0.4

1.6 0.2

1.2

Valeurs de Mu

Valeurs de Beta

1.4

1

0.8

0.6

0

−0.2

−0.4

0.4 −0.6

0.2

0 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

−0.8 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

sigmacarre en fonction du NbIterations 6

5

Valeurs de sigmacarre

4

3

2

1

0 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

Fig. 4.8 – Convergences de β, µ et σ 2 , ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données MAR avec 66% de données manquantes : scénario 1 du tableau 3.2

Chapitre 4. Données longitudinales incomplètes

4.4.3

45

M´ ecanisme NMAR

Les données manquantes sont créées selon un mécanisme NMAR. En effet, dans ce cas la proportion de données manquantes, mt , est créée comme suit :

p(Ri = 0|yi , ν) =

(

1 0

si γi + λxit + it > 0 si γi + λxit + it < 0

avec γi ∼ N (µ0 , σ02 ), λ = 1 et it ∼ N (0, 1). Donc pour déterminer différentes valeurs de mt , on fait varier µ0 . Ainsi, pour µ0 = 2.4 on aura m1 = 6%, m2 = 5%, m3 = 6% et m4 = 4%. Pour µ0 = 1 on aura m1 = 21%, m2 = 23%, m3 = 21% et m4 = 20%. Pour µ0 = 0.9 on aura m1 = 30%, m2 = 30%, m3 = 33% et m4 = 31%. Le tableau 4.3 résume les résultats obtenus en appliquant l’algorithme d’échantillonnage de Gibbs a` ce mécanisme.

Proportion

Tab. 4.3 – Résultats via l’échantillonnage de Gibbs, scénario 1, avec différentes proportions de données manquantes NMAR dans chaque période P´ eriodes Moments a posteriori pourcentage de Moyenne a posteriori données manquantes (écart-types a posteriori entre parenthèses) t1 t2 t3 t4 µ β σ2 5% 8% 5% 4% 6% 0.0153 (0.1356) 0.9888 (0.1897) 1.2258 (0.3403) 19% 16% 19% 15% 19% 0.2177 (0.1296) 0.9439 (0.1972) 0.9786 (0.2875) 38% 41% 36% 41% 39% -0.0486 (0.1360) 1.3014 (0.2313) 0.9554 (0.3345) 60% 48% 53% 47% 56% -0.0256 (0.1600) 1.2928 (0.2519) 1.1799 (0.4037)

L’espérence et l’écart-type a posteriori de µ ne changent pas beaucoup avec la variation de proportion des données manquantes. Les estimateurs de β et de σ 2 deviennent moins précis au fur et a` mesure que la proportion de données manquantes augmente. Les graphiques de densités a posteriori et de convergence des paramètres pour le cas de 5% et de 60% de données manquantes seront présentés dans les pages suivantes.

46

Chapitre 4. Données longitudinales incomplètes

Densité de Beta

Densité de Mu

2.5

3

2.5

2

2

1.5

1.5

1 1

0.5 0.5

0 0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

0 −0.6

−0.4

−0.2

0

2.5

3

3.5

0.2

0.4

0.6

0.8

Densité de SigmaCarrée 1.4

1.2

1

0.8

0.6

0.4

0.2

0

0

0.5

1

1.5

2

Fig. 4.9 – Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données NMAR avec 5% de données manquantes : scénario 1 du tableau 3.2

47

Chapitre 4. Données longitudinales incomplètes

Beta en fonction du NbIterations

Mu en fonction du NbIterations

2

0.6

1.8 0.4

1.6 0.2

Valeurs de Mu

Valeurs de Beta

1.4

1.2

0

−0.2

1 −0.4

0.8

−0.6

0.6

0.4 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

−0.8 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

sigmacarre en fonction du NbIterations 3.5

3

Valeurs de sigmacarre

2.5

2

1.5

1

0.5

0 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

Fig. 4.10 – Convergences de β, µ et σ 2 , ayant les vraies valeurs 1, 0 et 1, respectivement, Cas de données NMAR avec 5% de données manquantes : scénario 1 du tableau 3.2

48

Chapitre 4. Données longitudinales incomplètes

Densité de Beta

Densité de Mu

1.6

3

1.4 2.5

1.2 2

1

0.8

1.5

0.6 1

0.4 0.5

0.2

0

0

0.5

1

1.5

2

2.5

3

0 −0.8

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

0.8

Densité de SigmaCarrée 1.4

1.2

1

0.8

0.6

0.4

0.2

0

0

0.5

1

1.5

2

2.5

3

3.5

4

4.5

Fig. 4.11 – Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données NMAR avec 60% de données manquantes : scénario 1 du tableau 3.2

49

Chapitre 4. Données longitudinales incomplètes

Beta en fonction du NbIterations

Mu en fonction du NbIterations

2.5

0.6

0.4

2

1.5

Valeurs de Mu

Valeurs de Beta

0.2

1

0

−0.2

−0.4

0.5 −0.6

0 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

−0.8 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

sigmacarre en fonction du NbIterations 4.5

4

3.5

Valeurs de sigmacarre

3

2.5

2

1.5

1

0.5

0 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

Fig. 4.12 – Convergences de β, µ et σ 2 , ayant les vraies valeurs 1, 0 et 1, respectivement, cas de données NMAR avec 60% de données manquantes : scénario 1 du tableau 3.2

Chapitre 4. Données longitudinales incomplètes

4.4.4

50

´ Etude des cas complets

Il serait utile d’analyser les données disponibles, autrement dit on s’intéresse a` l’analyse des données présent. Ainsi on retire les x dès que yit est manquant. Ibrahim et al. (2005) utilisent le terme analyse des cas complets (CC), pour le reste de ce document nous adoptons la même notation. L’analyse des cas complets limite l’attention aux cas o` u toutes les variables et tous les individus sont présents. Le grand désavantage de cette méthode est la perte potentielle d’information due a` la non utilisation des données incomplètes. En effet, si le mécanisme de non réponse n’est pas MCAR, cette perte d’information comportera deux aspects : la perte de précision et le biais. L’analyse des cas complets peut être justifiée lorsque la perte de précision et de biais est minime, selon Rubin et al. (2002, page 41). La question est de savoir si les estimateurs seront biaisés si on analyse seulement les données pour lesquelles les individus sont observés. En effet, si un individu est manquant pour une période donnée, on l’élimine de la base de données pour cette période. Donc on n’utilise que les données observées. Si on a un échantillon de taille 100 observations mais avec une proportion p de données manquantes, alors le nombre d’observations qu’on va considérer correspondera aux nombre d’individus qui sont observés au moins une fois. Cependant, l’algorithme de la section 4.4.1 utilise les x de l’individu i de la période t qui sont manquants. Cet algorithme les ignore complètement. La non réponse, dans ce cas, est générée selon un mécanisme MCAR et on utilise les mêmes bases que celles de MCAR présentées dans la section 4.4.1. Le nombre d’observations n est déterminé comme suit :

n=

100 X i=1

max Rit ,

t∈{1,...,T }

et chaque individu i est observé ti fois :

ti =

T X

Rit .

t=1

Les résultats de cette analyse, qui ne considère que les données disponibles, sont résumés dans le tableau 4.4.

Chapitre 4. Données longitudinales incomplètes

51

.

Proportion

Tab. 4.4 – Résultats via l’échantillonnage de Gibbs, scénario 1, avec différentes proportions de donnée manquante CC-MCAR dans chaque période P´ eriodes Moments a posteriori pourcentage de Moyenne a posteriori données manquantes (écart-types a posteriori entre parenthèses) t1 t2 t3 t4 µ β σ2 5% 11% 3% 5% 4% 0.0644(0.1276) 1.1309(0.2004) 0.9235(0.2609) 19% 19% 22% 16% 22% -0.0276(0.1319) 1.1227(0.2167) 1.0728(0.3140) 45% 45% 33% 40% 36% 0.1166(0.1558) 0.9476(0.2557) 1.2274(0.4208) 66% 61% 70% 60% 66% 0.1130(0.3700) 1.5189(0.4315) 6.3554(3.0554)

Une analyse des résultats du tableau 4.4 et du tableau C.4 montre que les moyennes et les écarts-types a posteriori de µ, β et de σ 2 sont stables pour les proportions de 5% et de 19%. Par contre, pour une proportion de données manquantes de 45% on note une diminution de précision pour µ et β. Cependant, pour une proportion de données manquantes de 66% on remarque une perte d’information très importante de tous les estimateurs. En effet, la moyenne a posteriori de µ peut atteindre 1.6462 avec un écarttype de 0.9843, celle de β peut atteindre 3.6213 avec un écart-type de 0.7210 et la moyenne de σ 2 est de 394.2961 avec un écart-type de 12.53. Mais il est important de signaler que si le mécanisme de non réponse n’était pas MCAR, les résultats auraient étaient biaisés et moins précis pour de faible proportion de données manquantes. On a déjà évoqué cet aspect et on estime important d’y revenir. La base de données manquante NMAR, présentée ci-dessus, fera l’étude d’une analyse des cas complets ; les résultats sont dans le tableau 4.5.

Chapitre 4. Données longitudinales incomplètes

52

.

Proportion

Tab. 4.5 – Résultats via l’échantillonnage de Gibbs avec différentes proportions de données manquantes NMAR, étude des cas complets : scénario 1 du tableau 3.2 P´ eriodes Moments a posteriori pourcentage de Moyenne a posteriori données manquantes (écart-types a posteriori entre parenthèses) t1 t2 t3 t4 µ β σ2 5% 8% 5% 4% 6% -0.0347 (0.1282) 1.2233 (0.2017) 0.9803 (0.2591) 19% 16% 19% 15% 19% 0.0724 (0.1513) 1.1352 (0.2254) 1.2821 (0.4125) 38% 41% 36% 41% 39% -0.0744 (0.1812) 1.2724 (0.2654) 1.7331 (0.5478) 60% 48% 53% 47% 56% -0.1108 (0.3773) 1.7870 (0.3575) 5.8039 (2.8455)

Il en résulte que les estimateurs sont biaisés et sont beaucoup moins précis que le cas de MCAR. En effet, si x est inconnu alors y et R sont corréllés et la formule (3.19) est fausse car elle suppose l’indépendance entre y et R. On ne simule plus la densité a posteriori avec l’échantillonneur de Gibbs. Dans les pages suivantes on trouve les graphiques des densités a priori ainsi que leur graphique de convergences, pour l’étude des CC et o` u les données manquantes sont MCAR.

53

Chapitre 4. Données longitudinales incomplètes

Densité de Beta

Densité de Mu

2

3.5

1.8 3

1.6 2.5

1.4

1.2 2

1 1.5

0.8

0.6

1

0.4 0.5

0.2

0 0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

0 −0.6

−0.4

−0.2

0

0.2

0.4

0.6

0.8

Densite de SigmaCarrée 1.8

1.6

1.4

1.2

1

0.8

0.6

0.4

0.2

0

0

0.5

1

1.5

2

2.5

Fig. 4.13 – Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, avec une proportion de données manquantes de 5%, analyse des cas complets MCAR : scénario 1 du tableau 3.2

54

Chapitre 4. Données longitudinales incomplètes

Beta en fonction du NbIterations

Mu en fonction du NbIterations

1.8

0.6

1.6 0.4

1.4 0.2

Valeurs de Mu

Valeurs de Beta

1.2

1

0

−0.2

0.8 −0.4

0.6

−0.6

0.4

0.2 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

−0.8 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

sigmacarre en fonction du NbIterations 2.2

2

1.8

Valeurs de sigmacarre

1.6

1.4

1.2

1

0.8

0.6

0.4

0.2 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

Fig. 4.14 – Convergence de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, avec une proportion de données manquantes de 5%, analyse des cas complets MCAR : scénario 1 du tableau 3.2

55

Chapitre 4. Données longitudinales incomplètes

Densité de Beta

Densité de Mu

1

1.4

0.9 1.2

0.8 1

0.7

0.6 0.8

0.5 0.6

0.4

0.3

0.4

0.2 0.2

0.1

0 −0.5

0

0.5

1

1.5

2

2.5

3

3.5

0 −1.5

4

−1

−0.5

0

0.5

1

1.5

2

2.5

Densite de SigmaCarrée 0.16

0.14

0.12

0.1

0.08

0.06

0.04

0.02

0 −5

0

5

10

15

20

25

Fig. 4.15 – Densités a posteriori de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, avec une proportion de données manquantes de 66%, analyse des cas complets MCAR : scénario 1 du tableau 3.2

56

Chapitre 4. Données longitudinales incomplètes

Mu en fonction du NbIterations 2

3

1.5

2.5

1

Valeurs de Mu

Valeurs de Beta

Beta en fonction du NbIterations 3.5

2

1.5

0.5

0

1

−0.5

0.5

−1

0 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

−1.5 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

sigmacarre en fonction du NbIterations 25

Valeurs de sigmacarre

20

15

10

5

0 5000

5500

6000

6500

7000

7500 8000 NbIterations

8500

9000

9500

10000

Fig. 4.16 – Convergence de β, µ et σ 2 ayant les vraies valeurs 1, 0 et 1, respectivement, avec une proportion de données manquantes de 66%, analyse des cas complets MCAR : scénario 1 du tableau 3.2

Chapitre 4. Données longitudinales incomplètes

4.4.5

57

Conclusion

Notons, tout d’abord, qu’il est difficile de simuler les mêmes proportions de données manquantes pour tous les mécanismes et que dans environ 88% des cas si la proportion des données manquante augmente, alors la précision diminue. Pour le mécanisme MCAR, on remarque que les estimateurs ne semblent pas être influencés par la variation de proportion des données manquantes. Donc jusqu’à une proportion de 66%, les estimateurs sont proches des vraies valeurs. Quant au mécanisme MAR, on remarque une perte de précision de l’estimateurs de σ 2 a` partir d’une proportion de 53%. Pour une proportion de 66%, le biais des estimateurs de β et de σ 2 devient très important et leur précision diminue, ce qui n’est pas le cas pour le mécanisme MCAR. En ce qui concerne le mécanisme NMAR, les estimateurs sont précis et ne présentent pas de biais et sont semblables a` ceux du mécanisme MCAR. En revanche, si on compare les résultats de l’analyse des cas complets présentée dans le tableau 4.4 avec les résultats de l’analyse qui tient compte des données manquantes décrite dans le tableau 4.1, on remarque que le biais est plus important pour l’analyse des résultats des cas complets. Les estimateurs issus de l’analyse des cas complets sont aussi moins précis. Dans la prochaine section, on présente un exemple illustratif en traitant une base de données réelle.

Chapitre 4. Données longitudinales incomplètes

4.5

58

Application

L’exemple qui sera étudié est un sous ensemble de la base de données de Keane et Wolpin (1997), Keane.raw, qu’on a pris de Wooldridge (2002, page 498). Il porte sur ` partir de cette la décision de continuer les études et/ou de travailler chez les jeunes. A base, on a sélectionné des informations concernant la scolarité et le statut d’emploi de 199 individus entre 1981 et 1984. La variable dépendante est le statut de l’individu, qui prend 1 si l’individu est au travail mais n’est pas aux études, et 0 si l’individu est aux études ou n’est pas aux études et ne travaille pas. Cette variable sera notée Y it , o` u i = 1, ..., 199 est l’indice de l’individu et t = 1, ..., 4 est le temps(en années). La variable explicative Xit est le nombre d’années d’éducation de l’individu i a` la période t et varie de 7 a` 18 années d’éducation. Dans le reste de l’application, on définit Yt = (Y1t , ..., Y199t ) et Xt = (X1t , ..., X199t ). Une description plus détaillée de la base de données est donnée dans le tableau 4.6. Tab. 4.6 – Description de la Cas possible Y1 Y2 Y3 Y4 0 0 0 0 0 0 0 1 0 0 1 0 0 0 1 1 0 1 0 0 0 1 0 1 0 1 1 0 0 1 1 1 1 0 0 0 1 0 0 1 1 0 1 0 1 0 1 0 1 1 0 0 1 1 0 1 1 1 1 0 1 1 1 1

base de données : Moyenne des variables explicatives Moyenne Effectifs X1 X2 X3 X4 10.73 11.11 11.39 11.58 68 11.00 11.52 11.82 12.04 23 11.25 11.75 12.25 12.25 8 11.11 11.73 12.03 12.03 26 10.50 10.50 10.50 10.50 2 11.33 12.16 12.16 12.33 6 10.75 11.50 11.50 11.50 4 11.22 11.50 11.50 11.50 18 10.00 10.00 10.00 10.00 3 10.25 10.25 10.25 10.25 4 10.50 10.50 10.50 10.50 2 11.28 11.28 11.42 11.42 7 10.00 10.00 10.00 10.00 1 10.20 10.20 10.20 10.20 5 11.00 11.00 11.00 11.00 1 11.38 11.38 11.38 11.38 21

On remarque, dans le tableau 4.6, que l’effectif des individus qui sont aux études ou au chômage pour les quatres périodes (Y1 = Y2 = Y3 = Y4 = 0) est plus important que celui des individus qui sont au travail (Y1 = Y2 = Y3 = Y4 = 1). La moyenne de nombre d’années d’éducation, pour le cas o` u Y1 = Y2 = Y3 = Y4 = 0, passe de 10.73 a` 11.58,

Chapitre 4. Données longitudinales incomplètes

59

ce qui laisse croire que le nombre d’individus qui sont aux études dépasse celui de ceux qui sont aux chômage. Le modèle qu’on va utiliser est le même que celui présenté a` la section 2.2. Les différentes bases de données manquantes sont créées selon les mécanismes de non réponse MCAR, MAR et NMAR présenté a` la section 4.2.

4.5.1

M´ ecanisme MCAR

Les différentes proportions des données manquantes MCAR sont créées selon la démarche présentée a` la section 4.4.1. Les paramètres µ et β possèdent la même loi a priori qui est la loi normale de moyenne 1 et de variance 10. Quant a` σ, sa distribution a priori est une gamma inverse de moyenne 1.14 et d’écart-type 0.94.

Proportion

Tab. 4.7 – Résultats via l’échantillonnage de Gibbs avec différentes proportions de données manquantes MCAR,

0% 7% 19% 44% 62%

P´ eriodes pourcentage de données manquantes t1 t2 t3 t4 0% 0% 0% 0% 7% 7% 7% 6% 14% 20% 21% 22% 43% 45% 43% 44% 62% 63% 62% 63%

Moments a posteriori Moyenne a posteriori (écart-types a posteriori entre parenthèses) µ β σ2 -2.6135 (0.6837) 0.1873 (0.0583) 1.2923 (0.2839) -2.6689 (0.6637) 0.1925 (0.0568) 1.2503 (0.2751) -2.4137 (0.6572) 0.1695 (0.0562) 0.9977 (0.2386) -2.5752 (0.7597) 0.1722 (0.0646) 1.1673(0.3119) -1.9892 (0.8187) 0.1170 (0.0706) 1.1488(0.3495)

Les résultats présentés dans le tableau 4.7 montrent que les estimateurs sont précis ` partir d’une proportion de 44%, on note une pour une proportion de 7% et de 19%. A légère dimunition de précision. En général, il n’existe pas une grande différence entre les estimateurs dans le cas o` u on prend la base de données complète (0% de données manquantes) et dans le cas de données manquantes. Les graphiques de densité et de convergence pour les proportions de 7% et 62%, respectivement, sont présentés dans les pages qui suivent.

60

Chapitre 4. Données longitudinales incomplètes

Densité de Mu

Densité de Beta 8

0.7

7

0.6

6

0.5 5

0.4 4

0.3 3

0.2 2

0.1

1

0 −0.05

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0 −5

0.4

−4.5

−4

−3.5

−3

−2.5

−2

−1.5

−1

−0.5

0

Densité de SigmaCarrée 1.6

1.4

1.2

1

0.8

0.6

0.4

0.2

0

0

0.5

1

1.5

2

2.5

3

Fig. 4.17 – Densités a posteriori de β, µ et σ 2 , avec une proportion de données manquantes de 7%, analyse des cas MCAR

61

Chapitre 4. Données longitudinales incomplètes

Beta en fonction du NbIterations

Mu en fonction du NbIterations

0.35

0

−0.5 0.3 −1

−1.5

Valeurs de Mu

Valeurs de Beta

0.25

0.2

0.15

−2

−2.5

−3

−3.5

0.1

−4 0.05 −4.5

0 3.5

4

4.5

5

5.5 NbIterations

6

6.5

−5 3.5

7

4

4.5

5

4

x 10

5.5 NbIterations

6

6.5

7 4

x 10

sigmacarre en fonction du NbIterations 3

Valeurs de sigmacarre

2.5

2

1.5

1

0.5 3.5

4

4.5

5

5.5 NbIterations

6

6.5

7 4

x 10

Fig. 4.18 – Convergence de β, µ et σ 2 , avec une proportion de données manquantes de 7%, analyse des cas MCAR

62

Chapitre 4. Données longitudinales incomplètes

Densité de Beta

Densité de Mu

7

0.7

6

0.6

5

0.5

4

0.4

3

0.3

2

0.2

1

0.1

0 −0.2

−0.1

0

0.1

0.2

0.3

0.4

0 −6

0.5

−5

−4

−3

−2

−1

0

1

Densité de SigmaCarrée 1.4

1.2

1

0.8

0.6

0.4

0.2

0

0

0.5

1

1.5

2

2.5

3

3.5

4

Fig. 4.19 – Densités a posteriori de β, µ et σ 2 , avec une proportion de données manquantes de 62%, analyse des cas MCAR

63

Chapitre 4. Données longitudinales incomplètes

Mu en fonction du NbIterations Beta en fonction du NbIterations

1

0.4

0.35

0 0.3

−1 Valeurs de Mu

Valeurs de Beta

0.25

0.2

0.15

−2

0.1

−3 0.05

0

−4

−0.05

−0.1 3.5

4

4.5

5

5.5 NbIterations

6

6.5

−5 3.5

7

4

4.5

5

4

x 10

5.5 NbIterations

6

6.5

7 4

x 10

sigmacarre en fonction du NbIterations 4

3.5

Valeurs de sigmacarre

3

2.5

2

1.5

1

0.5

0 3.5

4

4.5

5

5.5 NbIterations

6

6.5

7 4

x 10

Fig. 4.20 – Convergence de β, µ et σ 2 , avec une proportion de données manquantes de 62%, analyse des cas MCAR

Chapitre 4. Données longitudinales incomplètes

4.5.2

64

M´ ecanisme MAR

Les proportions de données manquantes MAR sont créées selon l’approche présentée dans la section 4.4.2. Les paramètres µ et β ont la même distribution a priori qui est la loi normale de moyenne 1 et variance 10. Quant a` la distribution a priori de σ 2 , c’est une gamma inverse de moyenne 1.33 et d’écart-type 0.94. Les résultats sont présentés dans le tableau 4.8.

Proportion

Tab. 4.8 – Résultats via l’échantillonnage de Gibbs avec différentes proportions de données manquantes MAR P´ eriodes Moments a posteriori pourcentage de Moyenne a posteriori données manquantes (écart-types a posteriori entre parenthèses) t1 t2 t3 t4 µ β σ2 0% 0% 0% 0% 0% -2.6135(0.6837) 0.1873(0.0583) 1.2923(0.2839) 10% 0% 7% 20% 28% -3.3283 (0.8515) 0.2432 (0.0720) 1.4354 (0.3629) 17% 0% 14% 22% 32% -2.3931(0.7291) 0.1605 (0.0625) 1.3702 (0.3232) 30% 0% 26% 44% 55% -3.0060(0.8518) 0.1999 (0.0728) 1.5538 (0.4235) 42% 0% 39% 60% 70% -2.1657(0.9021) 0.1360(0.0776) 0.9786 (0.3078)

Les résultats présentés dans le tableau 4.8 montrent que les moyennes a posteriori de β et σ 2 sont peu affectés par la variation de proportions de données manquantes. Cependant l’estimateur de µ est sensible aux changements de proportion de données manquantes. En effet la moyenne a posteriori de µ passe de −2.6135 a` −3.3283 et son écart-type varie de 0.6837 a` 0.9021. Les graphiques de densité et de convergence des paramètres sont présentés dans les pages qui suivent :

65

Chapitre 4. Données longitudinales incomplètes .

Densité de Beta

Densité de Mu

6

0.5

0.45

5 0.4

0.35

4

0.3

3

0.25

0.2

2 0.15

0.1

1 0.05

0 −0.1

0

0.1

0.2

0.3

0.4

0.5

0 −7

0.6

−6

−5

−4

−3

−2

−1

0

Densité de SigmaCarrée 1.4

1.2

1

0.8

0.6

0.4

0.2

0

0

0.5

1

1.5

2

2.5

3

3.5

4

Fig. 4.21 – Densités a posteriori de β, µ et σ 2 , avec une proportion de données manquantes de 10%, analyse des cas MAR

66

Chapitre 4. Données longitudinales incomplètes

Mu en fonction du NbIterations

Beta en fonction du NbIterations

0

0.5

0.45

−1 0.4

−2

0.3

Valeurs de Mu

Valeurs de Beta

0.35

0.25

−3

0.2

−4 0.15

0.1

−5 0.05

0 3.5

4

4.5

5

5.5 NbIterations

6

6.5

−6 3.5

7

4

4.5

5

4

x 10

5.5 NbIterations

6

6.5

7 4

x 10

sigmacarre en fonction du NbIterations 4

3.5

Valeurs de sigmacarre

3

2.5

2

1.5

1

0.5 3.5

4

4.5

5

5.5 NbIterations

6

6.5

7 4

x 10

Fig. 4.22 – Convergence de β, µ et σ 2 , avec une proportion de données manquantes de 10%, analyse des cas MAR

67

Chapitre 4. Données longitudinales incomplètes

Densité de Beta

Densité de Mu

6

0.5

0.45

5 0.4

0.35

4

0.3

3

0.25

0.2

2 0.15

0.1

1 0.05

0 −0.2

−0.1

0

0.1

0.2

0.3

0.4

0 −6

0.5

−5

−4

−3

−2

−1

0

1

2

Densité de SigmaCarrée 1.5

1

0.5

0

0

0.5

1

1.5

2

2.5

3

Fig. 4.23 – Densités a posteriori de β, µ et σ 2 , avec une proportion de données manquantes de 42%, analyse des cas MAR

68

Chapitre 4. Données longitudinales incomplètes

Mu en fonction du NbIterations

Beta en fonction du NbIterations

1

0.5

0

0.4

−1

Valeurs de Mu

Valeurs de Beta

0.3

0.2

0.1

−2

−3

0

−4

−0.1

−5

−0.2 3.5

4

4.5

5

5.5 NbIterations

6

6.5

−6 3.5

7

4

4.5

5

4

x 10

5.5 NbIterations

6

6.5

7 4

x 10

sigmacarre en fonction du NbIterations 3

2.5

Valeurs de sigmacarre

2

1.5

1

0.5

0 3.5

4

4.5

5

5.5 NbIterations

6

6.5

7 4

x 10

Fig. 4.24 – Convergence de β, µ et σ 2 , avec une proportion de données manquantes de 42%, analyse des cas MAR

Chapitre 4. Données longitudinales incomplètes

4.5.3

69

M´ ecanisme NMAR

La base de données NMAR est obtenue selon la démarche présentée a` la section 4.4.3. Les paramètres µ, β et σ 2 ont les mêmes lois a priori que celles présentées dans la section précédente. Le résultat de l’estimation de cette base de données est résumé dans le tableau 4.9.

Proportion

Tab. 4.9 – Résultats via l’échantillonnage de Gibbs avec de différentes proportions de données manquantes NMAR. P´ eriodes Moments a posteriori pourcentage de Moyenne a posteriori données manquantes (écart-type a posteriori entre parenthèses) t1 t2 t3 t4 µ β σ2 0% 0% 0% 0% 0% -2.6135 (0.6837) 0.1873 (0.0583) 1.2923 (0.2839) 7% 7% 7% 7% 6% -2.9204 (0.8011) 0.2122(0.0681) 1.3916(0.3299) 20% 21% 20% 19% 20% -2.2733 (0.6148) 0.1530 (0.0522) 1.1544 (0.2743) 41% 41% 42% 42% 40% -2.3076 (0.5923) 0.1629 (0.0506) 0.9704 (0.2378) 65% 66% 64% 65% 65% -2.2317 (0.8149) 0.1385 (0.0692) 1.1570 (0.3641)

Selon les résultats présentés dans le tableau 4.9, on remarque que les moyennes a posteriori de β et σ 2 ne sont pas affectées par la variation de proportion de données manquantes, sauf dans le cas d’une proportion de 65% o` u on note une dimunition de précision de ces deux paramètres. Quant a` l’estimateur de µ, on note une diminution importante de précision pour une proportion de 65%. Les graphiques de densités et de convergence sont présentés dans les pages qui suivent.

70

Chapitre 4. Données longitudinales incomplètes .

Densité de Mu

Densité de Beta 7

0.7

6

0.6

5

0.5

4

0.4

3

0.3

2

0.2

1

0.1

0 −0.05

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0 −6

−5

−4

−3

−2

−1

0

Densité de SigmaCarrée 1.4

1.2

1

0.8

0.6

0.4

0.2

0

0

0.5

1

1.5

2

2.5

3

3.5

Fig. 4.25 – Densités a posteriori de β, µ et σ 2 , avec une proportion de données manquantes de 7%, analyse des cas NMAR

71

Chapitre 4. Données longitudinales incomplètes

Mu en fonction du NbIterations

Beta en fonction du NbIterations

0

0.45

0.4

−1 0.35

−2 Valeurs de Mu

Valeurs de Beta

0.3

0.25

0.2

−3

−4

0.15

0.1

−5 0.05

0 3.5

4

4.5

5

5.5 NbIterations

6

6.5

−6 3.5

7

4

4.5

5

4

x 10

5.5 NbIterations

6

6.5

7 4

x 10

sigmacarre en fonction du NbIterations 3.5

3

Valeurs de sigmacarre

2.5

2

1.5

1

0.5 3.5

4

4.5

5

5.5 NbIterations

6

6.5

7 4

x 10

Fig. 4.26 – Convergence de β, µ et σ 2 , avec une proportion de données manquantes de 7%, analyse des cas NMAR

72

Chapitre 4. Données longitudinales incomplètes

Densité de Beta

Densité de Mu 0.7

8

7

0.6

6

0.5 5

0.4 4

0.3 3

0.2 2

0.1

1

0 −0.1

−0.05

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0 −6

0.4

−5

−4

−3

−2

−1

0

1

Densité de SigmaCarrée 1.4

1.2

1

0.8

0.6

0.4

0.2

0

0

0.5

1

1.5

2

2.5

3

3.5

4

Fig. 4.27 – Densités a posteriori de β, µ et σ 2 , avec une proportion de données manquantes de 65%, analyse des cas NMAR

73

Chapitre 4. Données longitudinales incomplètes

Mu en fonction du NbIterations Beta en fonction du NbIterations

0

0.4

0.35

−1 0.3

−2 Valeurs de Mu

Valeurs de Beta

0.25

0.2

0.15

−3

−4

0.1

0.05

−5 0

−0.05

4

4.5

5

5.5

6 NbIterations

6.5

7

7.5

8

−6

4

4.5

5

5.5

6 NbIterations

4

x 10

6.5

7

7.5

8 4

x 10

sigmacarre en fonction du NbIterations 3.5

3

Valeurs de sigmacarre

2.5

2

1.5

1

0.5

0

4

4.5

5

5.5

6 NbIterations

6.5

7

7.5

8 4

x 10

Fig. 4.28 – Convergence de β, µ et σ 2 , avec une proportion de données manquante de 65%, analyse des cas NMAR

Chapitre 4. Données longitudinales incomplètes

4.5.4

74

´ Etude des cas complets

Dans ce cas, la non réponse est générée selon un mécanisme MCAR et on exploite la base de données que nous avons utilisée a` la section 4.5.1. Les paramètres µ, β et σ 2 possèdent les mêmes lois a priori que précédemment. La technique d’estimation des cas complets est la même que celle présentée a` la section 4.4.4. Le résultat de cette étude est présentée dans le tableau 4.10.

Proportion

Tab. 4.10 – Résultats via l’échantillonnage de Gibbs avec différentes proportions de données manquantes MCAR, études des cas complets.

0% 7% 19% 44% 62%

P´ eriodes pourcentage de données manquantes t1 t2 t3 t4 0% 0% 0% 0% 7% 7% 7% 6% 14% 20% 21% 22% 43% 45% 43% 44% 62% 63% 62% 63%

Moments a posteriori Moyenne a posteriori (écart-types a posteriori entre parenthèses) µ β σ2 -2.6135 (0.6837) 0.1873 (0.0583) 1.2923 (0.2839) -2.7049 (0.6498) 0.1964 (0.0554) 1.2547(0.2780) -2.1977 (0.6865) 0.1547 (0.0589) 0.9814 (0.2426) -33.1379(2.2234) 2.6501 (0.1851) 58.24(12.1779) -27.1524(7.0964) 2.0687 (0.5982) 368.82(109.4552)

L’analyse des résultats présentés dans le tableau 4.10 montre qu’a partir d’une proportion de données manquantes de 44%, on remarque un biais ainsi qu’une dimunition de précision qui sont très importants. Ce résultat est cohérent avec le résultat obtenu en utilisant les données simulées. Il est important de rappeler dans le cas d’analyse des cas complets la formule (3.19) est fausse car elle suppose l’indépendance entre y et R. Cette condition n’est pas respecté parce que si x est inconnu alors y et R sont corréllés. Les graphiques dans les pages qui suivent montrent que la convergence ne sera pas atteinte.

75

Chapitre 4. Données longitudinales incomplètes

Densité de Beta

Densité de Mu

8

0.7

7

0.6

6 0.5

5 0.4

4 0.3

3 0.2

2

0.1

1

0

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0 −6

0.4

−5

−4

−3

−2

−1

0

Densité de SigmaCarrée 1.5

1

0.5

0

0

0.5

1

1.5

2

2.5

3

Fig. 4.29 – Densités a posteriori de β, µ et σ 2 , avec une proportion de données manquantes de 7%, analyse des cas Complets

76

Chapitre 4. Données longitudinales incomplètes

Beta en fonction du NbIterations

Mu en fonction du NbIterations

0.4

−0.5

0.35

−1

−1.5 0.3 −2 Valeurs de Mu

Valeurs de Beta

0.25

0.2

−2.5

−3

0.15 −3.5 0.1 −4

0.05

0

−4.5

4

4.5

5

5.5

6 NbIterations

6.5

7

7.5

−5

8

4

4.5

5

5.5

6 NbIterations

4

x 10

6.5

7

7.5

8 4

x 10

sigmacarre en fonction du NbIterations 3

2.5

Valeurs de sigmacarre

2

1.5

1

0.5

0

4

4.5

5

5.5

6 NbIterations

6.5

7

7.5

8 4

x 10

Fig. 4.30 – Convergence de β, µ et σ 2 , avec une proportion de données manquantes de 7%, analyse des cas cas complets

77

Chapitre 4. Données longitudinales incomplètes

Densité de Beta

Densité de Mu

0.9

0.07

0.8 0.06

0.7 0.05

0.6

0.04

0.5

0.4

0.03

0.3 0.02

0.2 0.01

0.1

0 0.5

1

1.5

2

2.5

3

3.5

−50

−45

−40

−35

−30

−25

−20

−15

−10

−5

Densite de SigmaCarrée

−3

4

0 −55

4

x 10

3.5

3

2.5

2

1.5

1

0.5

0

0

100

200

300

400

500

600

700

800

900

1000

Fig. 4.31 – Densités a posteriori de β, µ et σ 2 , avec une proportion de données manquante de 62%, analyse des cas complets

78

Chapitre 4. Données longitudinales incomplètes

Beta en fonction du NbIterations

Mu en fonction du NbIterations

3.5

−10

−15

3 −20

2.5 Valeurs de Mu

Valeurs de Beta

−25

2

−30

−35

1.5 −40

1 −45

0.5

4

4.5

5

5.5

6 NbIterations

6.5

7

7.5

8

−50

4

4.5

5

5.5

6 NbIterations

4

x 10

6.5

7

7.5

8 4

x 10

sigmacarre en fonction du NbIterations 900

800

Valeurs de sigmacarre

700

600

500

400

300

200

100

4

4.5

5

5.5

6 NbIterations

6.5

7

7.5

8 4

x 10

Fig. 4.32 – Convergence de β, µ et σ 2 , avec une proportion de données manquante de 62%, analyse des cas complets

Chapitre 4. Données longitudinales incomplètes

79

L’application présentée dans cette section montre que les trois mécanismes donnent des résultats similaires des moments a posteriori de β et σ 2 . Seulement, pour le paramètre µ, on note une différence entre le mécanisme MAR et les deux mécanismes MCAR et NMAR. Ainsi, selon le mécanisme MAR, la moyenne a posteriori de µ varie entre −3.3283 et −2.1657 avec un écart-type qui se trouve entre 0.7291 et 0.9021, alors que pour les deux autres mécanismes, la valeur minimale de la moyenne a posteriori est de −2.9204 et l’écart-type maximal est de 0.8187. En résumé, il serait nécessaire de noter que dans le cas de données réelles, l’algorithme prend plus d’itérations, par rapport aux données simulées, pour converger. En effet dans le cas des données simulées, 10000 itérations sont suffisantes pour la convergence alors que dans le cas des données réelles, le nombre d’itérations varie entre 50000 et 100000.

Chapitre 5 Conclusion Le problème de données manquantes est fréquemment rencontré lors de l’analyse de données longitudinales. Dans ce travail, on présente une méthode d’estimation pour un modèle dichotomique en utilisant une base de données panel incomplètes. Nous avons vu comment l’analyse d’une base de données contenant de données manquantes dépend du mécanisme qui cause la non réponse. Les résultats basés sur l’utilisation de la méthode d’augmentation de données, qui consiste a` créer les variables latentes qui correspondent aux variables dépendantes manquantes, et l’échantillonnage de Gibbs montrent que les estimateurs sont proches des vraies valeurs et sont précis quel que soit le mécanisme de non réponse. Il est a` noter aussi qu’en utilisant cette méthode d’estimation, les estimateurs ne semblent pas être affectés par la variation des proportions des données manquantes. On note que la méthode de l’analyse des cas complets, qui est basée sur la stratégie d’élimination des observations incomplètes, n’est valide que pour le cas du mécanisme de non réponse MCAR et avec une proportion de données manquantes inférieure a` environ 45%. En effet, dans le cas o` u l’élimination des observations devient importante, le biais et la perte de précision deviennent énormes. Cependant, si le mécanisme de non réponse n’est pas MCAR, alors l’étude des cas complets donne des estimateurs qui sont biaisés et moins précis, même pour de faibles proportions de données manquantes. On a remarqué aussi que dans le cas de données réelles, il existe une légère différence entre le mécanisme MAR et les deux mécanismes MCAR et NMAR. Cette différence concerne le paramètre µ qui est beaucoup moins précis comparé aux autres paramètres du modèle. Cette méthode d’estimation peut également être utilisée dans les cas o` u les variables explicatives sont manquantes.

Bibliographie [1] Abramowitz, M. et Stegun, I. A. (1972) Handbook of Mathematical Functions, Dover Press, Washington [2] Albert, J. H. et Chib, S. (1993) Bayesian analysis of binary and polytochomous response data. Journal of the American Statistical Association, 88(422) 669 :679. [3] Albert, P. S., Follmann, D. A., Wang, S. A. et Suh, E. B. (2002) A latent autoregressive model for longitudinal binary data subject to informative missingness. Biometrics 58, 631 :641. [4] Angrist, J. D. (2001) Estimating of limited dependent variable models with dummy endogenous regressors : simple strategies for empirical practice. Journal of Business and Economic Statistics. 19(1)2 :16. [5] Baltagi, B. H. (2004). Panel Data Theory and Application. Physica Verlag, Heidelberg. [6] Baltagi, B. H. (2001). A Companion to Theoretical Econometrics . Blackwell, Malden. [7] Baltagi, B. H. (1995). Econometric Analysis of Panel Data. Wiley, Toronto. [8] Beal, M. J. et Ghahramani, Z. (2003) The Variational bayesian EM algorithm for incomplete data : with application to scoring graphical model structures. Bayesian Statistics. 7, Disponible on ligne : http ://www.gatsby.ucl.ac.uk/ zoubin/papers/valencia02.pdf (Page Consultée le 10 jan. 2005). [9] Carlin, B. P. et Louis, T. A. (2000) Bayes and Empirical Bayes Methods For Data Analysis. Chapman et Hall, Boca Raton. [10] Coop, G. (2003) Bayesian Econometrics. Wiley, Chichester. [11] Casella, G. et George, E. I. (1992) Explaining the gibbs sampler. The American Statistician, 46(3)167 :174.

BIBLIOGRAPHIE

83

[12] Fraley, C. (1999) On Computing the largest fraction of missing information for the EM algorithm and the worst linear function for data augmentation. Computational Statistics & Data Analysis, 31,13 :26. [13] Gelman, A. (2000) Bayesian Data Analysis. Chapman et Hall, Boca Raton. [14] Ghahramani, Z. et Jordan, M. I. (1994) Learning from incomplete data. Massachusetts Institute of Technology. Disponible on Ligne : http ://www.gatsby.ucl.ac.uk/ zoubin/papers/review.pdf (Page consulté le 10 jan. 2005). [15] Gilks, R., Richardson, S. et Spiegelhalter, D. J. (1996) Markov Chain Monte Carlo in Practice. Chapman et Hall, Boca Raton. [16] Ibrahim, J. G., Chen, M., Lipsitz, S. R. et Herring, A. H. (2005) Missing data methods for generalized linear models : a comparative review. Journal of the American Statistical Association, 100(469),173 :190. [17] Lancaster, T. (2004) An Introduction to Modern Bayesian Econometrics. Blackwell Publishing, Malden. [18] Lee, P. M. (1989) Bayesian Statistics : An Introduction. Halsted Press, New York. [19] Little, R. J. A. et Rubin, D. B. (2002). Statistical Analysis With Missing Data. Wiley Interscience Publication, New Jersey. [20] Little R. J. A. (1995) Modeling the drop-out mechanism in repeated-measures studies. Journal of the American Statistical Association, 90(431) 1112 :1121. [21] Poirier, D. (1995) Intermediate Statistics and Econometrics. MIT Press, Cambridge. [22] Raftery, A. E., Tanner M. A. et Wells M. T. (2002). Statistics In The 21st Century. Chapman et Hall, Boca Raton. [23] Ross, S. M. (2000) Introduction to Probability Models. Academic Press, San Diego. [24] Schafer, J. L. (1997) Analysis of Incomplete Multivariate Data. Chapman et Hall, London. [25] Skrondal, A. et Rabe-Hesketh, S. (2004) Generalized Latent Variable Modeling. Chapman et Hall, Boca Raton. [26] Tanner, M. A. (1996). Tools For Statistical Inference. Springer, New York.

BIBLIOGRAPHIE

84

[27] Tanner M. A. et Wong W. H. (1987) The Calculation of posterior distributions by data augmentation. Journal of the American Statistical Association, 82(398)528 :540. [28] Train, K. (2003) Discrete Choice Methods With Simulation. Cambridge University Press. Disponible on ligne : http ://elsa.berkeley.edu/ train/books.html(Page consulté le 17 mai 2005). [29] Wooldrige, J. M. (2002). Econometric Analysis Of Cross Section And Panel Data. MIT Press, Cambridge. [30] Yi, G. Y. et Thompson, M. E. (2005). Marginal and association regression models for longitudinal binary data with drop-outs : a likelihood-based approach. The Canadian Journal of Statistics, 33(1)1 :20. [31] Zhang, P. (2003) Multiple imputation : theory and application. International Statistical Review, 71(3)581 :592.

Annexe A Distributions a posteriori : cas de donn´ ees compl` etes Dans cette section on détermine les distributions a posteriori conditionnelle des différents paramètres d’intérêt en se basant sur la distribution jointe (3.19). Distribution de αi La distribution de αi est obtenue comme suit : ∗ 2 f (α i |yi , µ, β, σ , xit )i hQ T ∗ 2 ∝ t=1 f (yit |αi , β) f (αi |µ, σ ) o n P ∝ exp − 12 Tt=1 (yit∗ − αi − βxit )2 exp − 2σ1 2 (αi − µ)2 n o P ∝ exp − 21 Tt=1 (yit∗ − αi − βxit )2 − 2σ1 2 (αi − µ)2 n o PT 1 1 ∗ ∗2 2 ∗ 2 2 2 2 ∝ exp − 2 t=1 (yit + αi − 2αi yit + β xit − 2βxit yit + 2βαi xit ) − 2σ2 (αi − 2µαi + µ ) n 2 o P P 2 α µ2 ∝ exp − 2i (T + σ12 ) + αi Tt=1 (yit∗ − βxit + σµ2 ) + Tt=1 (βxit yit∗ − 12 yit∗ 2 − β2 xit 2 ) − 2σ 2 P (y∗ −βx )+ µ it t=1 it 1 σ2 =N , . T+ 1 T+ 1 σ2

σ2

Distribution de µ La distribution a posteriori de µ est déterminée en suivant les manipulations mathématiques suivantes :

Annexe A. Distributions a posteriori : cas de données complètes

86

Q f (µ|α, σ 2 ) ∝ [ ni=1 f (αi |µ, σ 2 )] f (µ) n o Q P ∝ ni=1 exp − 2σ12 ni=1 (αi − µ)2 exp − 2b11 (µ − a1 )2 o n Pn 1 1 2 2 2 2 ∝ exp − 2σ2 i=1 (αi − 2µαi + µ ) − 2b1 (µ − 2µa1 + a1 ) o n Pn Pn 2 a21 αi a1 i=1 αi . ∝ exp − 21 µ2 ( σn2 + b11 ) + µ( i=1 + ) − − σ2 b1 2σ 2 2b2 1

Il s’agit de noyau de la distribution normale, ainsi la distribution conditionnelle a posteriori de µ est donnée par

µ∼N

b1

Pn

αi + σ 2 a 1 , nb1 + σ 2 i=1

σ 2 b1 nb1 + σ 2

(A.1)

.

Distribution de β Les manipulations suivantes permettent de déterminer la distribution a posteriori de β: hQ Q i n T ∗ f (β|α, y ∗) ∝ f (y |β, α ) f (β) i it t=1 n i=1 P P PT Qn 2 PT 2 ∗ + β x ∝ i=1 exp − 12 Tt=1 yit∗2 + T2 αi2 + αi Tt=1 yit∗ − β2 it t=1 t=1 xit yit o P −βαi Tt=1 xit exp − 2b1 (β − a)2 n PT P P P P P 2 Pn 2 ∝ exp − 21 ni=1 Tt=1 yit∗2 + T2 ni=1 αi2 + ni=1 Tt=1 αi yit∗ − β2 t=1 xit i=1 o P P P P 2 1 2 +β ni=1 Tt=1 xit yit∗ − β ni=1 Tt=1 αi xit − 2b β + aβ − a2b ) b n 2 P P P P P P ∝ exp − β2 ( ni=1 Tt=1 x2it + 1b ) + β( ni=1 Tt=1 xit yit∗ − ni=1 Tt=1 αi xit + ab ) o Pn PT Pn PT ∗2 T Pn a2 1 2 ∗ + i=1 t=1 αi yit − 2 i=1 t=1 yit + 2 i=1 αi − 2b ce qui permet de donner la distribution conditionnelle complète suivante de β :

β∼N

a b

Distribution de σ 2

+

Pn PT 1 b

∗ i=1 t=1 xit (yit − αi ) , Pn PT + i=1 t=1 x2it

1 1 b

+

Pn PT i=1

2 t=1 xit

!

(A.2)

Annexe A. Distributions a posteriori : cas de données complètes

87

Nous déterminons dans un premier temps la distribution a priori de σ 2 . Posons z suit une distribution gamma de paramètres c et d et soit σ 2 = z1 , donc la distribution de σ 2 est une Gamma inverse dont la distribution est : f (σ 2 ) = fz (z −1 (σ 2 ))|J| 1 1 = fz 2 σ σ4 d 1 dc −2(c−1) = σ exp(− 2 ) 4 Γ(c) σ σ c d d −2(c+1) = σ exp − 2 . Γ(c) σ

(A.3)

(A.4)

´ Etant données les différents valeurs de αi et µ, la distribution a posteriori de σ 2 s’obtient comme suit :

f (σ 2 |αi , µ) ∝ ∝

"

n Y

σ

i=1

−2 12

1 exp − 2 (αi − µ)2 2σ

"

n Y i=1

#

σ

#

f (αi |µ, σ 2 ) f (σ 2 )

−2(c+1)

d exp − 2 σ

! n X 1 d ∝ σ −2(c+1) σ exp − 2 (αi − µ)2 − 2 2σ i=1 σ Pn 2 1 −2(c+1+ n2 ) i=1 (αi − µ) exp − 2 ( + d) . ∝σ σ 2

(A.5)

−2 n 2

(A.6)

Donc la distribution conditionnelle complète de σ 2 est une gamma inverse dont la distribution est : " )# ( n 1 Pn c+ n2 2 X (α − µ) + d n 1 1 i i=1 2 (αi − µ)2 + d (A.7) σ −2(c+1+ 2 ) exp − 2 Γ(c + n2 ) σ 2 i=1 Distribution de yit∗

Annexe A. Distributions a posteriori : cas de données complètes

88

La distribution conditionnelle a posteriori de yit∗ est normale tronquée de la forme suivante : 1. Si yit = 1 (ou yit∗ > 0), alors on a une distribution normale, tronquée a` gauche a` 0, de moynne αi + βxit et de variance 1 ; 2. Si yit = 0 (ou yit∗ < 0), alors on a une distribution normale, tronquée a` droite a` 0, de moynne αi + βxit et de variance 1.

Annexe B Programmes Stata et Matlab Dans cette section, on présente les programmes qui ont servi a` l’estimation du modèle par le maximum de vraisemblance avec STATA ainsi que les différents programmes d’estimation par l’échantillonnage de Gibbs avec MATLAB.

B.1

Pragrammes d’estimation par le maximum de vraisemblance

Voici le programme qu’on a utilisé pour l’estimation du modèle par maximum de vraisemblance présenté a` la section 2.2

/*****************************************************************/ ** Maximum de vraisemblance pour le mod` ele de probit_dicho_panel */ ******************************************************************/ /*------------------------------------------------------------------------------*/ * Ce programme intitul´ e mlfunc est r´ ealis´ e pour maximiser la fonction de * * vraisemblance telle que pr´ esent´ ee dans le chapitre 2 en utilisant l’algorithme* * de Gauss-Legendre. Dans ce programme on a cr´ ee une fonction appel´ ee intquad1 * * qui a comme entr´ ee la fonction Func, le nombre de points d’int´ egration (40), * * la borne inf´ erieur et la borne superieur de l’int´ egrale (-15 et 15) et ayant * * comme sortie la valeur num´ erique de logaritme de la fonction de vraisemblance * * qui sera stock´ e dans resultat * /*-----------------------------------------------------------------------------*/

Annexe B. Programmes Stata et Matlab

capture program drop mlfunc

90

* pour effacer le programme mlfunc s’il existe

program define mlfunc * d´ efinir le programme mlfunc args lnf beta mu sig * d´ efinir les arguments du programme capture dropvars resultat scalar deter1 = ‘beta’ scalar deter2 = ‘mu’ scalar deter3 = abs(‘sig’) intquad1 Func 40 -15 15 resultat * est une fonction qui calcule l’int´ egrale quietly replace ‘lnf’ = ln(resultat) * de Func entre -infinie et plus l’infinie end capture program drop Func * d´ efinir un nouveau programme qui s’intitule program define Func * Func et qui g´ en` ere la fonction de vraisemblance args alfa * d´ efinie dans la section 2.2 capture drop _func

#delimit ; gen double _func = [norm(‘alfa’ + deter1*X1)]^Y1*[(1-norm(‘alfa’ + deter1*X1))] ^(1-Y1)*[norm(‘alfa’ + deter1*X2)]^Y2*[(1-norm(‘alfa’ + deter1*X2))]^(1-Y2)* [norm(‘alfa’ + deter1*X3)]^Y3*[(1-norm(‘alfa’ + deter1*X3))]^(1-Y3)* [norm(‘alfa’ + deter1*X4)]^Y4*[(1-norm(‘alfa’ + deter1*X4))]^(1-Y4)* normden((‘alfa’-deter2)/deter3)/deter3;

#delimit cr end ******

Start of program here

set more off *mat b0=(1,1,1) use panel100_110.dta, clear ml model lf mlfunc (beta:) (mu:) *ml check *ml init b0, skip

(sig:)

91

Annexe B. Programmes Stata et Matlab

ml maximize ml graph outtex , level labels details legend file(c:\maxvrs100_110) replace

title( vraisemblance)

Annexe B. Programmes Stata et Matlab

B.2

92

Programmes d’estimation par l’´ echantillonnage de Gibbs

Cette partie de l’annexe décrit les différents programmes MATLAB utilisés afin d’estimer le modèle dichotomique en utilisant l’échantillonnage de Gibbs.

B.2.1

Programme d’estimation par l’´ echantillonnage de Gibbs : base de donn´ ees compl` etes

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %% Programme d’´ echantillonnge de Gibbs sur donn´ ees compl` etes simul´ es %%%%%% %% Les Vraies valeurs sont Mu = 0, Beta = 1 et Sigma = 1 %%%%%%%%%%%%%%%% %% Derni` ere modification le 11/03/05 %%%%%%%%%%%%%%%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %--------------------------------------------------------------------------% % Ce programme est compos´ e d’une fonction principale intitul´ e gibbsmatopt3 % % ayant comme entr´ ee : NbIterations ainsi que le fichier de donn´ ees et des % % valeurs initiales de param` etres. La sortie de cette fonction est : NomFi-% % chierSorties1 et NomFichierSorties2 o` u NomFichierSorties1 contient les % % valeurs de Beta, Alpha, Mu et sigma carr´ ee de chaque it´ eration. Le % % NomFichierSorties2 contient les moyennes a posteriori de sigma carr´ e, de % % Mu et de Beta ainsi que leurs e ćarts-types respectifs. Toutefois cette % % fonction principale fait appelle a ` trois sous fonctions, soient : Trunca-% % tedNormal qui sert a ` faire des tirages a ` partir d’une loi normal tronqu´ ee% % qui a comme entr´ ee le vecteur de donn´ ees, y, la variable explicative, x, % % les valeurs courantes de la variance, sig, de, Beta, d’alpha et de num´ ero% % de l’it´ eration i, et comme sortie une vecteur de yetoile. La fonction % % Graphiques ayant comme entr´ ee : ValeursX, ValeursY,NoFigure,Titre, % % XLabel,YLabel et comme sortie le graphique de convergence des diff´ erents % % param` etres d’int´ erets. La fonction Kdensity ayant comme entr´ ee : ValeursXX% % NoFig, Titre et comme sortie le graphique de la densit´ e a posteriori des % % param` etres. % %--------------------------------------------------------------------------% function gibbsmatopt3(NbIterations,NomFichierSorties1,NomFichierSorties2)

93

Annexe B. Programmes Stata et Matlab

SS=load (’panel100_01.txt’); Id = SS(:,1);X2=SS(:,3);X1=SS(:,2); X3=SS(:,4);X4=SS(:,5);Y1=SS(:,6); Y2=SS(:,7);Y3=SS(:,8);Y4=SS(:,9); n = length(Id) ; % Initialisation des variables : yetoile, alpha, beta, mu, sigmacarre. cc = 3 ;dd = 6 ;aa = 4 ; aa1 = 3 ;bb = 14 ;bb1 = 14 ; yetoile1=ones(n,1);yetoile2=ones(n,1); yetoile3=ones(n,1);yetoile4=ones(n,1); alphaprecedent=ones(n,1);alphaactuel=ones(n,1); beta=ones(NbIterations,1);mu=ones(NbIterations,1); sigmacarre=ones(NbIterations,1);NbEnlever = NbIterations/2 ; var1=1;var2=1;var3=1;var4=1; %D´ ebut de l’´ echantillonnage de Gibbs for (i = 2:NbIterations) moy1 = alphaprecedent+beta(i-1)*X1; moy2 = alphaprecedent+beta(i-1)*X2; moy3 = alphaprecedent+beta(i-1)*X3; moy4 = alphaprecedent+beta(i-1)*X4; %%%%%%%%%%%%%%%%%% Tirage de yetoile %%%%%%%%%%%%% yetoile1 yetoile2 yetoile3 yetoile4

= = = =

TruncatedNormal(Y1,moy1,sigmacarre,i) TruncatedNormal(Y2,moy2,sigmacarre,i) TruncatedNormal(Y3,moy3,sigmacarre,i) TruncatedNormal(Y4,moy4,sigmacarre,i)

; ; ; ;

%%%%%%%%%%%%%%%% Calcul de alpha %%%%%%%%%%%%%%% moyenne_alpha = zeros(n,1); moyenne_alpha = yetoile1 + yetoile2 + yetoile3 + yetoile4 - beta(i-1,1)*(X1+X2+X3+X4) + (mu(i-1,1)/(sigmacarre(i-1,1)))*ones(n,1); moyenne_alpha = moyenne_alpha/(4+1/(sigmacarre(i-1,1))); variance_alpha = 1/(4+1/(sigmacarre(i-1,1)));

94

Annexe B. Programmes Stata et Matlab

alphaactuel = normrnd(moyenne_alpha ,sqrt(variance_alpha)); %%%%%%%%%%%%%%%%%% Calcul de

mu %%%%%%%%%%%%%%%%

moyenne_mu = (bb1*sum(alphaactuel) + aa1*sigmacarre(i-1))/(n*bb1 +(sigmacarre(i-1))); variance_mu = (bb1*(sigmacarre(i-1)))/(n*bb1+(sigmacarre(i-1))); mu(i,1) = normrnd(moyenne_mu , sqrt(variance_mu) ); %%%%%%%%%%%%%%%%%%% Calcul de

beta %%%%%%%%%

moyenne_beta = 0; variance_beta = 1; moyenne_beta = sum(X1.*(yetoile1 - alphaactuel) + X2.*(yetoile2 - alphaactuel)+X3.*(yetoile3 - alphaactuel) +X4.*(yetoile4 alphaactuel)); moyenne_beta = moyenne_beta + aa/bb; moyenne_beta = moyenne_beta / ((1/bb) + sum(X1.^2 + X2.^2 + X3.^2 + X4.^2)); variance_beta = 1/ ((1/bb) + sum(X1.^2 + X2.^2 + X3.^2 + X4.^2)); beta(i,1) = normrnd(moyenne_beta, sqrt(variance_beta)); %%%%%%%%%%% Calcul de

sigmacarre

%%%%

sigmacarre_shape = cc + n/2; sigmacarre_scale = 1/((0.5 * sum((alphaactuel - mu(i,1)).^2)) + dd ) ; sigmacarre(i,1) = gamrnd(sigmacarre_shape, sigmacarre_scale); sigmacarre(i,1) = 1/sigmacarre(i,1); alphaprecedent = alphaactuel; i end ; % F I N ::: Boucle globale X_axe = [1:NbIterations]’; alphaactuel = [alphaactuel]’ ;

sur i

Graphiques(X_axe(NbEnlever:NbIterations,1),sigmacarre(NbEnlever:NbIterations,1) ,71,’sigmacarre en fonction du NbIterations’,’NbIterations’,’Valeurs de sigmacarre’); saveas(gcf,’ConSig.eps’,’psc2’) Graphiques(X_axe(NbEnlever:NbIterations,1),mu(NbEnlever:NbIterations,1),72,’Mu en fonction du NbIterations’,’NbIterations’,’Valeurs de Mu’);

Annexe B. Programmes Stata et Matlab

95

saveas(gcf,’ConMu.eps’,’psc2’) Graphiques(X_axe(NbEnlever:NbIterations,1),beta(NbEnlever:NbIterations,1),73, ’Beta en fonction du NbIterations’,’NbIterations’,’Valeurs de Beta’); saveas(gcf,’ConBeta.eps’,’psc2’) Kdensity(sigmacarre(NbEnlever:NbIterations,1),74,’Densit´ e de SigmaCarr´ ee’) ; saveas(gcf,’DenSig.eps’,’psc2’) Kdensity(mu(NbEnlever:NbIterations,1),75,’Densit´ e de Mu’) ; saveas(gcf,’DenMu.eps’,’psc2’) Kdensity(beta(NbEnlever:NbIterations,1),76,’Densit´ e de Beta’) ; saveas(gcf,’DenBeta.eps’,’psc2’) FID = fopen(NomFichierSorties1,’w’); fprintf(FID,’X_axe = [’); fprintf(FID,’%6.2f ’,X_axe); fprintf(FID,’]; \n\n’); % on imprime le reste des r´ esultats de la m^ eme fa¸ con fclose(FID); Resltat = fopen(NomFichierSorties2,’w’); fprintf(Resltat,’MoySig = [’); fprintf(Resltat,’%6.2f ’,mean(sigmacarre(NbEnlever:NbIterations,1))); fprintf(Resltat,’]; \n\n’); fclose(Resltat); %% Creation de fonction Normal tronquee %%% function [yet] = TruncatedNormal(y,x,sig,i) %% i est le num´ eros de l’it´ eration %% n = length(x) ; Phi1 = normcdf(-x,0,1); u1positif = unifrnd(Phi1,1); u1negatif = unifrnd(0,Phi1); u1positif = norminv(u1positif,0,1); u1negatif = norminv(u1negatif,0,1); for j = 1:n if (y(j,1) == 1 ) ; yet(j,1) = x(j,1) + u1positif(j,1) ; end;

96

Annexe B. Programmes Stata et Matlab

if (y(j,1) == 0 ); yet(j,1) = x(j,1) + u1negatif(j,1) ; end; end; %% Cr´ eation de fonction Kdensity

%%%

function Kdensity(ValeursXX,NoFig,Titre) [f,xi] = ksdensity(ValeursXX); figure(NoFig) plot(xi,f); title(Titre); %% Cr´ eation de fonction Graphique

%%%

function Graphiques(ValeursX, ValeursY,NoFigure,Titre,XLabel,YLabel) % Fonction Graphiques(ValeursEnAxeX,ValeursEnAxeY,NumerosDeLaFigure, % TitreDeLaFigure,XLabel,YLabel) figure(NoFigure) plot(ValeursX,ValeursY); title(Titre); xlabel(XLabel); ylabel(YLabel);

Annexe B. Programmes Stata et Matlab

B.2.2

97

Programme adapt´ e a des donn´ ees manquantes selon diff´ erents m´ ecanismes de non r´ eponse

Ce programme est adapté pour l’estimation par la méthode d’échantillonnage de Gibbs en respectant les modèles de mécanisme de non réponse.

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%% Programme d’´ echantillonnge de Gibbs sur donn´ ees manquantes MCAR %% %%%% Les Vraies valeurs sont Mu = 0, Beta = 1 et Sigma = 1 %%%%%%%%%% %%%% Derni` ere modification le 18/10/05 %%%%%%%%%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %--------------------------------------------------------------------------% % Ce programme est semblable a ` celui qui pr´ ec` ede sauf que dans ce cas nous % % sommes en pr´ esence d’une base de donn´ ees ayant des observations manqua- % % ntes selon un m´ ecanisme MCAR. Donc les changements par rapport au progr- % % amme ci-dessus sont : % % 1) Au niveau de la lecture de la base de donn´ ees on ajoute les variables % % indicatrices des observations manquantes, R. % % 2) La fonction TruncatedNormal, qui sert a ` faire des tirages a ` partir % % d’une loi normal tronqu´ ee, contient une nouvelle e ´tape qui simule % % yetoile a ` partir d’une loi normale et pas a ` partir d’une loi normal % % tronqu´ ee, dans le cas o` u on a une observation manquante. % %--------------------------------------------------------------------------% function gibbsmatopt3(NbIterations,NomFichierSorties1,NomFichierSorties2) t = cputime; SS=load (’panelM2emeperde100_01.txt’); Id = SS(:,1);X1=SS(:,2);X2=SS(:,3); X3=SS(:,4);X4=SS(:,5);Y1=SS(:,6); Y2=SS(:,7);Y3=SS(:,8);Y4=SS(:,9); n = length(Id) ; % Initialisation des variables : yetoile, alpha, beta, mu, sigmacarre. cc = 4 ;dd = 4 ;aa = 2 ; aa1 = 2 ;bb = 1 ;bb1 = 1 ; yetoile1=ones(n,1);yetoile2=ones(n,1);yetoile3=ones(n,1); yetoile4=ones(n,1);alphaprecedent=ones(n,1); alphaactuel=ones(n,1);beta=ones(NbIterations,1);

98

Annexe B. Programmes Stata et Matlab

mu=ones(NbIterations,1);sigmacarre=ones(NbIterations,1); NbEnlever = NbIterations/2 ; %D´ ebut de l’algorithme for (i = 2:NbIterations) moy1 = alphaprecedent+beta(i-1)*X1; moy2 = alphaprecedent+beta(i-1)*X2; moy3 = alphaprecedent+beta(i-1)*X3; moy4 = alphaprecedent+beta(i-1)*X4; %%%%%%%%%%%%%%%%%% Tirage de yetoile %%%%%%%%%%% yetoile1 yetoile2 yetoile3 yetoile4

= = = =

TruncatedNormal(Y1,moy1,sigmacarre,i) TruncatedNormal(Y2,moy2,sigmacarre,i) TruncatedNormal(Y3,moy3,sigmacarre,i) TruncatedNormal(Y4,moy4,sigmacarre,i)

; ; ; ;

%%%%%%%%%%%%%%%% Calcul de alpha %%%%%%%%%%%%%%%% moyenne_alpha = zeros(n,1); moyenne_alpha = yetoile1 + yetoile2 + yetoile3 + yetoile4 - beta(i-1,1)* (X1+X2+X3+X4) + (mu(i-1,1)/(sigmacarre(i-1,1)))*ones(n,1); moyenne_alpha = moyenne_alpha/(4+1/(sigmacarre(i-1,1))); variance_alpha = 1/(4+1/(sigmacarre(i-1,1))); alphaactuel = normrnd(moyenne_alpha ,sqrt(variance_alpha)); %%%%%%%%%%%%%%%%%% Calcul de

mu %%%%%%%%%%%%%%%

moyenne_mu = (bb1*sum(alphaactuel) + aa1*sigmacarre(i-1))/(n*bb1 +(sigmacarre(i-1))); variance_mu = (bb1*(sigmacarre(i-1)))/(n*bb1+(sigmacarre(i-1))); mu(i,1) = normrnd(moyenne_mu , sqrt(variance_mu) ); %%%%%%%%%%%%%%%%%%% Calcul de

beta %%%%%%%%%%%%%%

moyenne_beta = 0; variance_beta = 1; moyenne_beta = sum(X1.*(yetoile1 - alphaactuel)+X2.*(yetoile2 - alphaactuel) +X3.*(yetoile3 - alphaactuel) +X4.*(yetoile4 - alphaactuel)); moyenne_beta = moyenne_beta + aa/bb;

Annexe B. Programmes Stata et Matlab

99

moyenne_beta = moyenne_beta / ((1/bb) + sum(X1.^2 + X2.^2 + X3.^2 + X4.^2)); variance_beta = 1/ ((1/bb) + sum(X1.^2 + X2.^2 + X3.^2 + X4.^2)); beta(i,1) = normrnd(moyenne_beta, sqrt(variance_beta)); %%%%%%%%%% Calcul de

sigmacarre carree %%%%%%%%

sigmacarre_shape = cc + n/2; sigmacarre_scale = 1/((0.5 * sum((alphaactuel - mu(i,1)).^2)) + dd ) ; sigmacarre(i,1) = gamrnd(sigmacarre_shape, sigmacarre_scale); sigmacarre(i,1) = 1/sigmacarre(i,1); alphaprecedent = alphaactuel; i end ; % F I N ::: Boucle globale sur i duree = cputime - t ; X_axe = [1:NbIterations]’; alphaactuel = [alphaactuel]’ ; % Fonction Graphiques(ValeursEnAxeX,ValeursEnAxeY,NumerosDeLaFigure,Titre) Graphiques(X_axe(NbEnlever:NbIterations,1),sigmacarre(NbEnlever:NbIterations,1), 11,’sigmacarre en fonction du NbIterations’,’NbIterations’, ’Valeurs de sigmacarre’); saveas(gcf,’ConSig.eps’,’psc2’) Graphiques(X_axe(NbEnlever:NbIterations,1),mu(NbEnlever:NbIterations,1),12,’Mu en fonction du NbIterations’,’NbIterations’,’Valeurs de Mu’); saveas(gcf,’ConMu.eps’,’psc2’) Graphiques(X_axe(NbEnlever:NbIterations,1),beta(NbEnlever:NbIterations,1),13 ,’Beta en fonction du NbIterations’,’NbIterations’,’Valeurs de Beta’); saveas(gcf,’ConBeta.eps’,’psc2’) Kdensity(sigmacarre(NbEnlever:NbIterations,1),14,’Densit´ e de SigmaCarr´ ee’) ; saveas(gcf,’DenSig.eps’,’psc2’) Kdensity(mu(NbEnlever:NbIterations,1),15,’Densit´ e de Mu’) ; saveas(gcf,’DenMu.eps’,’psc2’) Kdensity(beta(NbEnlever:NbIterations,1),16,’Densit´ e de Beta’) ; saveas(gcf,’DenBeta.eps’,’psc2’) FID = fopen(NomFichierSorties1,’w’); % ouvrir un fichiers qui s’appelle fprintf(FID,’X_axe = [’); % NomFichierSorties1 et dans lequel fprintf(FID,’%6.2f ’,X_axe); % on imprime le r´ esultat fprintf(FID,’]; \n\n’); %% Cr´ eation de fonction Graphique de densit´ e %%%

100

Annexe B. Programmes Stata et Matlab

function Kdensity(ValeursXX,NoFig,Titre) [f,xi] = ksdensity(ValeursXX); figure(NoFig) plot(xi,f); title(Titre); %% Cr´ eation de fonction Normal tronquee %%% function [yet] = TruncatedNormal(y,x,sig,i) n = length(x) ; Phi1 = normcdf(-x,0,1); u1positif = unifrnd(Phi1,1); u1negatif = unifrnd(0,Phi1); u1positif = norminv(u1positif,0,1); u1negatif = norminv(u1negatif,0,1); for j = 1:n if (y(j,1) == 1 ) ; yet(j,1) = x(j,1) + u1positif(j,1) ; end; if (y(j,1) == 0 ); yet(j,1) = x(j,1) + u1negatif(j,1) ; end; if(y(j,1) == 999 ) ; yet(j,1) = normrnd(x(j,1),1) ; end; end; %% Cr´ eation de fonction Graphique

%%%

function Graphiques(ValeursX, ValeursY,NoFigure,Titre,XLabel,YLabel) figure(NoFigure) plot(ValeursX,ValeursY); title(Titre); xlabel(XLabel); ylabel(YLabel);

Annexe B. Programmes Stata et Matlab

B.2.3

101

Programme pour le m´ ecanisme MAR

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%%% Programme d’´ echantillonnge de Gibbs sur donn´ ees manquantes MAR %%%%%%% %%%%% Les Vraies valeurs sont Mu = 0,Beta = 1 et Sigma = 1 %%%%%%%%%%%%%%%% %%%%% Derni` ere modification le 19/10/05 %%%%%%%%%%%%%%%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %--------------------------------------------------------------------------% % Ce programme est semblable a ` celui qui pr´ ec` ede sauf que dans ce cas nous % % sommes en pr´ esence d’une base de donn´ ees ayant des observations manqua- % % ntes selon un m´ ecanisme MAR. Donc le changement par rapport au program- % % me ci-dessus est au niveau de la cr´ eation des indicatrices des observati-% % ons manquante, qui sont cr´ ees selon un m´ ecanisme MAR est sont bien comme-% % nt´ es au d´ ebut de ce programme % %--------------------------------------------------------------------------% function gibbsmatopt3(NbIterations,NomFichierSorties1,NomFichierSorties2) t = cputime; SS=load (’panel100_01.txt’); Id = SS(:,1);X1=SS(:,2);X2=SS(:,3); X3=SS(:,4);X4=SS(:,5);Y1=SS(:,6); Y2=SS(:,7);Y3=SS(:,8);Y4=SS(:,9); n = length(Id) ; % Initialisation des variables : yetoile, alpha, beta, mu, sigmacarre. cc = 4 ;dd = 4 ;aa = 2 ; aa1 = 2 ;bb = 1 ;bb1 = 1 ; lamda0 = 1.5 ;lamda1 = 0.8 ; yetoile1=ones(n,1);yetoile2=ones(n,1);alphaprecedent=ones(n,1); yetoile3=ones(n,1);yetoile4=ones(n,1);alphaactuel=ones(n,1); beta=ones(NbIterations,1);mu=ones(NbIterations,1); sigmacarre=ones(NbIterations,1);NbEnlever = NbIterations/2 ; %%%%%%%%%%%%% Creer les donn´ ees manquantes selon MAR %%%%%%%% for (j = 1:n) R1(j,1) = 1 ; end;

Annexe B. Programmes Stata et Matlab

102

prob21(:,1) = exp(lamda0 + lamda1*Y1)./( 1 + exp(lamda0 + lamda1*Y1)) ; R2 = binornd(1,prob21(:,1)) ; observation2 = tabulate(R2) ;clear j ; for ( j = 1:n ) if (R2(j,1) == 0 ) R3(j,1) = 0 ; R4(j,1) = 0 ; end; if (R2(j,1) == 1 ) prob32(j,1) = exp(lamda0 + lamda1*Y2(j,1))./( 1 + exp(lamda0 + lamda1* Y2(j,1))) ; R3(j,1) = binornd(1,prob32(j,1)) ;end; if (R3(j,1) == 0 ) R4(j,1) = 0 ; end; if (R3(j,1) == 1 ) prob43(j,1) = exp(lamda0 + lamda1*Y3(j,1))./( 1 + exp(lamda0 + lamda1* Y3(j,1))) ; R4(j,1) = binornd(1,prob43(j,1)) ;end;end; observation3 = tabulate(R3) ;observation4 = tabulate(R4) ; horzcat(observation2, observation3, observation4) clear j ; for (j = 1:n) if (R1(j,1) == 0 Y1(j,1) = 999 end; if (R2(j,1) == 0 Y2(j,1) = 999 end; if (R3(j,1) == 0 Y3(j,1) = 999 end; if (R4(j,1) == 0 Y4(j,1) = end;end;

) ; ) ; ) ; ) 999 ;

%%%%%%%%%% Fin de Cr´ eation les donn´ ees manquantes selon MAR %%%%%%%% %% D´ ebut de l’algorithme

103

Annexe B. Programmes Stata et Matlab

for (i = 2:NbIterations) moy1 = alphaprecedent+beta(i-1)*X1;moy2 = alphaprecedent+beta(i-1)*X2; moy3 = alphaprecedent+beta(i-1)*X3;moy4 = alphaprecedent+beta(i-1)*X4; %%%%%%%%%%%%%%%%%% Tirage de yetoile %%%%%%%%%%%%%%%%%%%%%%%%% yetoile1 yetoile2 yetoile3 yetoile4

= = = =

TruncatedNormal(Y1,moy1,sigmacarre,i) TruncatedNormal(Y2,moy2,sigmacarre,i) TruncatedNormal(Y3,moy3,sigmacarre,i) TruncatedNormal(Y4,moy4,sigmacarre,i)

; ; ; ;

%%%%%%%%%%%%%%%% Calcul de alpha %%%%%%%%%%%%%%%% moyenne_alpha = zeros(n,1); moyenne_alpha = yetoile1 + yetoile2 + yetoile3 + yetoile4 - beta(i-1,1)*(X1+X2 +X3+X4) + (mu(i-1,1)/(sigmacarre(i-1,1)))*ones(n,1); moyenne_alpha = moyenne_alpha/(4+1/(sigmacarre(i-1,1))); variance_alpha = 1/(4+1/(sigmacarre(i-1,1))); alphaactuel = normrnd(moyenne_alpha ,sqrt(variance_alpha)); %%%%%%%%%%%%%%%%%% Calcul de

mu %%%%%%%%%%%%%%%%%%%

moyenne_mu = (bb1*sum(alphaactuel) + aa1*sigmacarre(i-1))/(n*bb1 +(sigmacarre(i-1))); variance_mu = (bb1*(sigmacarre(i-1)))/(n*bb1+(sigmacarre(i-1))); mu(i,1) = normrnd(moyenne_mu , sqrt(variance_mu) ); %%%%%%%%%%%%%%%%%%% Calcul de

beta %%%%%%%%%%%%%%%%%%%

moyenne_beta = 0; variance_beta = 1; moyenne_beta = sum(X1.*(yetoile1 - alphaactuel) + X2.*(yetoile2 - alphaactuel) +X3.*(yetoile3 - alphaactuel) +X4.*(yetoile4 - alphaactuel)); moyenne_beta = moyenne_beta + aa/bb; moyenne_beta = moyenne_beta / ((1/bb) + sum(X1.^2 + X2.^2 + X3.^2 + X4.^2)); variance_beta = 1/ ((1/bb) + sum(X1.^2 + X2.^2 + X3.^2 + X4.^2)); beta(i,1) = normrnd(moyenne_beta, sqrt(variance_beta)); %%%%%%%%%%%%%%%%% Calcul de sigmacarre_shape = cc + n/2;

sigmacarre carree %%%%%%%%%%%%%%%

Annexe B. Programmes Stata et Matlab

104

sigmacarre_scale = 1/((0.5 * sum((alphaactuel - mu(i,1)).^2)) + dd ) ; sigmacarre(i,1) = gamrnd(sigmacarre_shape, sigmacarre_scale); sigmacarre(i,1) = 1/sigmacarre(i,1); alphaprecedent = alphaactuel; i end ; % F I N ::: Boucle globale sur i duree = cputime - t ; X_axe = [1:NbIterations]’; % Fonction Graphiques(ValeursEnAxeX,ValeursEnAxeY,NumerosDeLaFigure,Titre) Graphiques(X_axe(NbEnlever:NbIterations,1),sigmacarre(NbEnlever:NbIterations,1) ,11,’sigmacarre en fonction du NbIterations’,’NbIterations’,’Valeurs de sigmacarre’); saveas(gcf,’ConSig.eps’,’psc2’); Graphiques(X_axe(NbEnlever:NbIterations,1),mu(NbEnlever:NbIterations,1),12,’Mu en fonction du NbIterations’,’NbIterations’,’Valeurs de Mu’); saveas(gcf,’ConMu.eps’,’psc2’) ; Graphiques(X_axe(NbEnlever:NbIterations,1),beta(NbEnlever:NbIterations,1),13,’ Beta en fonction du NbIterations’,’NbIterations’,’Valeurs de Beta’); saveas(gcf,’ConBeta.eps’,’psc2’) ; Kdensity(sigmacarre(NbEnlever:NbIterations,1),14,’Densit´ e de SigmaCarr´ ee’) ; saveas(gcf,’DenSig.eps’,’psc2’) ; Kdensity(mu(NbEnlever:NbIterations,1),15,’Densit´ e de Mu’) ; saveas(gcf,’DenMu.eps’,’psc2’) ; Kdensity(beta(NbEnlever:NbIterations,1),16,’Densit´ e de Beta’) ; saveas(gcf,’DenBeta.eps’,’psc2’) FID = fopen(NomFichierSorties1,’w’); fprintf(FID,’X_axe = [’); fprintf(FID,’%6.2f ’,X_axe);fprintf(FID,’]; \n\n’); fprintf(FID,’sigmacarre = [’);fprintf(FID,’%6.6f ’, sigmacarre); fprintf(FID,’]; \n\n’); %% On imprime le reste de r´ esultat de la m^ eme fa¸ con %%%% Cr´ eation de la fonction de densit´ e Kdensity %%%%%%%%% function Kdensity(ValeursXX,NoFig,Titre) [f,xi] = ksdensity(ValeursXX); figure(NoFig);plot(xi,f);title(Titre);

105

Annexe B. Programmes Stata et Matlab

%%%% Cr´ eation de la fonction Normal tronquee %%%%%%%%%%%%%%%% function [yet] = TruncatedNormal(y,x,sig,i) n = length(x) ; Phi1 = normcdf(-x,0,1);u1positif = unifrnd(Phi1,1); u1negatif = unifrnd(0,Phi1);u1positif = norminv(u1positif,0,1); u1negatif = norminv(u1negatif,0,1); for j = 1:n if (y(j,1) == 1 ) ;yet(j,1) = x(j,1) + u1positif(j,1) ;end; if (y(j,1) == 0 );yet(j,1) = x(j,1) + u1negatif(j,1) ; end; if(y(j,1) == 999 ) ;yet(j,1) = normrnd(x(j,1),1) ;end;end; %% Cr´ eation de fonction Graphique

%%%

function Graphiques(ValeursX, ValeursY,NoFigure,Titre,XLabel,YLabel) figure(NoFigure) plot(ValeursX,ValeursY); title(Titre); xlabel(XLabel); ylabel(YLabel);

Annexe B. Programmes Stata et Matlab

B.3

106

Programme pour les cas complets

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%%%% Programme d’´ echantillonnge de Gibbs: e ´tude des cas complets %% %%%%%% Les Vraies valeurs sont Mu = 0, Beta =1 et Sigma = 1 %%%%%%%%%%% %%%%%% Derni` ere modification le 15/10/05 %%%%%%%%%%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %--------------------------------------------------------------------------% % Dans ce programme on s’int´ eresse seulement a ` l’estimation des donn´ ees % % disponibles. Donc on ne fait pas une simulation des donn´ ees manquante. % % Le lecteure remarquera que chaque vecteurs de donn´ ees est multipli´ e par % % le vecteur d’indicatrice des observations maquantes, R. Le but de ce pro-% % gramme est de montrer que l’estimation des cas disponibles donne des est-% % imateurs biais´ e, ce qui est confirm´ e dans le tableau l’AnnexeD intitul´ e % % Simulation pour l’´ etude des cas compl` ete des donn´ ees MCAR. % %--------------------------------------------------------------------------% function gibbsmatopt3(NbIterations,NomFichierSorties1,NomFichierSorties2) t = cputime; SS = csvread(’panelcc40pourcent.csv’,1,0) ; Id = SS(:,1);X1=SS(:,2);X2=SS(:,3); X3=SS(:,4);X4=SS(:,5);Y1=SS(:,6); Y2=SS(:,7);Y3=SS(:,8);Y4=SS(:,9); R1=SS(:,10);R2=SS(:,11);R3=SS(:,12); R4=SS(:,13); %% Cr´ eation de vecteur qui contient les p´ eriodes de chaque personne %% Ti = R1 + R2 + R3 + R4 ; tabtemps = tabulate(Ti) ; %%% Cr´ eation de n %% taille1 = max(R1,R2) ; taille2 = max(R3,R4) ; taille = max(taille1,taille2) ; n = sum(taille) ;

Annexe B. Programmes Stata et Matlab

107

% Initialisation des variables : yetoile, alpha, beta, mu, sigmacarre. cc = 4 ;dd = 4 ;aa = 2 ; aa1 = 2 ;bb = 1 ;bb1 = 1 ; yetoile1=ones(100,1);yetoile2=ones(100,1); yetoile3=ones(100,1);yetoile4=ones(100,1); alphaprecedent=ones(100,1);alphaactuel=ones(100,1); beta=ones(NbIterations,1);mu=ones(NbIterations,1); sigmacarre=ones(NbIterations,1); NbEnlever = NbIterations/2 ; %%%%%%%%%% Creer les donn´ ees manquantes %%%%%%%%%% for (j = 1:100) if (R1(j,1) == 0 Y1(j,1) = 999 end; if (R2(j,1) == 0 Y2(j,1) = 999 end; if (R3(j,1) == 0 Y3(j,1) = 999 end; if (R4(j,1) == 0 Y4(j,1) = end; end;

) ; ) ; ) ; ) 999 ;

%%%%%%%%% D´ ebut de l’´ echantillonnage de Gibbs %%%%%% for (i = 2:NbIterations) moy1 = alphaprecedent+beta(i-1)*X1.*R1; moy2 = alphaprecedent+beta(i-1)*X2.*R2; moy3 = alphaprecedent+beta(i-1)*X3.*R3; moy4 = alphaprecedent+beta(i-1)*X4.*R4; %%%%%%%%%%%% Tirage de yetoile %%%%%%%%%%%%%%%%%%%%% yetoile1 = TruncatedNormal(Y1,moy1,sigmacarre,i) ; yetoile2 = TruncatedNormal(Y2,moy2,sigmacarre,i) ; yetoile3 = TruncatedNormal(Y3,moy3,sigmacarre,i) ;

108

Annexe B. Programmes Stata et Matlab

yetoile4 = TruncatedNormal(Y4,moy4,sigmacarre,i) ; %%%%%%%%%%%%%%%%%%% Calcul de alpha %%%%%%%%%%%%%%%% moyenne_alpha = zeros(n,1); moyenne_alpha = R1.*yetoile1 + R2.*yetoile2 + R3.*yetoile3 + R4.*yetoile4 - beta(i-1,1)*(R1.*X1+R2.*X2+R3.*X3+R4.*X4) + (mu(i-1,1)/(sigmacarre(i-1,1))) ; moyenne_alpha = moyenne_alpha ./(Ti+1/(sigmacarre(i-1,1))); variance_alpha = 1./(Ti+1/(sigmacarre(i-1,1))); alphaactuel = normrnd(moyenne_alpha ,sqrt(variance_alpha)); %%%%%%%%%%%%%%%%%% Calcul de

mu %%%%%%%%%%%%%%%%%%%

moyenne_mu = (bb1*sum(alphaactuel) + aa1*sigmacarre(i-1))/(n*bb1 +(sigmacarre(i-1))); variance_mu = (bb1*(sigmacarre(i-1)))/(n*bb1+(sigmacarre(i-1))); mu(i,1) = normrnd(moyenne_mu , sqrt(variance_mu) ); %%%%%%%%%%%%%%%%%%% Calcul de

beta %%%%%%%%%%%%%%%%

moyenne_beta = 0;variance_beta = 1; moyenne_beta = sum(R1.*X1.*(yetoile1 - alphaactuel) + R2.*X2.*(yetoile2 - alphaactuel) +R3.*X3.*(yetoile3 - alphaactuel) +R4.*X4.*(yetoile4 - alphaactuel)); moyenne_beta = moyenne_beta + aa/bb; moyenne_beta = moyenne_beta / ((1/bb) + sum(R1.*(X1).^2 + R2.*(X2).^2 + R3.*(X3).^2 + R4.*(X4).^2)); variance_beta = 1/ ((1/bb) + sum(R1.*(X1).^2 + R2.*(X2).^2 + R3.*(X3).^2 + R4.*(X4).^2)); beta(i,1) = normrnd(moyenne_beta, sqrt(variance_beta));

%%%%%%%%%%% Calcul de

sigmacarre carree %%%%%%%%%%%%

sigmacarre_shape = cc + n/2; sigmacarre_scale = 1/((0.5 * sum((alphaactuel - mu(i,1)).^2)) + dd ) ; sigmacarre(i,1) = gamrnd(sigmacarre_shape, sigmacarre_scale); sigmacarre(i,1) = 1/sigmacarre(i,1);

Annexe B. Programmes Stata et Matlab

109

alphaprecedent = alphaactuel;

i end ; duree =

%%%% F I N D’´ echantillonnage de Gibbs ::: %%%%%%%%%%%% cputime - t ;

X_axe = [1:NbIterations]’; alphaactuel = [alphaactuel]’ ;

% Fonction Graphiques(ValeursEnAxeX,ValeursEnAxeY,NumerosDeLaFigure, Titre) Graphiques(X_axe(NbEnlever:NbIterations,1),sigmacarre(NbEnlever:NbIterations,1) ,11,’sigmacarre en fonction du NbIterations’,’NbIterations’,’Valeurs de sigmacarre’); saveas(gcf,’ConSig.eps’,’psc2’) Graphiques(X_axe(NbEnlever:NbIterations,1),mu(NbEnlever:NbIterations,1),12, ’Mu en fonction du NbIterations’,’NbIterations’,’Valeurs de Mu’); saveas(gcf,’ConMu.eps’,’psc2’) Graphiques(X_axe(NbEnlever:NbIterations,1),beta(NbEnlever:NbIterations,1),13, ’Beta en fonction du NbIterations’,’NbIterations’,’Valeurs de Beta’); saveas(gcf,’ConBeta.eps’,’psc2’) Kdensity(sigmacarre(NbEnlever:NbIterations,1),14,’Densite de SigmaCarr´ ee’) ; saveas(gcf,’DenSig.eps’,’psc2’) Kdensity(mu(NbEnlever:NbIterations,1),15,’Densit´ e de Mu’) ; saveas(gcf,’DenMu.eps’,’psc2’) Kdensity(beta(NbEnlever:NbIterations,1),16,’Densit´ e de Beta’) ; saveas(gcf,’DenBeta.eps’,’psc2’)

FID = fopen(NomFichierSorties1,’w’);% Ouvrir le fichier NomFichierSorties % et e ćrireles r´ esultats que nous avons fprintf(FID,’X_axe = [’); % besoin, fprintf(FID,’%6.2f ’,X_axe); fprintf(FID,’]; \n\n’);

110

Annexe B. Programmes Stata et Matlab

fclose(FID); Resltat = fopen(NomFichierSorties2,’w’); fprintf(Resltat,’MoySig = [’); fprintf(Resltat,’%6.2f ’,mean(sigmacarre(NbEnlever:NbIterations,1))); fprintf(Resltat,’]; \n\n’); fclose(Resltat); %% Cr´ eation de fonction Normal tronquee %%% function [yet] = TruncatedNormal(y,x,sig,i) n = length(x) ; Phi1 = normcdf(-x,0,1); u1positif = unifrnd(Phi1,1); u1negatif = unifrnd(0,Phi1); u1positif = norminv(u1positif,0,1); u1negatif = norminv(u1negatif,0,1); for j = 1:n if (y(j,1) == 1 ) ; yet(j,1) = x(j,1) + u1positif(j,1) ; end; if (y(j,1) == 0 ); yet(j,1) = x(j,1) + u1negatif(j,1) ; end; if(y(j,1) == 999 ) ; yet(j,1) = normrnd(x(j,1),sqrt(sig(i-1,1))) ; end; end; %% Cr´ eation de fonction Graphique function Kdensity(ValeursXX,NoFig,Titre) [f,xi] = ksdensity(ValeursXX); figure(NoFig) plot(xi,f); title(Titre);

%%%

111

Annexe B. Programmes Stata et Matlab

%% Cr´ eation de fonction Graphique

%%%

function Graphiques(ValeursX, ValeursY,NoFigure,Titre,XLabel,YLabel) figure(NoFigure) plot(ValeursX,ValeursY); title(Titre); xlabel(XLabel); ylabel(YLabel); %%%%% Ex´ ecution du PRG suivant %%% cd .. cd ResultatsBase20pourcent100 gibbsMAR(10000,’ResultatsBase20pourcent100’,’moments’) disp(’haha j’ai fini le 2eme PRG dans duree/60 minute’)

Annexe C R´ esultats pour diff´ erentes simulations Dans cette annexe on présente quelques résultats supplémentaires intéressants relatifs aux analyses fait au chapitre 4. Ainsi pour chaque mécanisme de données manquantes on analyse cinq bases de données différentes. les tableaux (C.1), (C.2), (C.3) et (C.4) indiquent que les résultats issus des différentes bases de données sont semblables. Autrement dit, pour chaque proportion de données manquantes les cinq différentes bases donnent presque le même résultats.

C.1

Simulations pour le m´ ecanisme MCAR

Annexe C. Résultats pour différentes simulations

113

5%

19%

45%

66%

Simulations

Proportion

Tab. C.1 – Résultats via l’échantillonnage de Gibbs scénario 1 avec de différents proportions de données manquantes MCAR dans chaque période

1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5

P´ eriodes pourcentage de données manquantes t1 t2 t3 t4 11% 3% 5% 4% 6% 6% 3% 6% 5% 4% 6% 7% 7% 4% 7% 3% 5% 8% 5% 3% 19% 22% 16% 22% 14% 24% 14% 23% 22% 21% 19% 12% 17% 21% 19% 16% 15% 19% 15% 24% 34% 49% 45% 52% 48% 37% 43% 46% 45% 33% 40% 36% 52% 45% 42% 40% 53% 53% 51% 55% 61% 70% 60% 66% 59% 58% 67% 69% 76% 64% 75% 61% 60% 68% 76% 67% 70% 64% 70% 70%

Moments a posteriori Moyenne a posteriori et écart-type a posteriori entre parenthèses µ β σ2 0.0703 (0.1260) 1.1317 (0.1897) 1.0140 (0.2833 ) 0.2421 (0.1268) 1.0133 (0.1959) 1.0193 (0.2821) 0.0155 (0.1244) 1.3315 (0.2102) 0.9152 (0.2565) -0.1502 (0.1414) 1.3105 (0.1414) 1.3202 (0.3872) -0.0068 (0.1244) 0.8551 (0.1833) 0.9956 (0.2653) -0.0482 (0.1349) 1.1535 (0.2056) 1.0762 (0.3223) 0.0914 (0.1424) 1.2545 (0.2170) 1.2742 (0.3694) 0.0298 (0.1352) 1.1207 (0.2007) 1.1059 (0.3141) 0.1982 (0.1311) 0.8709 (0.1946) 1.0073 (0.2930) 0.0968 (0.1244) 1.1362 (0.2100) 0.9251 (0.2509) -0.2494 (0.1500) 0.8545 (0.2097) 1.1685 (0.3567) 0.1439 (0.1326) 1.2602 (0.2366) 0.9212 (0.3196) 0.0725 (0.1486) 1.0300 (0.2256) 1.3067 (0.4213) -0.0137 (0.1469) 1.1170 (0.2236) 1.1673 (0.3926) 0.2565 (0.1431) 0.8736 (0.2300) 0.9853 (0.3310) 0.0765 (0.1459) 0.9703 (0.2334) 0.9333 (0.3195) 0.0321 (0.1503) 1.1887 (0.2418) 0.9246 (0.3461) -0.0136 (0.1519) 0.9973 (0.2262) 0.9940 (0.3664) 0.0436 (0.1638) 1.1812 (0.2901) 1.2772 (0.5449) -0.1901 (0.1732) 1.1802 (0.2828) 1.5603 (0.6633)

Annexe C. Résultats pour différentes simulations

C.2

Simulations pour le m´ ecanisme MAR

114

Annexe C. Résultats pour différentes simulations

115

5%

14%

27%

53%

66%

Simulations

Proportion

Tab. C.2 – Résultats via l’échantillonnage de Gibbs scénario1 avec de différents proportions de données manquantes MAR dans chaque période

1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5

P´ eriodes pourcentage de données manquantes t1 t2 t3 t4 0% 3% 6% 9% 0% 1% 4% 7% 0% 2% 5% 8% 0% 3% 9% 15% 0% 2% 5% 8% 0% 6% 14% 22% 0% 13% 20% 27% 0% 10% 17% 26% 0% 10% 20% 37% 0% 10% 17% 21% 0% 21% 39% 49% 0% 22% 34% 47% 0% 19% 40% 51% 0% 17% 39% 51% 0% 23% 38% 46% 0% 44% 65% 79% 0% 48% 67% 78% 0% 58% 83% 93% 0% 54% 79% 90% 0% 51% 77% 91% 0% 69% 89% 97% 0% 69% 87% 98% 0% 72% 94% 99% 0% 81% 93% 99% 0% 77% 95% 99%

Moments a posteriori Moyenne a posteriori et écart-type a posteriori entre parenthèses µ β σ2 -0.0700 (0.1265) 1.1383 (0.1931) 0.9931 (0.2801) -0.0356 (0.1420) 1.1843 (0.2099) 1.3694 (0.3709) -0.0804 (0.1243) 0.7986 (0.1740) 0.9478 (0.2695) -0.1272 (0.1311) 0.9804 (0.1921) 1.0590 (0.2995) 0.1280 (0.1280) 1.0526 (0.1973) 1.0088 (0.2811) 0.0323 (0.1229) 1.1801 (0.2021) 0.9126 (0.2665) 0.0956 (0.1290) 1.4394 (0.2234) 0.9590 (0.2745) 0.0340 (0.1318) 1.0618 (0.1956) 0.9928 (0.2838) 0.1429 (0.1429) 1.0441 (0.2167) 1.2329 (0.4095) 0.2251 (0.1214) 1.1973 (0.1895) 0.8660 (0.2454) -0.1094 (0.1388) 0.8135 (0.1998) 0.9775 (0.2951) -0.1094 (0.1388) 0.8135 (0.1998) 0.9775 (0.2951) 0.0120 (0.1264) 1.0331 (0.1980) 0.8333 (0.2569) 0.0678 (0.1467) 0.8478 (0.2149) 1.2820 (0.4190) 0.0503 (0.1480) 0.9272 (0.2080) 1.2544 (0.3979) 0.1460 (0.1460) 0.9719 (0.2164) 0.9964 (0.3846) 0.0603 (0.1696) 1.2298 (0.2568) 1.2881 (0.5075) -0.2948 (0.1684) 0.9469 (0.2358) 1.1586 (0.4823) 0.1888 (0.1605) 1.1987 (0.2499) 1.1000 (0.4441) 0.1674 (0.1714) 0.9863 (0.2669) 1.3235 (0.5091) -0.0946 (0.1649) 0.9112 (0.2777) 1.1102 (0.4897) 0.3643 (0.1740) 1.2040 (0.2762) 1.1221 (0.5776) 0.1036 (0.1705) 1.5545 (0.3340) 1.0637 (0.5942) 0.1890 (0.1945) 1.6375 (0.4114) 1.5174 (0.9255) -0.0536 (0.2110) 1.5385 (0.4422) 2.0455 (1.2966)

Annexe C. Résultats pour différentes simulations

C.3

116

Simulation pour le m´ ecanisme NMAR

5%

19%

38%

60%

Simulations

Proportion

Tab. C.3 – Résultats via l’échantillonnage de Gibbs scénario1 avec de différents proportions de données manquantes NMAR dans chaque période

1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5

P´ eriodes pourcentage de données manquantes t1 t2 t3 t4 8% 5% 4% 6% 10% 7% 8% 4% 7% 5% 4% 4% 7% 9% 5% 5% 8% 4% 1% 4% 16% 19% 15% 19% 22% 15% 21% 14% 24% 23% 19% 18% 17% 18% 22% 9% 19% 14% 19% 24% 41% 36% 41% 39% 34% 43% 32% 29% 35% 36% 34% 35% 34% 42% 40% 44% 44% 39% 37% 44% 48% 53% 47% 56% 54% 64% 63% 61% 57% 58% 49% 52% 63% 61% 58% 61% 60% 60% 58% 59%

Moments a posteriori Moyenne a posteriori et écart-type a posteriori entre parenthèses µ β σ2 0.0153 (0.1356) 0.9888 (0.1897) 1.2258 (0.3403) 0.1935 (0.2386) 0.9839 (0.1820) 0.8955 (0.2386) 0.0089 (0.1224) 1.2844 (0.1992) 0.9500 (0.2529) 0.1053 (0.1280) 1.0300 (0.1989) 1.0137 (0.2778) -0.2006 (0.1403) 1.0243 (0.1979) 1.2843 (0.3602) 0.2177 (0.1296) 0.9439 (0.1972) 0.9786 (0.2875) -0.0715 (0.1317) 1.0343 (0.2026) 1.0820 (0.3095) 0.0909 (0.1288) 1.2681 (0.2186) 0.9550 (0.2886) 0.0077 (0.1303) 1.1600 (0.2066) 0.9632 (0.2830) 0.0397 (0.1463) 0.9824 (0.1953 ) 1.2545 (0.3763) -0.0486 (0.1360) 1.3014 (0.2313) 0.9554 (0.3345) 0.1510 (0.1319) 1.1240 (0.2124) 0.9355 (0.2781) 0.0291 (0.1428) 1.0486 (0.2197) 1.0997 (0.3370) 0.1852 (0.1296) 1.0028 (0.2202) 0.7983 (0.2370) 0.0785 (0.1311) 1.2171 (0.2202) 0.8636 (0.2700) -0.0256 (0.1600) 1.2928 (0.2519) 1.1799 (0.4037) 0.0392 (0.1532) 0.9671 (0.2495) 1.0138 (0.3847) 0.0137 (0.1509) 1.1281 (0.2467) 1.2295 (0.4750) 0.2514 (0.1539) 1.0401 (0.2291) 1.0659 (0.4041) 0.0960 (0.1473) 1.1780 (0.2364) 1.0450 (0.3961)

Annexe C. Résultats pour différentes simulations

C.4

117

Simulation pour l’´ etude des cas complets base de donn´ ees MCAR

5%

19%

45%

66%

Simulations

Proportion

Tab. C.4 – Résultats via l’échantillonnage de Gibbs scénario 1 avec de différents proportions de données manquantes MCAR dans chaque période : étude des cas complets

1 2 3 4 5 1 2 3 4 5 1 2 3 4 5 1 2 3 4 5

P´ eriodes pourcentage de données manquantes t1 t2 t3 t4 11% 3% 5% 4% 6% 6% 3% 6% 5% 4% 6% 7% 7% 4% 7% 3% 5% 8% 5% 3% 19% 22% 16% 22% 14% 24% 14% 23% 22% 21% 19% 12% 17% 21% 19% 16% 15% 19% 15% 24% 45% 33% 40% 36% 52% 45% 42% 40% 53% 53% 51% 55% 48% 37% 43% 46% 34% 49% 45% 52% 61% 70% 60% 66% 59% 58% 67% 69% 70% 64% 70% 70% 60% 68% 76% 67% 76% 64% 75% 61%

Moments a posteriori Moyenne a posteriori et écart-type a posteriori entre parenthèses µ β σ2 0.0644(0.1276) 1.1309(0.2004) 0.9235(0.2609) 0.2620(0.1326) 1.0372(0.2004) 1.0837(0.3067) 0.0545(0.1252) 1.3231(0.2068) 0.9147 0.2653) -0.1437(0.1407) 1.2767(0.2111) 1.3290(0.3738) -0.0239(0.1264) 0.8889(0.1915) 1.0475 0.3014) -0.0276(0.1319) 1.1227(0.2167) 1.0728(0.3140) 0.0959(0.1403) 1.2466(0.2310) 1.1640(0.3530) 0.0291(0.1327) 1.0792(0.2039) 1.0348(0.3005) 0.2199(0.1273) 0.9244(0.2053) 0.9654(0.2887) 0.0984(0.1240) 1.1060(0.2039) 0.8794(0.2504) 0.1166(0.1558) 0.9476(0.2557) 1.2274(0.4208) -0.0065(0.1726) 1.4913(0.3358) 1.4687(0.5447) 0.4137(0.2239) 1.1206(0.3633) 2.3728(0.9288) 0.1667(0.1667) 1.2259(0.2865) 1.2630(0.4940) -0.2906(0.1694) 0.9172(0.2506) 1.3721(0.4599) 0.1130(0.3700) 1.5189(0.4315) 6.3554(3.0554) 0.7084(0.5197) 3.1444(0.8014) 12.3517(9.2803) 1.0544(0.9083) 3.6213(0.7210) 186.4692(117.29) 1.2492(0.8764) 2.8570(0.6119) 102.3334(47.36) 1.6462(0.9843) 2.6683(0.8700) 394.2961(12.53)

traitement des données manquantes dans les données de panel

des documents recommandant