Intervalles de confiance et tests d’hypothèses et de...

1

Oliver Sonnentag, PhD: GÉO1512 – Géographie Quantitative I Séance 6: 5 novembre 2012

1

Intervalles de confiance et tests d’hypothèses et de signification (1ière partie)

&

Intervalles de confiance et tests d’hypothèses et de signification en R (2ième partie)

2 Examen intra: séance 7 (12 novembre)


•  50 min

•  Matière: séances 1 (1 octobre) – 6 (5 novembre)

•  Type de questions: similaire à TP 1 et TP2

  Première section: révolution quantitative, philosophie de R, méthode scientifique, etc. (assurez-vous de comprendre les lectures et les liens donnés en classe …. e.g., http://www.r-tutor.com/; Burton, 1963; Popper, 1961; etc.)

  Deuxième section: je vais vous donner des chaînes de commandes dans R comme (examinez attentivement toutes les commandes de TP1 & TP2)

form.df$rapportAge[is.na(form.df$rapportAge)] <- mean(form.df$rapportAge, na.rm=TRUE)

et je vais vous demander ce qu'ils font (questions à choix multiples inclues).

  Troisième section: calcul des probabilités simples (apporter une calculatrice de poche)

3 Jusqu'à présent: statistiques descriptives

Oliver Sonnentag, PhD: GÉO1512 – Géographie Quantitative I Séance 6: 5 novembre 2012 Après notes des cours Eckel (2008).

Statistiques descriptives •  Analyse exploratoire des données souvent pas rapportés dans la littérature

•  Résumé des données “Table 1” dans un article

•  But: visualisation des relations, génération d'hypothèses

Inférence statistique •  L'analyse des données de confirmation c'est ce que la science se préoccupe!

•  « Methods » section in a paper

•  Hypothesis testing, confidence intervals, regression modeling

•  But: quantifier les relations, tests d'hypothèse, intervalles de confiance, la modélisation de régression, etc.

2

4 À partir de maintenant: inférence statistique


Inférence statistique •  Sampling distributions allow us to make statements about the unobserved true population parameter in relation to the observed sample statistic.

•  Tenter de parvenir à une conclusion concernant tous les membres d'une classe à partir d'observations de seulement certains d'entre eux.

•  Population: collecte des observations

un paramètre est une description numérique de la population

•  Sample: partie ou sous-ensemble d'une population

une statistique est une description numérique d'un échantillon

•  Dans ce cours:

Estimation: intervalles de confiance (CI)

Tester une hypothèse (valeur o)

5 Estimation: intervalles de confiance (CI)


Estimation ponctuelle •  Un estimateur d'un paramètre de la population: une statistique

•  Une estimation d'un paramètre de la population: la valeur de l'estimateur pour un échantillon particulier

Estimation des intervalles de confiance (CI) •  Une estimation ponctuelle plus un intervalle de confiance qui exprime l'incertitude et de la variabilité associée à l'estimation

6 Estimation: intervalles de confiance (CI)


•  pour une variable aléatoire normale

67% des observations sont dans ± 1s

96% des observations sont dans ± 2s

Intervalle de confiance autour de

Probabilité que µ falls within CI=0.95

Common misinterpretation: « There is a 95% chance that µ occurs within CI. »

Correct interpretation: « 95% of the time, CI is calculated it will contain µ. »

Important: et sont dérivés d'un échantillon, ce qui va changer CI avec rééchantillonnage

3

7 Intervalles de confiance généralisée


Intervalle de confiance généralisée autor de •  toute percentiles CI sont possible

•  équation générale pour unen% CI

avec tα[n-1] est la valeur critique d'une distribution t avec une probabilité P = α and n aire sous les deux queues d'une courbe d'une distribution de Student (t)

8 Distribution de Student (t)


Distribution de Student (t) Distribution de Student (t) et distribution normale

•  transformation arithmétique d'une variable aléatoire normale variable aléatoire normale

•  déviation de à partir de µ également une variable aléatoire normale

•  distribution de Student: division de l'écart de chaque moyenne par :

9 The nature of science


La nature de la science •  Guidés par des lois naturelles

•  Peut être expliquée par référence au droit naturel (pas le surnaturel!)

•  Testable contre le monde observable

•  Conclusions sont provisoires et donc pas le dernier mot

•  Falsifiable

Deux approches de la science •  La science de la découverte Le raisonnement inductif

•  Fondée sur une hypothèse scientifique Le raisonnement déductif

4

10 La science de la découverte: induction


•  Observations vérifiables et des mesures

•  Exemples d'écologie: les biologistes peuvent décrire la vie à de nombreux niveaux

  Descriptions de Darwin: http://www.darwins-theory-of-evolution.com/

  Human genome project: http://www.ornl.gov/sci/techresources/Human_Genome/home.shtml

• Raisonnement inductif

  Une conclusion inductive est une généralisation qui résume un grand nombre d'observations spécifiques.

  Example: Sparrow are birds they have wings and can fly robins, flamingos, owls and eagles are birds, have wings and can fly Result: we might induce that « All birds can fly »

•  Idéalement, les enquêtes de la science de la découverte utilise la méthode scientifique.

(http://hurri.kean.edu/~manfrino/)

11 Hypothesis-driven science: deduction


•  La plupart des études scientifiques modernes

•  Utilise la méthode scientifique

•  Raisonnement déductif:

•  Reasing flows in opposite direction of inductive reasoning: du général au spécifique

•  Example: All birds have feathered wings we know that sparrows have feathered wings Result: we might deduce that « Sparrows are birds »

•  Intéressant psychologique / philosophique point de vue sur le raisonnement déductif: http://www.brown.edu/Departments/Philosophy/onlinepapers/schechter/DeductiveReasoning.pdf

(http://hurri.kean.edu/~manfrino/)

12 Méthode scientifique


•  Un processus formel d'enquête ayant pour but de répondre aux questions:

•  Suit une série d'étapes

•  Doivent être reproductibles

•  Inférence bayésienne modern « version » of induction (pas discuté aujourd'hui, mais voir la section en Gotelli et Ellison, 2004)

•  L’approche hypothético-déductive

  Hypothetico = hypothesis (i.e., possible answer to a question)

  Deduction Après notes des cours Raimondi (2012).

5

13 L’approche hypothético-déductive

Oliver Sonnentag, PhD: GÉO1512 – Géographie Quantitative I Séance 6: 5 novembre 2012 Après notes des cours Raimondi (2012).

•  Raisonnement déductif: formalisé et popularisé en tant que base de la méthode scientifique by Karl Popper (http://plato.stanford.edu/entries/popper/)

•  Popper (1935): The Logic of Scientific Discovery. Basic Books, Inc. NY. 544 pages Important reading for today’s class (chapter 1, seven pages)

•  Deux phases: la conception et l'évaluation

•  Conception:

  How one comes up with a new idea or insight (« rules » of formulation are not obvious): theory, observation, belief, problem

  Creative, difficult to teach, but often inductive!

•  Assessment: deductive phase, should be repeatable

14 Étapes de base de tests d'hypothèses


•  Compte tenu des données observées, avons-nous rejeter ou d'accepter une hypothèse nulle pré-spécifié en faveur d'une alternative?

•  Tester la signification

•  Define the null hypothesis; H0

•  Define the alternative hypothesis, Ha, where Ha is usually « not H0 »

•  Define the type I error (probability of falsely rejecting H0), α = 0.05

•  Calculate the test statistic

•  Calculate the p-value (probabilty of getting a result « as or more extreme » than observed if H0 is true)

•  If p-value is ≤ α, reject H0, otherwise, fail to reject H0

15 Terminologie utilisée dans le test d'hypothèse


Théorie

•  Un ensemble d'idées formulées pour expliquer quelque chose

Hypothèse

•  générale: supposition de la conjecture mis en avant sous la forme d'une prédiction selon une théorie, l'observation, la croyance, ou un problème

•  spécifique: formulation d'une hypothèse générale pour l'application d'un test spécifique (découverte ou fondée sur une hypothèse)

•  hypothèse nulle (H0): expected outcome if supposed mechanism is not manifested (i.e., « no effect »)

•  Hypothèse alternative à H0 (Ha): ensemble d'hypothèses alternatives à « not H0 » Prédictions

•  résultat escompté si les deux hypothèses et de conjectures sont corrects

6

16 Examples


Théorie

•  Species distributions determined by dispersal of offspring.

Hypothèse

•  general: larval settlement fo mussels determines adult distribution (i.e., is restricted to the area inhabitated by adults)

•  specific: if we sample larval settlement of mussls in and out of adult distribution, then settlement will only occur with area inhabitated by adults

•  Null hypothesis (H0): if we sample larval settlement mussels in and out of adult distribution, there will be no difference in settlement

•  Alternative hypothesis to H0 (Ha): set of alternative hypotheses to be « not H0 » Predictions

•  theory predicts that larval settlement will only occur where adults are

17 Valeur p


•  Définition: La valeur p d'un test d'hypothèse est la probabilité d'obtenir une valeur de la statistique de test ou plus extrêmes que la statistique de test observée lorsque H0 est vraie.

•  Région de rejet: déterminée par α, le niveau de signification désirée(i.e., the probability of committing a type I error or the probability of falsely rejecting H0)

•  Rapport à la valeur p associée à un test donne une indication de la façon dont fréquents ou rares de la valeur calculée de la statistique de test est, étant donné que H0 est vraie

18


•  Erreur de type I: probability of falsely rejecting H0 when it is really true

•  Erreur de type II: probability of failing to reject H0 when it is false

Erreurs de type I et II

7

19


•  But: à maintenir les petites erreurs de type I en spécifiant une petite région de rejet

•  α est généralement définie avant l'exécution d'un test, généralement à α = 0.05

α = P(Type I error)

= probability of rejecting a true H0

= « level of significance »

Erreur de type I

20 Erreur de type II


β = P(Type II error)

= probability of failing to reject H0 given H0 is false

« Power » = 1 - β

•  But: à maintenir les petites erreurs de type II et de réaliser de grande puissance

•  β dépend de la taille de l'échantillon, α, et Ha

•  Important: β généralement inconnue parce que µ est généralement inconnue

•  Décidez à l'avance sur

test statistic

voulu α

voulu β, pour une donnée Ha

21 Les deux exemples pour aujourd'hui


Exemple: poids à la naissance

Exemple: EPREDA

8

22 Le choix de test statistique approprié


•  Fonction de la population s (σ) et taille de l'échantillon (n)

•  Avec connu σ test statistic de la distribution normale standardisée

•  Avec inconnu σ

petit n: test statistic de distribution de Studen

grand n: test statistic de la distribution normale standardisée (CLT!)

The only difference in the procedure is the calculation of the p-value or rejection region using t- instead of a standard

normal distribution!

23


Exemple: poids à la naissance •  Population (N): normally distributed birth weights with σ = 1000g

•  Échantillonnage: n= 10 infants; = 2500g

•  Question: Est le poids moyen à la naissance de N différent de 3000g?

•  Solution: a two-sided test with

  H0: µ = 3000g

  Ha: µ ≠ 3000g

•  α = 0.05 “significance level”

Test d'hypothèse pour une seule moyenne I

24


Exemple: poids à la naissance continué •  Calcul de test statistic:

•  Interprétation: notre moyenne observée est de 1,58 écarts-types en dessous de la moyenne hypothèse

•  Test statistic (ici: « z-score »): valeur uniformisée de nos données en supposant que H0 est vraie

•  Question: Si la moyenne réelle est de 3000g, est notre moyenne d'échantillonnage observée de 2500g « commun » ou est-ce la valeur probable de se produire?

Test d'hypothèse pour une seule moyenne II

9

25


Exemple: poids à la naissance continué •  Calcul de la valeur p pour répondre à la question:

with Z = distribution normale standardisée

•  Si la moyenne réelle est de 3000g, nos données ou des données plus extrêmes que les nôtres se produirait dans 11 des 100 études (de la même taille, n=10).

•  In 11 out of 100 studies with n = 10, just by chance we are likely to observe a sample mean of 2500g or more extreme if the true mean is 3000g.

•  Question: Que cela nous dit à propos de notre hypothèse?

•  directrice générale: if p-value ≤ α, then reject H0

•  Conclusion: nous ne parvenons pas à rejeter H0 parce que nous choisissons α=0.05 and p=0.114

Test d'hypothèse pour une seule moyenne III

26

Oliver Sonnentag, PhD: GÉO1512 – Géographie Quantitative I Séance 6: 5 novembre 2012 Après notes des cours Manichaikul (2007).

Comment interpréter “z-score”

•  Équivalent à trouver l'aire sous la courbe distribution continue, ne peut donc pas utiliser les sommes de trouver les probabilités:

•  Exécution de l'intégration n'est pas nécessaire étant donné que les tables et les ordinateurs sont disponibles

27 Two-sided hypothesis testing


Valeur p •  calcul de test-statistic (ici: z-score)

•  calculation of p value from z-score

•  reject H0 when p-value ≤ α

•  fail to reject H0 when p-value > α Alternative: région critique

•  calcul de la valeur critique cz pour spécifié α

•  calcul de test-statistic

•  reject H0 if |test statistic| > |zc| p-value ≤ α

•  fail to reject H0 if |test statistic| ≤ |zc| p-value > α

Alternative: intervalle de confiance •  100(1-α)% CI pour le paramètre de la population

•  reject H0 if CI contains H0 p-value ≤ α

•  fail to reject H0 if CI does not contain H0 p-value > α

} Valeur p réelle n'est jamais calculé!

} Valeur p réelle n'est jamais calculé!

Important: 100(1-α) CI approche ne fonctionne pas avec one-sided tests (mais les approches valeur o et cz)!

10

28 Alternative: valeur critique


Exemple: poids à la naissance continué •  Based on α = 0.05 and assuming H0 is true, how « far » does our sample mean have to be from H0: µ = 3000g in order to reject?

•  Critical value = zc where 2 * P(Z > |zc|) = 0.05

•  Here: zc = 1.96 and z-score = -1.58

•  Question: why 1.96?

•  The “rejection region” is any value of z-score that is ≤ -1.96 or ≥ 1.96

•  |zobs| < |zc| since |-1.58| < |1.96|, so we fail to reject H0 with p > 0.05

•  Decision is the same whether using the p-value or the zc!!!!!

(http://en.wikipedia.org/wiki/1.96)

1.96 is the approximate value of the 97.5 percentile point of the standard normal distribution: 95% of the area under the curve lies within

roughly 1.96 standard deviations of the mean and due to CLT, this number is used in the construction of

approximate 95% confidence intervals

29 Alternative: intervalle de confiance


Exemple: poids à la naissance continué •  100(1-α)% confidence interval for the mean µ

•  We are 95% « confident » that the interval ( 1 sd: 1880, 3120) contains the true population mean µ

•  The hypothetical true mean 3000 is a plausible value of the true mean given our data since is in the CI

•  We cannot say that the true mean is different from 3000g

•  We fail to reject H0 with p-value > 0.05

•  Decision is the same as with p-value or the zc!!!!!

30


Jusqu'à présent: a single mean

•  Question: ce qui arrive quand on veut comparer les moyennes de deux groupes?

•  Réponse: examinant la différence dans les moyens

µ1 = µ2? µ1 - µ2 = 0

• comment: s'étendant le test d'hypothèse pour des moyennes simples pour comparer deux moyennes!

• Important: Assumptions about the two σ2 determine the test statistic:

11

31


Hypothesis test for two means I

Exemple: ERPEDA Trial •  Summary: randomized, placebo-controoled trial to determine dipyridamole improves the efficacy of aspirin in preventing fetal growth retardation

•  Échantillonnage: n= 73 (placebo); n = 156 (treatment)

  Placebo group: 2526g ± 848g (1 sd)

  Treatment group: 2751g ± 670g (1 sd)

•  Solution:

  H0: µplacebo = µtreatment

  Ha: µplacebo ≠ µtreatment

•  α = 0.05 “niveau de signification”

32


Hypothesis test for two means III

•  Calculate the test statistic assuming the σ are unequal:

•  The observed difference in mean birth weight comparing the placebo and treatment groups is approximately 2 standard erros below the hypothesized difference of 0

•  The degrees of freedom are:

•  The sample size pretty large test statistic will behave similar to a standard normale variable

Exemple: ERPEDA Trial

33


Hypothesis test for two means IV

Exemple: ERPEDA Trial •  What is the p-value?

  p-value = 0.047 using standard normal distribution

  p-value = 0.049 using t116

• What is your decision in this case?

  Not straightforward: p-values are close to α = 0.05

•  Need to consider practical implications, too:

  Is the treatment expensive? Does it produce severe side effects? Is the observed difference in mean birthweights scientifically important?

•  One possible conclusion:

  « marginally statistically signifcant » difference in mean birthweights

  As so often: need to perform more studies

12

34


Hypothesis test for two means V

Exemple: ERPEDA Trial •  Can also give 95% CI for the difference in the two means (-446.13, -3.87)

•  The CI is a plausible range of values for the true difference in birth weights comparing the placebo to treated groups

•  What is your H0? No difference!

•  Given this confidence interval, is « no difference (0) » a plausible value? Almost?

35 Critical regions stuff


Exemple: poids à la naissance

Exemple: ERPEDA Trial

36 Lower tail test: µ with known σ2


•  PROBLÈME: Supposez que les allégations des fabricants que la durée de vie moyenne d'une ampoule est plus de 10.000 heures. Dans un échantillon de 30 ampoules, on a constaté qu’ ils ne durent 9900 heures en moyenne. Supposons que la population s = 120 heures. A α = 0,05, pouvons-nous rejeter la demande par le fabricant?

•  RÉPONSE: Le test statistic -4.5644 est inférieure à la valeur critique de -1.6449. Ainsi, à α=0.05, nous rejetons l'affirmation selon laquelle durée de vie moyenne d'une ampoule est au-dessus 10.000 heures.

13

37 Two-tailed test: µ with known σ2


•  PROBLÈME: Supposez que le poids moyen des manchots royaux trouvés dans une colonie Antarctique l'année dernière était de 15,4 kg. Dans un échantillon de 35 pingouins en même temps cette année dans la même colonie, le poids moyen est de 14,6 kg. Supposez que s = 2,5 kg. A α = 0,05, pouvons-nous rejeter H0 que le poids moyen ne diffère pas de l'année dernière?

•  RÉPONSE: Le test statistic -1.8931 se trouve entre les valeurs critiques -1.9600 et 1.9600. Ainsi, à α=0.05, nous ne rejetons pas H0 parce que le poids moyen ne diffère pas de l'an dernier.

38 Upper tail test: µ with unknown σ2


•  PROBLÈME: Supposez que l'étiquette des aliments sur un sac de biscuits affirme qu'il existe au plus 2 grammes de gras saturés dans un seul cookie. Dans un échantillon de 35 cookies, il est constaté que la quantité moyenne de graisses saturées par biscuit est de 2,1 grammes. Supposez que s = est 0.3g. A α = 0,05, pouvons-nous rejeter la demande sur l'étiquette alimentaire?

•  RÉPONSE: Le test statistic 1.9720 est supérieure à la valeur critique de 1.6991. Ainsi, à α=0.05, nous pouvons rejeter l'affirmation selon laquelle il ya au plus 2 grammes de gras saturés dans un cookie.

39 Two-tailed test: µ with unknown σ2


•  PROBLÈME: Supposez que le poids moyen des manchots royaux trouvés dans une colonie Antarctique l'année dernière était de 15,4 kg. Dans un échantillon de 35 pingouins en même temps cette année dans la même colonie, le poids moyen est de 14,6 pingouin kg. Supposez que le ssample = 2,5 kg. A α = 0,05, pouvons-nous rejeter H0 que le poids moyen pingouin ne diffère pas de l'année dernière?

•  RÉPONSE: Le test statistic -1.8931 se trouve entre les valeurs critiques -2.0322, et 2.0322. Ainsi, à α=0.05, nous ne rejetons pas H0 parce que le poids moyen ne diffère pas de l'an dernier.

14

40 Lectures

Lectures complémentaires

•  Lafaye de Micheaux, P., Drouilhet, R. Liquet, B. (2011): Le logiciel R – Maîtriser le langange, effectuer des analyses statistiques. Springer Verlag, France.

chapitre 11

•  Quinn, G.P, Keough, M.J. (2002) Experimental design and data analysis for biologists. Cambridge University Press.

chapitres 2.3 & 3.1-3.2

•  http://www.brown.edu/Departments/Philosophy/onlinepapers/schechter/DeductiveReasoning.pdf

Lectures obligatoires •  Gotelli, N.J. and Ellison, A.M. (2004): A Primer of Ecological Statistics. Sinauer Associates Inc., Sunderland, MA, USA.

chapitre 3 (> p. 73) & chap. 4

•  Popper, K. (1961): The Logic of Scientific Discovery. Basic Books, Inc. NY.

chapitre 1

•  http://www.r-tutor.com/elementary-statistics/hypothesis-testing


Intervalles de confiance et tests d’hypothèses et de...

Documents

Transcript of Intervalles de confiance et tests d’hypothèses et de...