Motivation
In Modul 2 (und 3) haben wir näher betrachtet, was es heißt, dass unser OLS-Schätzer eine Zufallsvariable ist. Wir haben Erwartungswert und Varianz des Schätzers bestimmt und auch folgende Simulation durchgeführt:
Momente vs. Verteilung
Wir haben mithilfe der Annahmen MLR.1 bis MLR.5 Aussagen über den Erwartungswert und die Varianz des OLS-Schätzers treffen können.
- Das reicht uns aber nicht, um Aussagen über die Verteilung zu treffen.
- Ein Beispiel: Die vier Verteilungen links haben alle einen Erwartungswert von 0 und eine Varianz von 1.
- Auch unter den Gauß-Markov-Annahmen kann die Verteilung von \(\hat{\beta}_1\) sehr verschiedene Formen annehmen.
- Wir benötigen daher eine weitere Annahme.
(MLR.6) Normalität
Wir können die CLM-Annahmen bezüglich der Grundgesamtheit so zusammenfassen:
\[ y\mid\boldsymbol{x}\sim\mathrm{N}\left(\boldsymbol{x}'\boldsymbol{\beta},\sigma^2\right). \]
- Die Grafik links illustriert diesen Fakt für den bivariaten Fall (die Subskripte sind also \(i\), nicht \(k\)).
- Unter den CLM-Annahmen sind die \(y\) für eine Beobachtung \(i\) normalverteilt mit
- Mittelwert \(\boldsymbol{x}'\boldsymbol{\beta}\) (im bivariaten Fall links \(\beta_1x\)) und
- immer der gleichen Varianz \(\sigma^2\).
Verteilung des OLS-Schätzers, Teil 2
Unter den CLM-Annahmen MLR.1 bis MLR.6 gilt:
\[ (\hat{\beta}_k-\beta_k)/\mathrm{se}(\hat{\beta}_k) \sim \mathrm{t}_{n-k-1} \]
- Wenn wir im standardisierten Koeffizienten \(\mathrm{sd}(\cdot)\) durch \(\mathrm{se}(\cdot)\) (also \(\sigma\) durch \(\hat{\sigma}\)) ersetzen, ist er nicht mehr standardnormalverteilt, sondern folgt einer t-Verteilung (engl. t distribution) mit \(N-K-1\) Freiheitsgraden (engl. degrees of freedom).
- Die t-Verteilung schaut einer Standardnormalverteilung sehr ähnlich, sie hat aber fettere Ränder (engl. fatter tails). Je mehr Freiheitsgrade die Verteilung hat, desto eher kann sie durch eine Normalverteilung approximiert werden.
Zweiseitige Hypothesentests
- Wir testen die Nullhypothese, \(\beta_k=0\), gegen eine zweiseitige Alternative, \(\beta_k\neq 0.\)
- In der Grafik links ist eine \(t\)-Verteilung mit 25 Freiheitsgraden gezeichnet.
- Wenn die Nullhypothese stimmt, dann sollten die t-Statistiken der Schätzer, die wir bekommen so verteilt sein wie in der Grafik links.
- Die Idee ist: Wenn unsere tatsächliche t-Statistik so „extrem“ (also so groß oder so klein) ist, dass sie in den blauen Ablehnbereichen dieser Verteilung ist, dann sehen wir es als unwahrscheinlich an, dass die Nullhypothese stimmt und verwerfen sie.
Wann verwerfen wir die Nullhypothese?
- In der Grafik links hat der Ablehnbereich, in denen wir die Nullhypothese verwerfen, insgesamt eine Fläche von 0.05. Wir nennen 0.05 das Signifikanzniveau.
- Bei einer t-Verteilung mit 25 Freiheitsgraden ergibt das kritische Werte von -2.06 und 2.06.
- Wenn der Absolutbetrag der t-Statistik also größer als 2.06 ist, verwerfen wir die Nullhypothese.
- Dass der Schwellenwert hier 2.06 ist, hängt ab von
- der Anzahl der Freiheitsgrade und
- dem Signifikanzniveau.
Speziellere Hypothesen testen
- Wir können auch einen einseitigen t-Test durchführen, z.B. mit \[ H_0:\beta_k\geq 0, \qquad H_A:\beta_k<0. \]
- Bei einem einseitigen Test ist der gesamte Ablehnbereich auf einer Seite, und der kritische Wert für dasselbe Signifikanzniveau und dieselben Freiheitsgrade ist anders.
- Wir können auch sowohl ein- als auch zweiseitige Tests mit anderen Nullhypothesen durchführen, z.B. \(H_0:\beta_k=1\). Die Verteilung der t-Statistik ändert sich nicht.
p-Werte
- Angenommen, wir führen einen Test wie vorher \((\alpha=0.05,\mathrm{df}=25)\) durch und erhalten eine t-Statistik von \(t=2.5\).
- In der Grafik links ist der Bereich mit „extremeren“ t-Statistiken als 2.5 (also \(|t|>2.5\)) pink markiert.
- Die Wahrscheinlichkeit, eine „extremere“ t-Statistik als 2.5 zu erhalten, ist 0.019. Das ist also auch die Fläche beider pinken Bereiche.
- Wir nennen diese Größe p-Wert. Der p-Wert erleichtert uns die Interpretation: Wir müssen keinen kritischen Wert wissen, sondern nur vergleichen, ob der p-Wert kleiner als das Signifikanzniveau ist. Dann verwerfen wir die Nullhypothese.
F-Verteilung
- Die Grafik zeigt eine F-Verteilung mit 3 und 50 Freiheitsgraden. Der kritische Wert ist 2.798; wir verwerfen die Nullhypothese, wenn wir eine F-Statistik erhalten, die größer als dieser Wert ist (einseitiger Test).
- Wenn wir die Nullhypothese nicht verwerfen können, sagen wir, die Variablen sind gemeinsam nicht signifikant (engl. jointly insignificant).
- Wenn wir die Nullhypothese verwerfen, sagen wir, die Variablen sind gemeinsam signifikant.
- Ein F-Test für nur eine Restriktion führt zum gleichen Ergebnis wie ein entsprechender t-Test. Allerdings können mehrere einzeln nicht signifikante Variablen gemeinsam signifikant sein.