Inhalt
- Dummy-Kodierung
- Effektkodierung
- Rechenbeispiel
Hintergrund
In der linearen Regression werden kategoriale Prädiktoren typischerweise dummy-kodiert. Dabei entspricht der Intercept dem Mittelwert der Referenzgruppe, also derjenigen Gruppe, die in allen Dummy-Variablen mit 0 kodiert ist.
Bei einer Effektkodierung entspricht der Intercept dagegen dem ungewichteten Mittelwert der einzelnen Gruppenmittelwerte.
Dummy-Kodierung
Betrachten wir zunächst ein einfaches Beispiel zur Kodierung einer kategorialen Variable mit drei Ausprägungen (Gruppen A, B und C) mit Dummy-Variablen \(D_1\) und \(D_2\):
| Gruppe | \(D_1\) (B vs. A) | \(D_2\) (C vs. A) |
|---|---|---|
| A | 0 | 0 |
| B | 1 | 0 |
| C | 0 | 1 |
Das Regressionsmodell lautet:
\[ \hat Y = a + b_1 D_1 + b_2 D_2. \]
Für die drei Gruppen ergeben sich damit die vorhergesagten Mittelwerte
\[ \begin{aligned} \bar Y_A &= a,\\ \bar Y_B &= a + b_1,\\ \bar Y_C &= a + b_2. \end{aligned} \]
Der Intercept \(a\) entspricht also dem Mittelwert der Referenzgruppe A. Die beiden übrigen Koeffizienten beschreiben die Differenzen von B bzw. C zur Referenzgruppe A.
Effektkodierung
Eine mögliche Effektkodierung für dieselben drei Gruppen ist
| Gruppe | \(E_1\) | \(E_2\) |
|---|---|---|
| A | -1 | -1 |
| B | 1 | 0 |
| C | 0 | 1 |
Das geschätzte Regressionsmodell lautet nun
\[ \hat Y = a + b_1 E_1 + b_2 E_2. \]
Daraus folgen für die drei Gruppen
\[ \begin{aligned} \bar Y_A &= a - b_1 - b_2,\\ \bar Y_B &= a + b_1,\\ \bar Y_C &= a + b_2. \end{aligned} \]
Addiert man diese drei Gleichungen, erhält man
\[ \bar Y_A + \bar Y_B + \bar Y_C = 3a. \]
Damit gilt
\[ a = \frac{\bar Y_A + \bar Y_B + \bar Y_C}{3}. \]
Der Intercept ist bei dieser Kodierung also der ungewichtete Mittelwert der drei Gruppenmittelwerte.
Beispiel mit gleich großen Gruppen
Wir verwenden die Daten
| Person | Gruppe | \(Y\) |
|---|---|---|
| 1 | A | 10 |
| 2 | A | 12 |
| 3 | B | 15 |
| 4 | B | 17 |
| 5 | C | 20 |
| 6 | C | 22 |
Die Gruppenmittelwerte sind
\[ \bar Y_A = 11, \qquad \bar Y_B = 16, \qquad \bar Y_C = 21. \]
Da jede Gruppe gleich viele Beobachtungen enthält, ist der Mittelwert aller sechs Beobachtungen zugleich der ungewichtete Mittelwert der drei Gruppenmittelwerte:
\[ \bar Y = \frac{10+12+15+17+20+22}{6} = 16 \]
und
\[ \frac{\bar Y_A+\bar Y_B+\bar Y_C}{3} = \frac{11+16+21}{3} = 16. \]
In diesem Beispiel mit gleich großen Gruppen ist der Intercept zugleich der Mittelwert aller Beobachtungen (jede Gruppe geht mit demselben Gewicht ein). Bei unterschiedlichen Gruppengrößen muss an der Größe der Teilstichproben gewichtet werden.
Warum Effektkodierung?
Ein Vorteil der Effektkodierung besteht darin, dass der Intercept den ungewichteten Mittelwert der Gruppenmittelwerte repräsentiert und die Regressionskoeffizienten \(b\) damit unmittelbar als Abweichungen der jeweiligen Gruppen von diesem Gesamtmittelwert interpretiert werden können.
Literatur und Hinweise
- UCLA Institute for Digital Research and Education: What is effect coding? https://stats.oarc.ucla.edu/other/mult-pkg/faq/general/faqwhat-is-effect-coding/