Methoden der Datenanalyse - Varianzanalyse

Varianzanalyse

Die Varianzanalyse stellt nicht nur ein spezielles Analyseverfahren, sondern eine generelle Methode dar, um Zusammenhänge zwischen verschiedenen Merkmalen inferenzstatistisch zu beurteilen. Ziel der Lektion ist das Grundmodell der Varianzanalyse sowie die wichtige Idee der Quadratsummenzerlegung darzustellen. Die Durchführung der Analysen der Modelle mit einem bzw. zwei Faktoren sowie die Umsetzung in der Software R sind die weiteren zentralen Punkte.

Begriffsabgrenzung

Die (univariate) Varianzanalyse („ANOVA“ = „analysis of variance“) wird ebenfalls dazu verwendet, den Einfluss einer oder mehrerer unabhängiger Variablen auf eine zumindest intervallskalierte (metrische) Zielvariable zu untersuchen. Im Gegensatz zur Regression sind die hier vorkommenden unabhängigen Variablen kategoriell. Es wird daher nicht eine lineare Funktion als Zusammenhang unterstellt, sondern die Varianzanalyse stellt eine Methode zur Analyse von Mittelwertsunterschieden in ver­schiedenen Versuchsgruppen dar. Der Name „Varianzanalyse“ kommt daher, dass zur Beurteilung der Signifikanz solcher Mittelwertsunterschiede Varianzen berechnet werden.

Liegt eine erklärende Gruppenvariable (ein „Faktor“) vor, spricht man von einer „ein­fachen“ bzw. „einfaktoriellen“ Varianzanalyse, ansonsten von zwei- oder mehr­faktoriellen Varianzanalysen. Im Gegensatz zur Regressionsanalyse werden üblicher­weise auch Interaktionen zwischen (zwei oder mehreren) erklärenden Variablen im Modell berücksichtigt.

Die verschiedenen Ausprägungen eines jeden Faktors werden „Faktorstufen“ ge­nannt. Hat man in jeder Faktorstufe gleich viele Daten zur Verfügung, spricht man von einem „balancierten Design“, sonst von einem „unbalancierten Design“. Gibt es (bei zumindest zwei vorhandenen Faktoren) nicht in jeder Kombination von Faktoren Beobachtungen, heißt die Versuchsanordnung „unvollständiges Design“.

Hat man als erklärende Variablen sowohl metrische, als auch kategorielle Variablen, wird eine Kovarianzanalyse durchgeführt, die aber hier nicht weiter behandelt wird. Ebenfalls nicht behandelt wird der Fall der multivariaten Varianzanalyse („MANOVA“) bei der mehrere abhängige, korrelierte Variablen vorkommen.

Typische Fragestellungen der ANOVA können sein:

• Ob und wie unterscheiden sich Mietkosten einer Wohnung in Bezug auf die Lage (Innen- vs. Außenbezirke) bzw. in Bezug auf die Zimmeranzahl?
• Gibt es Unterschiede im Ertrag bei verschiedenen Getreidesorten?
• Hängt der Absatz eines Produktes von der Platzierung im Supermarkt ab?
• Ist ein bestimmtes Training für eine Leistung förderlich?
• Ist eine Therapie in Bezug auf ein Kriterium erfolgreich?

Hinweis: Die einfaktorielle Varianzanalyse kann auch als die Verallgemeinerung des schon bekannten t-Tests (zum Vergleich zweier Erwartungswerte aus normal­verteilten Grundgesamtheiten) für eine beliebige Anzahl an Erwartungswerten (Gruppen) gesehen werden.

Die einfache Varianzanalyse für unabhängige Stichproben

Modell der einfachen Varianzanalyse für unabhängige Stichproben

Formal lautet das Modell der einfachen Varianzanalyse:

$$y_{ij}=\mu +\alpha _{1}+\epsilon _{ij},\qquad \left(i=1,\ldots ,k;j=1,\ldots ,n_{i}\right);$$

wobei $y_{ij}$ die Werte der metrischen Variable sind (j-ter Wert in Gruppe i), $\mu$ der unbedingte Erwartungswert (ohne Kenntnis der Gruppe), $\alpha _{i}$der „Effekt“ von Gruppe $i$ ist (also der Unterschied des jeweiligen Gruppenerwartungswerts $\mu _{i}$ zu $\mu$ und $\epsilon _{ij}$ der durch die Gruppenvariable nicht erklärte Teil der abhängigen Variable – analog zur Regression, der Fehler – ist. Die $n_{i}$ sind die Stichprobenumfänge der $k$ Gruppen.

Wie bei der Regression ist auch hier die Annahme, dass die Fehler $\epsilon _{ij}$ normalverteilt mit Erwartungswert Null und Varianz $\sigma ^{2}$ und voneinander unabhängig sind (Varianzhomogenität und Unkorreliertheit der Fehler).

Schätzen und Testen bei der einfachen Varianzanalyse

Beispiel 2 Es soll die Zugfestigkeit von drei Drahtsorten verglichen werden. Dazu werden von Sorte 1 sieben Proben, von Sorte 2 fünf Proben und von Sorte 3 sechs Proben auf ihre Zugfestigkeit überprüft. Es ergaben sich folgende Werte (in Newton/mm2): Versuch 1 2 3 4 5 6 7 Sorte 1 9 15,4 8,2 3,9 7,3 10,8 6,8 Sorte 2 7,3 15,6 14,2 13 9,7 - - Sorte 3 18 9,6 11,5 19,4 17,1 14,1 - Es soll die Frage untersucht werden, ob sich die einzelnen Drahtsorten hinsichtlich ihrer Festigkeit unterscheiden.

Da in Beispiel 2 nur eine gruppierende Variable (in drei Ausprägungen) existiert, liegt eine einfache Varianzanalyse vor. Da nicht in jeder Gruppe gleich viele Beobachtungen sind, ist das Design unbalanciert.

Gemäß des Modells der einfachen Varianzanalyse haben wir also die Vorstellung: Die Zugfestigkeit einer Drahtsorte bei einem bestimmten Versuch setzt sich additiv zusammen aus

• einer mittleren Zugfestigkeit, die ein „durchschnittlicher“ Draht hat,
• einem Wert, um die die Zugfestigkeit einer speziellen Drahtsorte besser oder schlechter ist, als ein „durchschnittlicher“ Draht und
• einer Abweichung von der durchschnittlichen Zugfestigkeit dieser Drahtsorte, die in dem bestimmten Versuch beobachtet wurde und mangels anderer Erklärungsmöglichkeiten dem Zufall zugeordnet wird.

Dementsprechend werden auch die Parameter in diesem Modell geschätzt.

Schätzung der Zugfestigkeit $\mu$ eines durchschnittlichen Drahts durch

$${\hat {\mu }}={\frac {1}{\sum _{i=1}^{k}n_{i}}}\sum _{i=1}^{k}\sum _{j=1}^{n_{i}}y_{ij}$$

Schätzung des Effekts von Drahtsorte $i$, $\alpha _{i}$, durch

$${\hat {\alpha }}_{i}={\hat {\mu }}_{i}-{\hat {\mu }}={\frac {1}{n_{i}}}\sum _{j=1}^{n_{i}}y_{ij}-{\hat {\mu }}$$

Schätzung des Fehlers $\epsilon _{ij}$ durch das Residuum

$${\widehat {\epsilon _{ij}}}=y_{ij}-{\widehat {y_{ij}}}=y_{ij}-\left({\hat {\mu }}+{\hat {a_{i}}}\right)$$