Methoden der Datenanalyse - Varianzanalyse

Varianzanalyse

Die Varianzanalyse stellt nicht nur ein spezielles Analyseverfahren, sondern eine generelle Methode dar, um Zusammenhänge zwischen verschiedenen Merkmalen inferenzstatistisch zu beurteilen. Ziel der Lektion ist das Grundmodell der Varianzanalyse sowie die wichtige Idee der Quadratsummenzerlegung darzustellen. Die Durchführung der Analysen der Modelle mit einem bzw. zwei Faktoren sowie die Umsetzung in der Software R sind die weiteren zentralen Punkte.

Begriffsabgrenzung

Die (univariate) Varianzanalyse („ANOVA“ = „analysis of variance“) wird ebenfalls dazu verwendet, den Einfluss einer oder mehrerer unabhängiger Variablen auf eine zumindest intervallskalierte (metrische) Zielvariable zu untersuchen. Im Gegensatz zur Regression sind die hier vorkommenden unabhängigen Variablen kategoriell. Es wird daher nicht eine lineare Funktion als Zusammenhang unterstellt, sondern die Varianzanalyse stellt eine Methode zur Analyse von Mittelwertsunterschieden in ver­schiedenen Versuchsgruppen dar. Der Name „Varianzanalyse“ kommt daher, dass zur Beurteilung der Signifikanz solcher Mittelwertsunterschiede Varianzen berechnet werden.

Liegt eine erklärende Gruppenvariable (ein „Faktor“) vor, spricht man von einer „ein­fachen“ bzw. „einfaktoriellen“ Varianzanalyse, ansonsten von zwei- oder mehr­faktoriellen Varianzanalysen. Im Gegensatz zur Regressionsanalyse werden üblicher­weise auch Interaktionen zwischen (zwei oder mehreren) erklärenden Variablen im Modell berücksichtigt.

Die verschiedenen Ausprägungen eines jeden Faktors werden „Faktorstufen“ ge­nannt. Hat man in jeder Faktorstufe gleich viele Daten zur Verfügung, spricht man von einem „balancierten Design“, sonst von einem „unbalancierten Design“. Gibt es (bei zumindest zwei vorhandenen Faktoren) nicht in jeder Kombination von Faktoren Beobachtungen, heißt die Versuchsanordnung „unvollständiges Design“.

Hat man als erklärende Variablen sowohl metrische, als auch kategorielle Variablen, wird eine Kovarianzanalyse durchgeführt, die aber hier nicht weiter behandelt wird. Ebenfalls nicht behandelt wird der Fall der multivariaten Varianzanalyse („MANOVA“) bei der mehrere abhängige, korrelierte Variablen vorkommen.

Typische Fragestellungen der ANOVA können sein:

• Ob und wie unterscheiden sich Mietkosten einer Wohnung in Bezug auf die Lage (Innen- vs. Außenbezirke) bzw. in Bezug auf die Zimmeranzahl?
• Gibt es Unterschiede im Ertrag bei verschiedenen Getreidesorten?
• Hängt der Absatz eines Produktes von der Platzierung im Supermarkt ab?
• Ist ein bestimmtes Training für eine Leistung förderlich?
• Ist eine Therapie in Bezug auf ein Kriterium erfolgreich?

Hinweis: Die einfaktorielle Varianzanalyse kann auch als die Verallgemeinerung des schon bekannten t-Tests (zum Vergleich zweier Erwartungswerte aus normal­verteilten Grundgesamtheiten) für eine beliebige Anzahl an Erwartungswerten (Gruppen) gesehen werden.

Die einfache Varianzanalyse für unabhängige Stichproben

Modell der einfachen Varianzanalyse für unabhängige Stichproben

Formal lautet das Modell der einfachen Varianzanalyse:

$$y_{ij}=\mu +\alpha _{1}+\epsilon _{ij},\qquad \left(i=1,\ldots ,k;j=1,\ldots ,n_{i}\right);$$

wobei $y_{ij}$ die Werte der metrischen Variable sind (j-ter Wert in Gruppe i), $\mu$ der unbedingte Erwartungswert (ohne Kenntnis der Gruppe), $\alpha _{i}$der „Effekt“ von Gruppe $i$ ist (also der Unterschied des jeweiligen Gruppenerwartungswerts $\mu _{i}$ zu $\mu$ und $\epsilon _{ij}$ der durch die Gruppenvariable nicht erklärte Teil der abhängigen Variable – analog zur Regression, der Fehler – ist. Die $n_{i}$ sind die Stichprobenumfänge der $k$ Gruppen.

Wie bei der Regression ist auch hier die Annahme, dass die Fehler $\epsilon _{ij}$ normalverteilt mit Erwartungswert Null und Varianz $\sigma ^{2}$ und voneinander unabhängig sind (Varianzhomogenität und Unkorreliertheit der Fehler).

Schätzen und Testen bei der einfachen Varianzanalyse

Beispiel 2 Es soll die Zugfestigkeit von drei Drahtsorten verglichen werden. Dazu werden von Sorte 1 sieben Proben, von Sorte 2 fünf Proben und von Sorte 3 sechs Proben auf ihre Zugfestigkeit überprüft. Es ergaben sich folgende Werte (in Newton/mm2): Versuch 1 2 3 4 5 6 7 Sorte 1 9 15,4 8,2 3,9 7,3 10,8 6,8 Sorte 2 7,3 15,6 14,2 13 9,7 - - Sorte 3 18 9,6 11,5 19,4 17,1 14,1 - Es soll die Frage untersucht werden, ob sich die einzelnen Drahtsorten hinsichtlich ihrer Festigkeit unterscheiden.

Da in Beispiel 2 nur eine gruppierende Variable (in drei Ausprägungen) existiert, liegt eine einfache Varianzanalyse vor. Da nicht in jeder Gruppe gleich viele Beobachtungen sind, ist das Design unbalanciert.

Gemäß des Modells der einfachen Varianzanalyse haben wir also die Vorstellung: Die Zugfestigkeit einer Drahtsorte bei einem bestimmten Versuch setzt sich additiv zusammen aus

• einer mittleren Zugfestigkeit, die ein „durchschnittlicher“ Draht hat,
• einem Wert, um die die Zugfestigkeit einer speziellen Drahtsorte besser oder schlechter ist, als ein „durchschnittlicher“ Draht und
• einer Abweichung von der durchschnittlichen Zugfestigkeit dieser Drahtsorte, die in dem bestimmten Versuch beobachtet wurde und mangels anderer Erklärungsmöglichkeiten dem Zufall zugeordnet wird.

Dementsprechend werden auch die Parameter in diesem Modell geschätzt.

Schätzung der Zugfestigkeit $\mu$ eines durchschnittlichen Drahts durch

$${\hat {\mu }}={\frac {1}{\sum _{i=1}^{k}n_{i}}}\sum _{i=1}^{k}\sum _{j=1}^{n_{i}}y_{ij}$$

Schätzung des Effekts von Drahtsorte $i$, $\alpha _{i}$, durch

$${\hat {\alpha }}_{i}={\hat {\mu }}_{i}-{\hat {\mu }}={\frac {1}{n_{i}}}\sum _{j=1}^{n_{i}}y_{ij}-{\hat {\mu }}$$

Schätzung des Fehlers $\epsilon _{ij}$ durch das Residuum

$${\widehat {\epsilon _{ij}}}=y_{ij}-{\widehat {y_{ij}}}=y_{ij}-\left({\hat {\mu }}+{\hat {a_{i}}}\right)$$

Fortsetzung Beispiel 2 $${\hat {\mu }}={\frac {1}{7+5+6}}(9+15,4+\cdots +6,8+7,3+\cdots +9,7+18+\cdots +14,1)=11,717$$ $${\widehat {\alpha _{1}}}={\widehat {\mu _{1}}}-{\hat {\mu }}={\frac {1}{7}}(9+15,4+\cdots +6,8)-11,717=8,771-11,717=-2,945$$ $${\widehat {\alpha _{2}}}={\widehat {\mu _{2}}}-{\hat {\mu }}={\frac {1}{5}}(7,3+15,6+\cdots +9,7)-11,717=11,960-11,717=0,243$$ $${\widehat {\alpha _{3}}}={\widehat {\mu _{3}}}-{\hat {\mu }}={\frac {1}{6}}(18+9,6+\cdots +14,1)-11,717=14,950-11,717=3,233$$ Kontrolle: $$n_{1}{\widehat {\alpha _{1}}}+n_{2}{\widehat {\alpha _{2}}}+n_{3}{\widehat {\alpha _{3}}}=0?\rightarrow 7*(-2,945)+5*0,243+6*3,233=0$$ Residuum exemplarisch: $${\widehat {\varepsilon _{15}}}=y_{15}-{\widehat {\mu _{1}}}=7,3-8,771=-1,471$$

Aufgabe 3 Berechnen Sie für alle Beobachtungen aus Beispiel 2 die Residuen und bestimmen Sie jene Beobachtung, die durch das Modell am schlechtesten erklärt wird (d.h. das betragsmäßig größte Residuum aufweist).

Die Schätzungen der einzelnen Parameter beschränken sich also immer nur auf die Berechnung von Mittelwerten und deren Differenzen. Aus den Berechnungen von Beispiel 2 wissen wir nun beispielsweise, dass Drahtsorte 3 eine um 3,233 Newton/mm² größere Zugfestigkeit als der Durchschnitt aufweist. Das bezieht sich jedoch nur auf die beobachtete Stichprobe. Damit haben wir auf die ursprüngliche Frage „Unterscheiden sich die 3 Drahtsorten bezüglich der Zugfestigkeit“ nur eine deskriptivstatistische Antwort gegeben.

In der Regel ist aber von Interesse, ob wir durch die Daten genügend Evidenz dafür haben, dass sich auch die Mittelwerte der Grundgesamtheit (die Erwartungswerte) unter­scheiden. Hier ist es nun wieder erforderlich, einen statistischen Test zu berechnen.

Das Hypothesenpaar bei der einfaktoriellen Varianzanalyse lautet folgendermaßen:

$$H_{0}:\mu _{1}=\mu _{2}=\cdots =\mu _{k}\Leftrightarrow \alpha _{1}=\alpha _{2}=\cdots =\alpha _{k}=0$$

$$H_{1}:\exists (i,j):\mu _{i}\neq \mu _{j}\Leftrightarrow \exists \alpha _{i}\neq 0$$

Getestet wird also, ob alle Erwartungswerte gleich sind, oder zumindest zwei Erwartungswerte existieren, die ungleich sind.

Beim t-Test (Anzur, 2007, S. 71) wurde als relevante Prüfgröße die Differenz der Mittel­werte der beiden Gruppen bezogen auf den Standardfehler der Mittelwerts­differenz berechnet. Dieses Konzept ist nun nicht mehr möglich, da die Differenzen von mehr als zwei Gruppen berechnet werden müssten (die „mittlere“, die „maximale“, die „minimale“?). Anstelle der Differenz kommt nun das Konzept mit den Varianzen ins Spiel.

Abbildung 11 zeigt anhand von zwei Gruppen das Problem aber auch gleichzeitig die Lösung. Ziel der Varianzanalyse ist es, herauszufinden, ob die (durch­schnittliche) Lage der Beobachtungen auf dem Zahlenstrahl in beiden Gruppen gleich ist. In Fall 1 besteht zwischen Gruppe 1 und Gruppe 2 bei a und b dieselbe Mittelwertsdifferenz. Es ist aber mit freiem Auge ersichtlich, dass in Fall 1a besser zwischen den beiden Gruppen getrennt werden kann, als in Fall 1b. Grund sind die größeren Varianzen innerhalb der beiden Gruppen im Fall 1b. Bei Fall 2 streuen nun die Werte aller Gruppen gleich um ihren Mittelwert. Demnach sind die Varianzen innerhalb der Gruppen jeweils gleich. Nun kann besser zwischen jenen Gruppen getrennt werden, die den größeren Mittelwertsunterschied haben. Zusammen­gefasst heißt das, dass umso mehr Evidenz für eine unterschiedliche Lage der Gruppen gegeben ist, je größer die Mittelwertsdifferenz ist und je kleiner die Streuung der Werte um ihren eigenen Mittelwert ist. Im Fall von mehr als zwei Gruppen wird die Mittelwertsdifferenz einfach durch die Streuung (Varianz) der Gruppenmittelwerte ersetzt.

Gegenübergestellt werden in der Varianzanalyse also die Varianzen (Quadrat­summen ) „innerhalb“ der Gruppen und „zwischen“ den Gruppen. Die Hilfsgrößen, um einen Test für oben genanntes Hypothesenpaar durchzuführen sind solche Quadrat­summen. In der einfachen Varianzanalyse gilt immer folgende Quadratsummenzerlegung:

$$\underbrace {\sum _{i=1}^{k}\sum _{j=1}^{n_{1}}\left(y_{ij}-{\hat {\mu }}\right)^{2}} _{\mathrm {QT} }=\underbrace {\sum _{i=1}^{k}\sum _{j=1}^{n_{1}}\left(y_{ij}-{\hat {\mu }}_{i}\right)^{2}} _{\mathrm {QI} }+\underbrace {\sum _{i=1}^{k}n_{i}\left({\hat {\mu }}_{i}-{\hat {\mu }}\right)^{2}} _{\mathrm {QZ} }$$

QT…Quadratsumme „Total“

QI…Quadratsumme „Innerhalb“

QZ…Quadratsumme „Zwischen“

Die Gesamtvariabilität der Daten QT kann also in zwei additive Teile gespalten werden. Dadurch bietet sich als weitere deskriptive Größe analog zur Regressions­analyse das Bestimmtheitsmaß an, welches als Quotient aus QZ und QT berechnet wird und wieder den Anteil an der durch das Modell erklärten Varianz an der Zielgröße angibt.

Aufgabe 4 Denken Sie sich zwei Datensätze aus (je drei Gruppen mit je fünf Beobachtungen pro Gruppe). Einen, bei dem das Bestimmtheitsmaß 100% beträgt und einen, bei dem das Bestimmtheitsmaß 0% beträgt. Welche Charakteristik haben die Daten jeweils.

Vier Datenreihen mit je zwei Gruppen,
 die gut bzw. schlecht getrennt werden können

Um nun inferenzstatistische Aussagen zu machen, wird nun die Quadratsumme „Zwischen“ nicht zur totalen Quadratsumme, sondern zur Quadratsumme „Innerhalb“ in Beziehung gesetzt. Dies liefert auch dann die Prüfgröße F für unsere Hypothese:

$$F={\frac {MQZ}{MQI}}={\frac {{\frac {1}{k-1}}QZ}{{\frac {1}{N-k}}QI}}={\frac {(N-k)QZ}{(k-1)QI}}\qquad {\left[N=n_{1}+n_{2}+n_{3}\right]}$$

Es kann gezeigt werden, dass $F$ unter Gültigkeit der Nullhypothese (die Erwar­tungswerte aller Gruppen sind gleich) und den anderen vorher erwähnten Modell­annahmen (Normalverteilung der Fehler) nach einer F-Verteilung mit $k-1$ und $N-k$ Freiheitsgraden verteilt ist. Dadurch werden Schranken definiert, bis zu wel­chen Werten von eine Entscheidung für die Nullhypothese und ab wann eine Ent­scheidung für die Alternativhypothese erfolgt. Was man weiters wie bei jedem statistischen Test benötigt, ist $\alpha$, die “Irrtumswahrscheinlichkeit“ (=die Wahr­scheinlichkeit, die $H_{0}$ zu verwerfen, obwohl sie zutrifft).

Fortsetzung Beispiel 2 $$QT=(9-11,717)^{2}+\cdots (14,1-11,717)^{2}=323,105$$ $$QI=(9-8,771)^{2}+\cdots +(6,8-8,771)^{2}+\cdots +(14,1-14,950)^{2}=199,361$$ $$QZ=QT-QI=323,105-199,361=123,744$$ $$F={\frac {{\frac {1}{3-1}}*123,744}{{\frac {1}{18-3}}*199,361}}={\frac {61,872}{13,291}}=4,655$$

Aufgabe 5 Berechnen Sie für die Daten aus Beispiel 2 das Bestimmtheitsmaß.

Soll bei $F=4,655$ nun für die H₀ oder für die H₁ entschieden werden? Bei kleinen Werten von F beobachten wir entweder kleine Werte für QZ und/oder große Werte für QI. Beides spricht eher für die H₀. Umgekehrt sind große Werte für F eher Evidenz für H₁. Um die Frage zu beantworten, wird nun der „kritische Wert“ in der Tabelle der F-Verteilung (oder z.B. in Excel) nachgeschlagen. Bei $\alpha =5\%$ am oberen Ende der Verteilung suchen wir de facto das $1-\alpha =95\%$-Quantil der F-Verteilung mit $k=1=3-1=2$ und $N-k=18-3=15$ Freiheitsgraden. In Excel kann dies mit der Funktion „FINV“ berechnet werden („=FINV(0,05;2;15)“). Dies liefert als maximal zulässigen F-Wert 3,68. Unser aus den Daten beobachtete F-Wert beträgt 4,655. Diese ist größer als der kritische Wert und daher wird die Nullhypothese verworfen. Ergebnis: Die drei Drahtsorten unterscheiden sich (bei $\alpha =5\%$) signifikant voneinander bezüglich ihrer Zugfestigkeit. Abbildung 12 veranschaulicht die Entscheidungssituation nochmals.

In der Praxis rechnet man die Varianzanalyse natürlich wieder mit Software. In R kann wieder die Funktion „lm“ verwendet werden. Die unabhängige Variable muss aber als „Faktor“ spezifiziert werden, da sonst ein linearer Zusammenhang mit der Gruppennummer geschätzt wird.

Dichtefunktion von F unter Annahme der Nullhypothese