Methoden der Datenanalyse - Clusteranalyse - Versionsgeschichte

JUNGBAUER Christoph am 29. Jänner 2022 um 10:56 Uhr

2022-01-29T10:56:22Z

@@ Zeile 27: / Zeile 27: @@
 === Ähnlichkeit und Distanzmaße ===
 Um Beobachtungseinheiten gruppieren zu können, muss zunächst festgestellt werden, wie ähnlich sich die einzelnen Beobachtungen sind. Es muss also ein Maß für die Ähnlichkeit zwischen je zwei Beobachtungen definiert werden. Analog kann man statt Ähnlichkeiten auch Distanzen zwischen je zwei Beobachtungen angeben, die sich zu den Ähnlichkeiten in umgekehrter Relation verhalten. Der Ausgangspunkt einer Clusteranalyse ist bei den meisten Softwarepaketen daher entweder die Datenmatrix oder eine daraus abgeleitete Ähnlichkeits- oder Distanzmatrix (Abbildung 15). Da Ähnlichkeits- und Distanzmaße nur eine unterschiedliche Sicht des selben Sachverhalts ist, werden in weiterer Folge nur Distanzmaße betrachtet.
 <span id="_Ref249872823" class="anchor"></span>

JUNGBAUER Christoph am 29. Jänner 2022 um 10:55 Uhr

2022-01-29T10:55:33Z

← Nächstältere Version		Version vom 29. Jänner 2022, 10:55 Uhr
Zeile 28:		Zeile 28:
	Um Beobachtungseinheiten gruppieren zu können, muss zunächst festgestellt werden, wie ähnlich sich die einzelnen Beobachtungen sind. Es muss also ein Maß für die Ähnlichkeit zwischen je zwei Beobachtungen definiert werden. Analog kann man statt Ähnlichkeiten auch Distanzen zwischen je zwei Beobachtungen angeben, die sich zu den Ähnlichkeiten in umgekehrter Relation verhalten. Der Ausgangspunkt einer Clusteranalyse ist bei den meisten Softwarepaketen daher entweder die Datenmatrix oder eine daraus abgeleitete Ähnlichkeits- oder Distanzmatrix (Abbildung 15). Da Ähnlichkeits- und Distanzmaße nur eine unterschiedliche Sicht des selben Sachverhalts ist, werden in weiterer Folge nur Distanzmaße betrachtet.		Um Beobachtungseinheiten gruppieren zu können, muss zunächst festgestellt werden, wie ähnlich sich die einzelnen Beobachtungen sind. Es muss also ein Maß für die Ähnlichkeit zwischen je zwei Beobachtungen definiert werden. Analog kann man statt Ähnlichkeiten auch Distanzen zwischen je zwei Beobachtungen angeben, die sich zu den Ähnlichkeiten in umgekehrter Relation verhalten. Der Ausgangspunkt einer Clusteranalyse ist bei den meisten Softwarepaketen daher entweder die Datenmatrix oder eine daraus abgeleitete Ähnlichkeits- oder Distanzmatrix (Abbildung 15). Da Ähnlichkeits- und Distanzmaße nur eine unterschiedliche Sicht des selben Sachverhalts ist, werden in weiterer Folge nur Distanzmaße betrachtet.

			{\| style="border-collapse: collapse; height: 172px;" border="1"
			! style="height: 28px; width: 95.9144px;" \| Beob.-einheit
			! style="height: 28px; width: 59.6528px;" \| Merkmal
			! style="height: 28px; width: 46.4583px;" \|
			! style="height: 28px; width: 46.4583px;" \|
			! style="height: 28px; width: 59.6759px;" \|
			\|- style="height: 29px;"
			\| style="height: 29px; width: 95.9144px;" \|
			<br>
			\| style="height: 29px; width: 59.6528px;" \| <math>x_{1 2}</math>
			\| style="height: 29px; width: 46.4583px;" \| <math>X_2</math>
			\| style="height: 29px; width: 46.4583px;" \|
			<br>
			\| style="height: 29px; width: 59.6759px;" \| [<math>X_p</math>
			\|- style="height: 29px;"
			\| style="height: 29px; width: 95.9144px;" \| 1
			\| style="height: 29px; width: 59.6528px;" \| <math>x_{1 1}</math>
			\| style="height: 29px; width: 46.4583px;" \| <math>x_{2 1}</math>
			\| style="height: 29px; width: 46.4583px;" \| …
			\| style="height: 29px; width: 59.6759px;" \| <math>x_{p 1}</math>
			\|- style="height: 29px;"
			\| style="height: 29px; width: 95.9144px;" \| 2
			\| style="height: 29px; width: 59.6528px;" \| <math>x_{1 2}</math>
			\| style="height: 29px; width: 46.4583px;" \| <math>x_{2 2}</math>
			\| style="height: 29px; width: 46.4583px;" \| …
			\| style="height: 29px; width: 59.6759px;" \| <math>x_{p 2}</math>
			\|- style="height: 28px;"
			\| style="height: 28px; width: 95.9144px;" \| …
			\| style="height: 28px; width: 59.6528px;" \| …
			\| style="height: 28px; width: 46.4583px;" \| …
			\| style="height: 28px; width: 46.4583px;" \| …
			\| style="height: 28px; width: 59.6759px;" \| …
			\|- style="height: 29px;"
			\| style="height: 29px; width: 95.9144px;" \| N
			\| style="height: 29px; width: 59.6528px;" \| <math>x_{1 n}</math>
			\| style="height: 29px; width: 46.4583px;" \| <math>x_{2 n}</math>
			\| style="height: 29px; width: 46.4583px;" \| …
			\| style="height: 29px; width: 59.6759px;" \| <math>x_{p 2}</math>
			\|}
			{\| style="border-collapse: collapse; height: 170px;" border="1"
			! style="height: 57px; width: 51.1806px;" \| Beob.-einheit
			! style="height: 57px; width: 28.8773px;" \| 1
			! style="height: 57px; width: 28.8773px;" \| 2
			! style="height: 57px; width: 20.3009px;" \| …
			! style="height: 57px; width: 28.8889px;" \| n
			\|- style="height: 28px;"
			\| style="height: 28px; width: 51.1806px;" \| 1
			\| style="height: 28px; width: 28.8773px;" \| <math>d_{1 2}</math>
			\| style="height: 28px; width: 28.8773px;" \| <math>d_{2 1}</math>
			\| style="height: 28px; width: 20.3009px;" \| …
			\| style="height: 28px; width: 28.8889px;" \| <math>d_{n 1}</math>
			\|- style="height: 28px;"
			\| style="height: 28px; width: 51.1806px;" \| 2
			\| style="height: 28px; width: 28.8773px;" \| <math>d_{1 2}</math>
			\| style="height: 28px; width: 28.8773px;" \| <math>d_{2 2}</math>
			\| style="height: 28px; width: 20.3009px;" \| …
			\| style="height: 28px; width: 28.8889px;" \| <math>d_{n 2}</math>
			\|- style="height: 28px;"
			\| style="height: 28px; width: 51.1806px;" \| …
			\| style="height: 28px; width: 28.8773px;" \| …
			\| style="height: 28px; width: 28.8773px;" \| …
			\| style="height: 28px; width: 20.3009px;" \| …
			\| style="height: 28px; width: 28.8889px;" \| …
			\|- style="height: 29px;"
			\| style="height: 29px; width: 51.1806px;" \| n
			\| style="height: 29px; width: 28.8773px;" \| <math>d_{1 n}</math>
			\| style="height: 29px; width: 28.8773px;" \| <math>d_{2 n}</math>
			\| style="height: 29px; width: 20.3009px;" \| …
			\| style="height: 29px; width: 28.8889px;" \| <math>d_{p n}</math>
			\|}

	<span id="_Ref249872823" class="anchor"></span>		<span id="_Ref249872823" class="anchor"></span>

JUNGBAUER Christoph am 29. Jänner 2022 um 10:53 Uhr

2022-01-29T10:53:30Z

← Nächstältere Version		Version vom 29. Jänner 2022, 10:53 Uhr
Zeile 1:		Zeile 1:
			= Clusteranalyse =

			''Das Verständnis der Idee, die hinter clusteranalytischen Verfahren steckt, der Grundbegriffe und der Basis-Algorithmen, sowie die Durchführung einer Clusteranalyse in R sind die wesentlichen Ziele von'' ''Lektion 3.''

			== Einführung und Beispielfragestellungen ==

			Während in den beiden vorangegangenen Kapiteln jeweils untersucht wurde, in welcher Form eine oder mehrere ''Merkmale'' von einer Reihe von weiteren ''Merkmalen'' abhängen, ist man bei der Clusteranalyse daran interessiert, die unterschiedlichen ''Beobachtungseinheiten'' (Personen, Unternehmen, Produkte,usw.) in einzelne Gruppen – die sogenannten „Cluster“ – zu teilen. Die Einteilung soll jeweils Beobachtungseinheiten zusammenfassen, die untereinander recht ähnlich und von Einheiten anderer Gruppen recht unterschiedlich sind.

			Die Clusteranalyse untersucht nun im Wesentlichen,

			* ob und wie gut eine solche Einteilung möglich ist,
			* in wieviele Gruppen die beobachtete Stichprobe geteilt werden soll und
			* wie die verschiedenen gefundenen Gruppen charakterisiert werden können.
			Ziel ist es also, die Daten derart zu strukturieren, damit die einzelnen Merkmalsträger mit verschiedenen „Etiketten“ versehen werden können (“Typenbildung“). Während insbesondere mit der Varianzanalyse, aber auch mit der Regressionsanalyse bestehende Hypothesen geprüft werden können, wird die Clusteranalyse zu den hypothesengenerierenden („exploratorischen“) Verfahren gezählt. Die Daten werden hier meistens ohne Vorstellungen über die statistische Verteilung der einzelnen Gruppen analysiert. Auch können die Variablen der Clusteranalyse beliebiges Skalenniveau aufweisen.

			Im folgenden einige Beispiele für den Einsatz von Methoden zur Cluster-Bildung:

			* Klassifikation von Verkehrsunfällen anhand von 20 binären Merkmalen (Vogel, 1975), die zum jeweiligen Unfall erhoben wurden, unter anderen anhand der Merkmale „Werktag vs. Wochenende“, „Autobahn vs. Stadtgebiet“, „Alkoholeinfluss ja/nein“,usw..
			* Ein Marktforschungsinstitut analysiert Lifestyle und Konsumentenprofile und ermittelt daraus verschiedene Kundensegmente. Die Personen werden dann beispielsweise in „Weltoffene Etablierte“, „Konsumeinsteiger“, „Bodenständige“, usw. eingeteilt. Weiters werden die Marktanteile der einzelnen Segmente berechnet.
			* „Semantisches Differential“: Es kann bestimmt werden wie ähnlich sich bestimmte Worte bezüglich ihrer konnotativen Bedeutung sind. Die verschiedenen Dimensionen, die die konnotative Bedeutung beschreiben, werden mittels faktorenanalytischer Methoden (Lektion 5) anhand einer Stichprobe von wertenden Personen bestimmt.
			* Klassifikation verschiedener europäischer Länder nach Anteil der Angestellten in Landwirtschaft, Bauwirtschaft, Sozialarbeit, Finanzektor, usw..
			* Biologie: Gruppierung von Bakterien und Mikroorganismen
			Weitere Bezeichnungen für die Clusteranalyse sind „Klassifikationsverfahren“, „Unsupervised Learning“ oder auch „Pattern Recognition“.

			== Grundlagen der Clusteranalyse ==

			=== Ähnlichkeit und Distanzmaße ===
			Um Beobachtungseinheiten gruppieren zu können, muss zunächst festgestellt werden, wie ähnlich sich die einzelnen Beobachtungen sind. Es muss also ein Maß für die Ähnlichkeit zwischen je zwei Beobachtungen definiert werden. Analog kann man statt Ähnlichkeiten auch Distanzen zwischen je zwei Beobachtungen angeben, die sich zu den Ähnlichkeiten in umgekehrter Relation verhalten. Der Ausgangspunkt einer Clusteranalyse ist bei den meisten Softwarepaketen daher entweder die Datenmatrix oder eine daraus abgeleitete Ähnlichkeits- oder Distanzmatrix (Abbildung 15). Da Ähnlichkeits- und Distanzmaße nur eine unterschiedliche Sicht des selben Sachverhalts ist, werden in weiterer Folge nur Distanzmaße betrachtet.


	<span id="_Ref249872823" class="anchor"></span>		<span id="_Ref249872823" class="anchor"></span>

JUNGBAUER Christoph am 29. Jänner 2022 um 10:51 Uhr

2022-01-29T10:51:44Z

← Nächstältere Version		Version vom 29. Jänner 2022, 10:51 Uhr
Zeile 1:		Zeile 1:

			<span id="_Ref249872823" class="anchor"></span>

			<span class="anchor"></span>[[file:img1642170327751.png\|300px\|none\|thumb\|Notation für die Datenmatrix und für die daraus berechnete Distanzmatrix]]

			Die Forderungen für ein Distanzmaß sind folgende:

			<math display="block">
			- $d_{i i}=0 \forall i=1, \ldots, n$
			- $d_{i j} \geq 0 \forall i \neq j=1, \ldots, n$
			- $d_{i j}=d_{j i} \forall i, j=1, \ldots, n$
			</math>

			Weiters wird zumeist gefordert, dass das Distanzmaß invariant bezüglich einer Klasse von bestimmten Transformationen ist (Umskalierungen, Verschiebungen). Es soll ja keinen Unterschied machen ob Werte in cm oder m, in kg oder g, in Schilling oder Euro gemessen werden.

			Bei metrischen Merkmalen werden nun am häufigsten die Minkowski-q-Metriken (L<sub>q</sub>-Distanzen) als Distanzmaß verwendet. Diese sind gegeben durch

			<math display="block">
			d_{m n}=\left(\sum_{i=1}^{p}\left\|x_{i m}-x_{i n}\right\|^{q}\right)^{1 / q} \text { für } q \geq 1 .
			</math>



			[[file:img1642150545739.png\|300px\|none\|thumb\| L1 bzw. die L2 Distanz für zwei Datenpunkte]]



			Man beachte, dass alle L<sub>q</sub>-Distanzen (außer <math>q=2</math>) nicht invariant gegenüber Drehungen des Koordinatenkreuzes (orthogonale lineare Transformationen) sind.

			Ein alternatives Distanzmaß ist die „Mahalanobisdistanz“, der bei stark korrelierten Variablen der Vorzug gegeben wird.

			Für einige Clusteralgorithmen ist nach Kenntnis der Distanzmatrix nur mehr die Reihenfolge der Distanzen zwischen je zwei Datenpunkten relevant.

			{\| style="border-collapse: collapse; background-color: rgb(206, 212, 217);"
			! width="100%" \| '''Aufgabe 10'''

			Gegeben seien folgende vier Objekte, an denen jeweils drei Merkmale beobachtet wurden: (8/9/6), (6/2/3), (6/5/1), und (7/1/5).

			Berechnen Sie die L<sub>1</sub>- bzw. die L<sub>2</sub>-Distanzen und ordnen Sie die Objektpaare jeweils nach ihren Distanzen. Ist die Ordnung unterschiedlich?
			\|}
			Im Falle von nominalskalierten Variablen müssen die Distanzen anders berechnet werden. Hier werden im wesentlichen die Übereinstimmungen zwischen je zwei Objekten gezählt und daraus Koeffizienten berechnet (siehe die entsprechenden Kapitel der vertiefenden Literatur).

	=== Klassifikation - Partition ===		=== Klassifikation - Partition ===

JUNGBAUER Christoph am 29. Jänner 2022 um 10:49 Uhr

2022-01-29T10:49:13Z

Änderungen zeigen

JUNGBAUER Christoph am 29. Jänner 2022 um 10:48 Uhr

2022-01-29T10:48:03Z

Änderungen zeigen

JUNGBAUER Christoph am 29. Jänner 2022 um 10:46 Uhr

2022-01-29T10:46:04Z

Änderungen zeigen

JUNGBAUER Christoph am 28. Jänner 2022 um 06:34 Uhr

2022-01-28T06:34:00Z

← Nächstältere Version		Version vom 28. Jänner 2022, 06:34 Uhr
Zeile 406:		Zeile 406:
	Code-Fortsetzung:		Code-Fortsetzung:

	[[file:~~img1642236820072~~.png\|300px\|none\|thumb\|Fortsetzung des R-Codes zur Clusteranalyse]]		[[file:mt422_a7.png\|300px\|none\|thumb\|Fortsetzung des R-Codes zur Clusteranalyse]]

	Das erzeugte Objekt „result1“ ist vom Typ „hclust“, beinhaltet daher alle Informationen, die bei einer hierarchischen Clusteranalyse berechnet werden. Es können auf Wunsch mehrere Attribute ausgegeben werden. Wird so ein Objekt mit dem „plot“-Befehl versehen, entsteht das Dendrogramm (Abbildung 22). Die Gruppen sollen nun so gewählt werden, dass sie untereinander homogen und zueinander heterogen sind. Der hier gewählte Kompromiss ist jener, der das Dendrogramm horizontal an der Stelle <math>3,1<h<4,2</math> schneidet und sechs Gruppen liefert. Dies wird durch die Funktion „cutree“ (Abbildung 21) erzeugt. Das Ergebnis der Gruppenzuordnung wird sodann unter „partition1“ abgespeichert.		Das erzeugte Objekt „result1“ ist vom Typ „hclust“, beinhaltet daher alle Informationen, die bei einer hierarchischen Clusteranalyse berechnet werden. Es können auf Wunsch mehrere Attribute ausgegeben werden. Wird so ein Objekt mit dem „plot“-Befehl versehen, entsteht das Dendrogramm (Abbildung 22). Die Gruppen sollen nun so gewählt werden, dass sie untereinander homogen und zueinander heterogen sind. Der hier gewählte Kompromiss ist jener, der das Dendrogramm horizontal an der Stelle <math>3,1<h<4,2</math> schneidet und sechs Gruppen liefert. Dies wird durch die Funktion „cutree“ (Abbildung 21) erzeugt. Das Ergebnis der Gruppenzuordnung wird sodann unter „partition1“ abgespeichert.

JUNGBAUER Christoph am 17. Jänner 2022 um 14:48 Uhr

2022-01-17T14:48:37Z

Änderungen zeigen

JUNGBAUER Christoph am 17. Jänner 2022 um 14:45 Uhr

2022-01-17T14:45:47Z

Änderungen zeigen

← Nächstältere Version		Version vom 29. Jänner 2022, 10:55 Uhr
Zeile 28:		Zeile 28:
	Um Beobachtungseinheiten gruppieren zu können, muss zunächst festgestellt werden, wie ähnlich sich die einzelnen Beobachtungen sind. Es muss also ein Maß für die Ähnlichkeit zwischen je zwei Beobachtungen definiert werden. Analog kann man statt Ähnlichkeiten auch Distanzen zwischen je zwei Beobachtungen angeben, die sich zu den Ähnlichkeiten in umgekehrter Relation verhalten. Der Ausgangspunkt einer Clusteranalyse ist bei den meisten Softwarepaketen daher entweder die Datenmatrix oder eine daraus abgeleitete Ähnlichkeits- oder Distanzmatrix (Abbildung 15). Da Ähnlichkeits- und Distanzmaße nur eine unterschiedliche Sicht des selben Sachverhalts ist, werden in weiterer Folge nur Distanzmaße betrachtet.		Um Beobachtungseinheiten gruppieren zu können, muss zunächst festgestellt werden, wie ähnlich sich die einzelnen Beobachtungen sind. Es muss also ein Maß für die Ähnlichkeit zwischen je zwei Beobachtungen definiert werden. Analog kann man statt Ähnlichkeiten auch Distanzen zwischen je zwei Beobachtungen angeben, die sich zu den Ähnlichkeiten in umgekehrter Relation verhalten. Der Ausgangspunkt einer Clusteranalyse ist bei den meisten Softwarepaketen daher entweder die Datenmatrix oder eine daraus abgeleitete Ähnlichkeits- oder Distanzmatrix (Abbildung 15). Da Ähnlichkeits- und Distanzmaße nur eine unterschiedliche Sicht des selben Sachverhalts ist, werden in weiterer Folge nur Distanzmaße betrachtet.

			{\| style="border-collapse: collapse; height: 172px;" border="1"
			! style="height: 28px; width: 95.9144px;" \| Beob.-einheit
			! style="height: 28px; width: 59.6528px;" \| Merkmal
			! style="height: 28px; width: 46.4583px;" \|
			! style="height: 28px; width: 46.4583px;" \|
			! style="height: 28px; width: 59.6759px;" \|
			\|- style="height: 29px;"
			\| style="height: 29px; width: 95.9144px;" \|
			<br>
			\| style="height: 29px; width: 59.6528px;" \| <math>x_{1 2}</math>
			\| style="height: 29px; width: 46.4583px;" \| <math>X_2</math>
			\| style="height: 29px; width: 46.4583px;" \|
			<br>
			\| style="height: 29px; width: 59.6759px;" \| [<math>X_p</math>
			\|- style="height: 29px;"
			\| style="height: 29px; width: 95.9144px;" \| 1
			\| style="height: 29px; width: 59.6528px;" \| <math>x_{1 1}</math>
			\| style="height: 29px; width: 46.4583px;" \| <math>x_{2 1}</math>
			\| style="height: 29px; width: 46.4583px;" \| …
			\| style="height: 29px; width: 59.6759px;" \| <math>x_{p 1}</math>
			\|- style="height: 29px;"
			\| style="height: 29px; width: 95.9144px;" \| 2
			\| style="height: 29px; width: 59.6528px;" \| <math>x_{1 2}</math>
			\| style="height: 29px; width: 46.4583px;" \| <math>x_{2 2}</math>
			\| style="height: 29px; width: 46.4583px;" \| …
			\| style="height: 29px; width: 59.6759px;" \| <math>x_{p 2}</math>
			\|- style="height: 28px;"
			\| style="height: 28px; width: 95.9144px;" \| …
			\| style="height: 28px; width: 59.6528px;" \| …
			\| style="height: 28px; width: 46.4583px;" \| …
			\| style="height: 28px; width: 46.4583px;" \| …
			\| style="height: 28px; width: 59.6759px;" \| …
			\|- style="height: 29px;"
			\| style="height: 29px; width: 95.9144px;" \| N
			\| style="height: 29px; width: 59.6528px;" \| <math>x_{1 n}</math>
			\| style="height: 29px; width: 46.4583px;" \| <math>x_{2 n}</math>
			\| style="height: 29px; width: 46.4583px;" \| …
			\| style="height: 29px; width: 59.6759px;" \| <math>x_{p 2}</math>
			\|}
			{\| style="border-collapse: collapse; height: 170px;" border="1"
			! style="height: 57px; width: 51.1806px;" \| Beob.-einheit
			! style="height: 57px; width: 28.8773px;" \| 1
			! style="height: 57px; width: 28.8773px;" \| 2
			! style="height: 57px; width: 20.3009px;" \| …
			! style="height: 57px; width: 28.8889px;" \| n
			\|- style="height: 28px;"
			\| style="height: 28px; width: 51.1806px;" \| 1
			\| style="height: 28px; width: 28.8773px;" \| <math>d_{1 2}</math>
			\| style="height: 28px; width: 28.8773px;" \| <math>d_{2 1}</math>
			\| style="height: 28px; width: 20.3009px;" \| …
			\| style="height: 28px; width: 28.8889px;" \| <math>d_{n 1}</math>
			\|- style="height: 28px;"
			\| style="height: 28px; width: 51.1806px;" \| 2
			\| style="height: 28px; width: 28.8773px;" \| <math>d_{1 2}</math>
			\| style="height: 28px; width: 28.8773px;" \| <math>d_{2 2}</math>
			\| style="height: 28px; width: 20.3009px;" \| …
			\| style="height: 28px; width: 28.8889px;" \| <math>d_{n 2}</math>
			\|- style="height: 28px;"
			\| style="height: 28px; width: 51.1806px;" \| …
			\| style="height: 28px; width: 28.8773px;" \| …
			\| style="height: 28px; width: 28.8773px;" \| …
			\| style="height: 28px; width: 20.3009px;" \| …
			\| style="height: 28px; width: 28.8889px;" \| …
			\|- style="height: 29px;"
			\| style="height: 29px; width: 51.1806px;" \| n
			\| style="height: 29px; width: 28.8773px;" \| <math>d_{1 n}</math>
			\| style="height: 29px; width: 28.8773px;" \| <math>d_{2 n}</math>
			\| style="height: 29px; width: 20.3009px;" \| …
			\| style="height: 29px; width: 28.8889px;" \| <math>d_{p n}</math>
			\|}

	<span id="_Ref249872823" class="anchor"></span>		<span id="_Ref249872823" class="anchor"></span>