Einführung in Computational Intelligence und AI: Unterschied zwischen den Versionen

Version vom 10. September 2024, 18:05 Uhr (Quelltext anzeigen) SAFFER Zsolt (Diskussion \| Beiträge) (Die Seite wurde neu angelegt: „<div><span id="einführung-in-computational-intelligence-und-ai"></span></div><div>= Einführung in Computational Intelligence und AI =</div><div><br></div><div>Die Idee hinter der künstlichen Intelligenz, KI (Artificial Intelligence - AI), bestand darin, die Prozesse der menschlichen Wahrnehmung wie Denken, Lernen oder Mustererkennung (pattern recognition) nachzubilden. Das Erscheinen der KI in der akademischen Welt begann mit der Simulation…“)		Version vom 10. September 2024, 18:16 Uhr (Quelltext anzeigen) SAFFER Zsolt (Diskussion \| Beiträge) (Die Seite wurde geleert.) Markierung: Geleert Zum nächsten Versionsunterschied →
Zeile 1:		Zeile 1:
	<div><span id="einführung-in-computational-intelligence-und-ai"></span></div><div>= Einführung in Computational Intelligence und AI =</div><div><br></div><div>Die Idee hinter der künstlichen Intelligenz, KI (Artificial Intelligence - AI), bestand darin, die Prozesse der menschlichen Wahrnehmung wie Denken, Lernen oder Mustererkennung (pattern recognition) nachzubilden. Das Erscheinen der KI in der akademischen Welt begann mit der Simulation des Verhaltens neuronaler Netze bei IBM im Jahr 1955. Dies führte zu einer Konferenz zu diesem Thema, die heute als Dartmouth-Konferenz bekannt ist und als Geburtsstunde der künstlichen Intelligenz gilt.</div><div><br></div><div>Die Geschichte der KI als akademische Disziplin hat einen langen, weitreichenden und abenteuerlichen Weg zurückgelegt, der optimistische und zweifelhafte, verrufene Phasen durchquerte und durch viele wissenschaftliche Bereiche führte. Es begann mit dem Studium der ,,formalen“Argumentation, das unter anderem zu Alan Turings Berechnungstheorie oder zur Programmiersprache Lisp sowie zum kommerziellen Erfolg von Expertensystemen (Abbildung [[#fig:Expert_System\|1]]) in den frühen 1980er Jahren führte. Es folgte eine eher zweifelhafte Zeitraum, während andere Ansätze wuchsen, wie z.B. Bewegen von technischen Maschinen.</div><div><br></div><div><div id="fig:Expert_System" class="figure"></div><div><br></div><div>[[File:./figs/Expert_System.pdf]]</div><div><br></div><div></div></div><div>Mit der rasanten Entwicklung der Rechengeschwindigkeit und -fähigkeiten der Computer entstanden spätestens in den 1990er Jahren rechenintensive Zweige der KI. Computational Intelligence (CI) umfasst die biologisch motivierten Bereiche der Informationsverarbeitung, wie z.B. evolutionäre Algorithmen.</div><div><br></div><div>Maschinelles Lernen (Machine Learning - ML) ist ein umfassender Zweig der KI, der viele rechenintensive Teilbereiche umfasst. Eine davon ist die auf statistischen Ansätzen basierende Mustererkennung, die Ende der 1990er Jahre zu einem großen kommerziellen Erfolg bei Befehls- und Kontrollsystemen (Command&Control Systems), Spracherkennungssystemen mit großem Vokabular (Large Vocabulary Speech Recognition Systems - LVSRS) und ihren Anwendungen in Callcentern und in der Radiologie führte. Diese technologische Ansätze haben sich in den 2000er Jahren abgeflacht, als sie die Rahmen des angewandten statistischen Ansatzes ausgeschöpft haben..</div><div><br></div><div><div id="fig:LVSRS" class="figure"></div><div><br></div><div>[[File:./figs/LVSRS.pdf]]</div><div><br></div><div></div></div><div>Mittlerweile führte die Entwicklung von Ideen zur Wissensdarstellung zu fortgeschritteneren Ansätzen wie Ontologie oder Wissensgraphen, WG (Knowledge Graph - KG).</div><div><br></div><div>Die wichtigste Entwicklung war jedoch die Wiederbelebung der neuronalen Netzwerkforschung, die zu vielen erfolgreichen Anwendungen führte, wie z.B. Erkennung handgeschriebener Ziffern (handwritten digit recognition). Der eigentliche Durchbruch bei der Verwendung neuronaler Netze (Neural Networks - NNs) kam mit Deep Learning, das erfolgreich auf die Klassifizierung großer Datenmengen angewendet werden kann, wie z.B. Bilder. Der Erfolg von Deep Learning führte zu einem enormen Anstieg des Interesses an und der Finanzierung von KI. Deep Reinforcement Learning ermöglicht die erfolgreiche Umsetzung automatischer Steuerungsaufgaben. Die Abbildung [[#fig:AI_subsets\|3]] zeigt mehrere funktionale Teilmengen der KI und ihre Beziehung zueinander.</div><div><br></div><div><div id="fig:AI_subsets" class="figure"></div><div><br></div><div>[[File:./figs/AI_subsets.jpg]]</div><div><br></div><div></div></div><div>Die jüngste Entwicklung im Bereich der KI ist die Anwendung spezifischer großer Sprachmodelle (Large Language Model) und fortschrittlicher Techniken wie beispielweise generatives Transformer (generative transformer), die zu Produkten führen, wie z. B. ChatGPT 3.5.</div><div><br></div><div>Im Wesentlichen soll KI die unterschiedlichen Fähigkeiten der menschlichen Intelligenz umsetzen. Dazu gehören Lernen, Wahrnehmung, logisches Denken, Abstraktion sowie komplexere Fähigkeiten wie z.B. Zusammenfassung, Kontrolle, Aufgabenlösungsfähigkeiten und vieles mehr. Eines der langfristigen Ziele ist die Schaffung einer allgemeinen Intelligenz, der sogenannten Künstlichen Allgemeinen Intelligenz (Artificial General Intelligence - AGI), die eine Vielzahl von Problemen ähnlich der menschlichen Intelligenz lösen könnte.</div><div><br></div><div>Raymond Kurzweil, Pionier unter anderen der optischen Texterkennung, (auch optische Zeichenerkennung genannt, Optical Character Recognition - OCR),<br /></div><div>Sprachsynthese (speech synthesis), Spracherkennung, ein Visionär der künstlichen Intelligenz hat vorhergesagt, dass (einfach formuliert) spätestens im Jahr 2029 die KI Systeme klüger sein werden als das Mensch. Kritiker sagen, dass in der Richtung der Entwicklung zukünftiger Technologien er wahrscheinlich Recht hat, aber die prognostizierte Zeitspanne stimmt nicht, er ist zu optimistisch.</div><div><br></div><div>KI ist eine unvermeidliche zukünftige Entwicklungsrichtung und eine der Kernfachgebiete der Wissenschaftsfeld Data Science.</div><div><br></div><div><span id="grundlagen-von-computational-intelligence-und-ai"></span></div><div>== Grundlagen von Computational Intelligence und AI ==</div><div><br></div><div>Es gibt keine Einheitliche Definition von KI. Eine mögliche ausdrucksvolle Definition kann wie folgt angegeben werden: KI ist das Teilgebiet der Informatik, das sich mit Entwicklung und Untersuchung von intelligenten Maschinen beschäftigt. Allerdings unter KI ist auch die ,,intelligente Maschine“ selbst zu verstehen.</div><div><br></div><div><span id="mathematische-grundkonzepte-von-ki"></span></div><div>=== Mathematische Grundkonzepte von KI ===</div><div><br></div><div>Die Ziele von KI sind Teilmenge möglicher Arten menschlicher intelligenter Aktivitäten zu implementieren. Dazu gehört Argumentation (reasoning), Planung (planning), Wissensrepräsentation (knowledge representation), Lernen (learning), Wahrnehmung (perception), Unterstützung für Robotik (support for robotics) und Verarbeitung natürlicher Sprache (natural language processing).</div><div><br></div><div>Im Folgenden geben wir eine kurze mathematische Beschreibung einiger ausgewählten grundlegender Konzepte der KI. Das beinhaltet</div><div><br></div><div># Wissensrepräsentation,</div><div># Linear regression,</div><div># Klassifikation - lineare Diskriminanzfunktionen,</div><div># Lernen aus Beispiele und</div><div># Learning durch Steuereung - MDP.</div><div><br></div><div><span>'''''<math display="inline">\mathrm{\ \ \ \ }</math> Wissensrepräsentation'''''</span></div><div><br></div><div><span>''<math display="inline">\mathrm{\ \ \ \ \ \ }</math> Sprachmodellierung''</span></div><div><br></div><div>Die Darstellung von Wissen auf Wortebene kann durch ein probabilistisches Modell natürlicher Sprache realisiert werden, das als Sprachmodell (Language Model - LM) bezeichnet wird. Normalerweise wird ein LM verwendet, um die Wahrscheinlichkeit einer bestimmten Wortfolge <math display="inline">w_1,w_2,...,w_n</math> abzuschätzen. Die Wahrscheinlichkeit <math display="inline">p(w_1,w_2,...,w_n)</math> kann als Produkt der bedingten Wahrscheinlichkeiten als</div><div><br></div><div><math display="block">p(w_1,w_2,...,w_n) =p(w_1)p(w_2\|w_1)...p(w_n\|w_{n-1},...,w_2,w_1)</math></div><div><br></div><div>angegeben werden. Im N-Gram-Sprachmodell (N-gram LM) wird angenommen, dass das Wort <math display="inline">w_n</math> einer Wortfolge, in der bedingten Wahrscheinlichkeit <math display="inline">p(w_n\|w_{n-1},...,w_2,w_1)</math> näherungsweise nur von <math display="inline">(N-1)</math> Vorgengewörtern abhangig ist. Für <math display="inline">N=1</math>, <math display="inline">N=2</math> und <math display="inline">N=3</math> wird das N-Gram Sprachmodell als Unigram-Sprachmodell, Bigram-Sprachmodell bzw. Trigram-Sprachmodell genannt. Im<br /></div><div>Bigram-Sprachmodell is est angenommen, dass das Wort <math display="inline">w_n</math> nur vom Vorgängewort <math display="inline">w_{i-1}</math> abhängt: <math display="block">p(w_n\|w_{n-1},...,w_2,w_1) \approx p(w_n\|w_{n-1}).</math> In ähnlicher Weise wird in Trigram-Sprachmodell angenommen dass das Wort <math display="inline">w_n</math> einer Wortfolge nur von zwei Vorgängewörtern abhängig wird: <math display="block">p(w_n\|w_{n-1},...,w_2,w_1) \approx p(w_n\|w_{n-1},w_{n-2}).</math></div><div><br></div><div>Die bedingten Wahrscheinlichkeiten <math display="inline">p(w_i\|w_{i-1},w_{i-2},...,w_{i-N+1})</math> eines N-Gram Sprachmodells können aus den relativen Häufigkeiten als</div><div><br></div><div><math display="block">\begin{aligned}</div><div>p(w_i\|w_{i-1},w_{i-2},...,w_{i-N+1}) &= \frac{p(w_{i},w_{i-1},...,w_{i-N+1})}{p(w_{i-1},w_{i-2},...,w_{i-N+1})}  \\</div><div>&\approx \frac{c(w_{i},w_{i-1},...,w_{i-N+1})}{c(w_{i-1},w_{i-2},...,w_{i-N+1})}</div><div>\end{aligned}</math></div><div><br></div><div>geschätzt werden, wobei <math display="inline">c(x_1,\ldots,x_k)</math> für die Anzahl der Vorkommen der Zeichenfolge <math display="inline">x_1,\ldots,x_k</math> steht, die auch als count von <math display="inline">x</math> bezeichnet wird. Entsprechend wird <math display="inline">w_{i},w_{i-1},...,w_{i-N+1}</math> und die count <math display="inline">c(w_{i},w_{i-1},...,w_{i-N+1})</math> als N-Gram bzw. N-Gram-count bezeichnet. Die bedingten Wahrscheinlichkeiten<br /></div><div><math display="inline">p(w_i\|w_{i-1},w_{i-2},...,w_{i-N+1})</math> eines N-Gram Sprachmodells werden als N-Gram Wahrscheinlichkeiten bezeichnet.</div><div><br></div><div>Das N-Gram Sprachmodell ist ein rein statistisches Sprachmodell (statistical LM - SLM), da es auf N-Gram-Statistiken der Trainingskorpora (wie N-Gram-count) trainiert wird. Zuverlässige Schätzungen der bedingten Wahrscheinlichkeiten des N-Gram Sprachmodells <math display="inline">p(w_i\|w_{i-1},w_{i-2},...,w_{i-N+1})</math> erfordern das Auftreten der entsprechenden N-Grams und (N-1)-Grams in den Trainingskorpora. Das Vorhandensein aller N-Grams und (N-1)-Grams in den Trainingskorpora ist jedoch praktisch nicht möglich, da hierfür ein sehr großer Trainingskorpus erforderlich wäre, um alle <math display="inline">\|V\|^N</math> mögliche N-Grams in den Trainingskorpora vorkommen haben. So große Trainingskorpora sind normalerweise nicht verfügbar. Die unsichtbaren N-Grams führen zu fehlenden Schätzungen, da der SLM den N-Grams, die nicht im Trainingskorpus erscheinen, keine Wahrscheinlichkeit zuordnen kann. Dieses Problem wird normalerweise durch die Anwendung von Glättung (smoothing) gelöst, bei denen ein kleiner Teil des Wahrscheinlichkeitsmaßes auf die unsichtbaren Grams aufgeteilt wird.</div><div><br></div><div>Die effektivste Glättungsmethode ist die Kneser-Ney-Glättung, bei der ein fester Rabattwert, <math display="inline">\delta</math>, von der Schätzung der bedingten Bigram-Wahrscheinlichkeiten mit niedrigeren Häufigkeiten abgezogen wird und werden die so gewonnenen Wahrscheinlichkeiten über alle nicht erscheinenden N-Gram Wahrscheinlichkeiten verteilt werden. Die Berechnungsformel der Bigram-Wahrscheinlichkeiten lautet:</div><div><br></div><div><math display="block">\begin{aligned}</div><div>&p_{KN}(w_i\|w_{i-1}) = \frac{max(c(w_{i-1},w_i)-\delta,0)}{\sum_{w_j} c(w_{i-1},w_j)} + \lambda_{w_{i-1}}p_{KN}(w_i)  \mathrm{~and~} \\  &p_{KN}(w_i) = \frac{\|{w_j: 0 < c(w_j,w_i)}\|}{\|{(w_j,w_k): 0 < c(w_j,w_k)}\|}.</div><div>\end{aligned}</math></div><div><br></div><div>Hier ist <math display="inline">\lambda_{w_{i-1}}</math> eine Normalisierungskonstante, die so eingestellt ist, dass die Summe von <math display="inline">p_{KN}(w_i\|w_{i_1})</math> über alle <math display="inline">w_i</math> gleich eins ist. Die unsichtbaren Bigram-Wahrscheinlichkeiten werden durch den ungewöhnlichen Term <math display="inline">p_{KN}(w_i)</math> bestimmt, der eine Schätzung für eine unsichtbare Bigram-Wahrscheinlichkeit aus anderen Bigram-counts verbunden mit <math display="inline">w_i</math> realisiert. Genauer gesagt es ist die Bigram-count anderer Wörter <math display="inline">w_j</math> gesehen mit dem betrachteten Wort <math display="inline">w_i</math> dividiert durch die Summe der gesehenen Bigram-counts dieser <math display="inline">w_j</math>-s mit anderen Wörtern.</div><div><br></div><div><span>''<math display="inline">\mathrm{\ \ \ \ \ \ }</math> Fortgeschrittene Sprachmodelle''</span></div><div><br></div><div>Die Auswirkung der jüngsten Entwicklung von NN auf andere KI-Konzepte führte zu modernen KI-Modellkombinationen. Die beiden wichtigsten sind vielleicht die neuronale Sprachmodellierung und das große Sprachmodelle.</div><div><br></div><div>Neuronale Sprachmodelle (Neural LM - NLM) sind Sprachmodelle, die auf rekurrentes NN basieren. Sie werden auch als kontinuierlicher Raum-Sprachmodelle (continuous space LMs) bezeichnet. Sie transformieren die Sprachmodell Darstellung von Wörtern durch Einbettung in einen kontinuierlichen niedrigdimensionalen Vektorraum, den sogenannten Embedding Space. Dies hat den Vorteil, dass die semantisch ähnlichen Einheiten im Einbettungsraum näher beieinander liegen. Solche Einheiten können Korpusteile, Sätze, Wortteile oder Zeichen sein. Durch dieser Beziehungen können Sollche Sprachmodelle die unsichtbaren Grams gut abschätzen und daher mit dem Problem von unsichtbaren Grams von SLMs gut umgehen. Darüber hinaus stellen NLMs die Wörter als nichtlineare Kombinationen von Gewichten in einem neuronalen Netz dar [@Bengio08]. Die NLMs können entweder als nicht-kontextuelle Einbettungen (Non-contextual Embeddings) oder als kontextuelle Einbettungen (Contextual Embeddings) kategorisiert werden. Nicht-kontextuelle Einbettungen wenden dieselben Einbettungen für eine bestimmte semantische Einheit an, unabhängig vom gegebenen Kontext. Beispiele für nicht-kontextuelle Einbettungen sind Word2Vec oder Wikipedia2Vec . Im Gegensatz dazu können kontextuelle Einbettungen unterschiedliche Semantiken der semantischen Einheiten in unterschiedlichen Kontexten darstellen. Beispiele für kontextuelle Einbettungen sind die von Google  eingeführten BERT (Bidirectional Encoder Representations from Transformers) oder Sentence-BERT (SBERT), eine verfeinerte Version von BERT. Das Transformer (transformer model) ist eine spezifische NN-Architektur, die von Vaswani et al. eingeführt wurde. </div><div><br></div><div>Große Sprachmodelle (Large Language Models - LLM) sind Transformers-basierte LMs, die durch selbstüberwachtes Lernen vorab trainiert werden. LLMs lernen Milliarden von Parametern während des Trainings und benötigen große Rechenressourcen sowohl für das Training als auch während des Betriebs. Sie scheinen ein allgemeines Sprachverständnis erreichen zu können und können Antworten in Form von menschenähnlichem Text generieren. Diese LLMs werden in generativen KI-Systemen eingesetzt. Aktuelle Versionen können bestimmte Aufgaben mittels Promt Engineering erledigen. Promt Engineering ermöglicht eine Gestaltung von Eingaben für das System mittels Eingabeaufforderungen (promts), die vom LLM interpretiert werden können, und dadurch wird das Aufmerksamkeitsmechanismus des Modells auf das nähere Einschränken der Aufgabe gesteuert. Die bekanntesten Beispiele sind das GPT-3.5- und GPT-4-Modell von Open AI (verwendet in ChatGPT) und Googles PaLM (verwendet in Bard).</div><div><br></div><div><span>''<math display="inline">\mathrm{\ \ \ \ \ \ }</math> Auf semantischen Relationen basierende Wissensrepräsentationen''</span></div><div><br></div><div>Neben LMs gibt es noch andere Möglichkeiten der Wissensrepräsentation</div><div><br></div><div>* Semantisches Netzwerk (Semantic network) – ein Diagramm, das semantische Relationen zwischen Konzepten darstellt. Die Konzepte werden durch die Knoten repräsentiert und die Kanten spezifizieren die semantischen Relationen Ein Grund für den Entwurf semantischer Netzwerke besteht darin, Wissen in maschinenlesbarer Form darzustellen. Wissensgraphen sind semantische Netzwerke mit begrenzten semantischen Relationen.</div><div>* Ontology (ontology) – hierarchische Darstellung von Konzepten und ihren Relationen, die durch eine Standard-Ontologiesprache (standard ontology language) wie Web Ontology Language (OWL, [https://en.wikipedia.org/wiki/Web_Ontology_Language Web Ontology Language]) oder Resource Description Framework (RDF, [https://en.wikipedia.org/wiki/Resource_Description_Framework Resource Description Framework]) verwaltet werden kann.</div><div><br></div><div><span>'''''<math display="inline">\mathrm{\ \ \ \ }</math> Lineare Regression mit MSE-Framework'''''</span></div><div><br></div><div>Die Aufgabe der linearen Regression (linear regression) besteht darin, eine lineare Vorhersage für die zufällige skalare Ausgabe <math display="inline">y \in \mathbb{R}</math> aus dem zufälligen Eingabevektor <math display="inline">{\bf x}</math> zu geben. Sei <math display="inline">\hat{y}</math> der vorhergesagte Wert von <math display="inline">y</math>. Es wird angenommen, dass <math display="inline">y</math> linear vom Vektor <math display="inline">{\bf x}</math> abhängt, daher kann der vorhergesagte Wert <math display="inline">\hat{y}</math> als Linearkombination von <math display="inline">{\bf x}</math> als <math display="inline">\hat{y}= w_1x_1 + \ldots + w_nx_n</math> angegeben werden. Mit anderen Worten, in Vektorform gilt</div><div><br></div><div><math display="block">\hat{y}= {\bf w}^T {\bf x},</math></div><div><br></div><div>wobei <math display="inline">{\bf w} = (w_1,\ldots,w_n)^T</math> ein Spaltenvektor von Parametern ist. Hier steht <math display="inline">^T</math> für die Transponieren und die Vektoren sind standardmäßig Spaltenvektoren.</div><div><br></div><div>Die Parameter <math display="inline">w_i</math> können als Gewichte angesehen werden. Wenn der Eingabewert <math display="inline">x_i</math> ein positives Gewicht hat, erhöht eine Erhöhung von <math display="inline">x_i</math> auch den vorhergesagten Wert <math display="inline">\hat{y}</math>. Wenn <math display="inline">x_i</math> ein negatives Gewicht hat, verringert eine Erhöhung von <math display="inline">x_i</math> den vorhergesagten Wert <math display="inline">\hat{y}</math>. Wenn <math display="inline">w_i</math> ein großer Wert ist, dann hat <math display="inline">x_i</math> einen großen Einfluss auf <math display="inline">\hat{y}</math>. Wenn <math display="inline">w_i=0</math>, dann hat <math display="inline">x_i</math> keinen Einfluss auf <math display="inline">\hat{y}</math>.</div><div><br></div><div>Nehmen wir an, dass <math display="inline">K</math> Beispiele des Vektors <math display="inline">{\bf x}</math> und der korrekte Wert der Ausgabe <math display="inline">y</math> für jeden von ihnen angegeben sind. Wir ordnen die Eingabevektoren in einer Matrix <math display="inline">{\bf X}</math> so an, dass der Vektor <math display="inline">{\bf x}_k^T</math> in der <math display="inline">k</math>-ten Zeile der Matrix <math display="inline">{\bf X}</math> platziert wird, <math display="inline">k=1,\ldots,K</math>. Die Ausgabewerte und die vorhergesagten Werte werden ebenfalls in einem Spaltenvektor <math display="inline">{\bf y}</math> und <math display="inline">{\bf \hat{y}}</math> angeordnet, sodass der korrekte Wert <math display="inline">y_k</math> und der vorhergesagte Wert <math display="inline">\hat {y}_k</math>, das zum Eingabevektor <math display="inline">{\bf x}_k</math> gehört, kommt an die <math display="inline">k</math>-te Position jeweils im Vektor <math display="inline">{\bf y}</math> und <math display="inline">{\bf \hat{y}}</math>.</div><div><br></div><div>Die Aufgabe, die Gewichte zu finden kann als Optimierungsaufgabe aufgestellt werden. Diese Optimierungsaufgabe wird durch das Extremum eines Leistungsmaßes, das die Qualität der Vorhersage quantifiziert, angegeben werden.</div><div><br></div><div><span>''<math display="inline">\mathrm{\ \ \ \ \ \ }</math> Lineare Regression mit mittlerer quadratischen Abweichung''</span></div><div><br></div><div>Eine mögliche Wahl um die Qualität der Vorhersage zu quantifizieren, ist die mittlere quadratische Abweichung, MQA (mean squared error - MSE), die auch als mittlere quadratische Fehler (MQF) genannt ist. Die MSE wird durch</div><div><br></div><div><math display="block">MSE = \frac{1}{K} \sum_{k} ({\hat{y}}_k - y_k)^2 = \frac{1}{K} \lVert {\bf \hat{y}} - {\bf y} \rVert_2^2</math></div><div><br></div><div>gegeben, wobei <math display="inline">\lVert {\bf  z} \rVert_2</math> für die <math display="inline">\mathbb{L}_2</math>-Norm von <math display="inline">z</math> steht.</div><div><br></div><div>Der optimale Wert des Parametervektors <math display="inline">{\bf w}</math> wird durch Minimieren des MSE erhalten. Die notwendige Bedingung für ein lokales Minimum von MSE ist die Existenz eines Wertes des Parametervektors <math display="inline">{\bf w}</math>, für den der Gradient von MSE 0 ist. Es kann gezeigt werden, dass in unserem Fall MSE als Funktion von <math display="inline">{\bf w}</math> eine konvexe Funktion ist, und daher gibt es nur einen solchen Wert von <math display="inline">{\bf w}</math> und daher ist es auch der globale Minimalpunkt. So wird der beste Wert des Parametervektors <math display="inline">{\bf w}</math> durch Lösen der Gleichung</div><div><br></div><div><math display="block">\nabla_{{\bf w}} MSE = \nabla_{{\bf w}} \left( \frac{1}{K} \lVert {\bf \hat{y}} - {\bf y} \rVert_2^2 \right) = 0</math></div><div><br></div><div>erhalten, wobei <math display="inline">\nabla_{{\bf w}}</math> für den Gradienten bezüglich <math display="inline">{\bf w}</math> steht. Die vorhergesagten Ausgaben können in Vektormatrixform als <math display="inline">{\bf \hat{y}} = {\bf X}{\bf w}</math> angegeben werden. Wenn man es in der obigen Beziehung anwendet, erhält man die Gleichung für <math display="inline">{\bf w}</math> als</div><div><br></div><div><math display="block">\nabla_{{\bf w}} MSE = \nabla_{{\bf w}} \left( \frac{1}{K} \lVert {\bf X}{\bf w}  - {\bf y} \rVert_2^2 \right) = 0.</math></div><div><br></div><div>Wenn wir die Konstante <math display="inline">\frac{1}{K}</math> weglassen, den Gradienten auswerten und mehrere Umordnungen durchführen, erhalten wir</div><div><br></div><div><math display="block">\begin{aligned}</div><div>\nabla_{{\bf w}} \left( \lVert {\bf X}{\bf w}  - {\bf y} \rVert_2^2 \right) &= \nabla_{{\bf w}} \left({\bf X}{\bf w}  - {\bf y} \right)^T \left({\bf X}{\bf w}  - {\bf y} \right) \\</div><div>&= \nabla_{{\bf w}} \left( {\bf w}^T {\bf X}^T{\bf X}{\bf w} - 2  {\bf w}^T {\bf X}^T {\bf y} +  {\bf y}^T  {\bf y}\right) </div><div>= 2 {\bf X}^T{\bf X}{\bf w} - 2 {\bf X}^T {\bf y} = 0, \nonumber</div><div>\end{aligned}</math></div><div><br></div><div>wobei wir in der zweiten Gleichung verwendet haben, dass <math display="inline">{\bf y}^T {\bf X} {\bf w} = {\bf w}^T {\bf X}^T {\bf y}</math>, da <math display="inline">{\bf y}^T {\bf X} {\bf w}</math> ein Skalar ist und entspricht daher seiner Transponierten. Zusätzlich haben wir in der letzten Gleichung verwendet, dass <math display="inline">\nabla_{{\bf w}}\left( {\bf w}^T {\bf X}^T{\bf X}{\bf w}\right)</math> kann als <math display="inline">2 {\bf X}^T{\bf X}{\bf w}</math> ausgewertet werden, da die Matrix <math display="inline">{\bf X}^T{\bf X}</math> symmetrisch ist.</div><div><br></div><div>Schließlich kann die Lösung für den Parametervektor <math display="inline">{\bf w}</math> aus der obigen Gleichung als <math display="block">{\bf w} = \left({\bf X}^T{\bf X}\right)^{-1} {\bf X}^T {\bf y}</math></div><div><br></div><div>ausgedrückt werden. Die Matrix <math display="inline">{\bf X}^T{\bf X}</math> ist quadratisch und daher im Prinzip invertierbar. Dennoch existiert die Inverse nur, wenn die Matrix <math display="inline">{\bf X}^T{\bf X}</math> nicht singulär ist, was normalerweise gilt, da die Matrix <math display="inline">{\bf X}</math> aus unabhängigen Eingabebeispielen erstellt wird.</div><div><br></div><div>Die obigen Gleichungen in Skalarform führen zu einem System linearer Gleichungen, die als Normalgleichungen bezeichnet werden.</div><div><br></div><div>Die lineare Regression wird auch für ein leicht erweitertes Vorhersagemodell verwendet, das durch</div><div><br></div><div><math display="block">\hat{y}= {\bf w}^T {\bf x} + b</math></div><div><br></div><div>angegeben wird. Hier wird der Skalar <math display="inline">b</math> Bias genannt und führt dazu, dass die durch die multivariate Funktion <math display="inline">\hat{y}({\bf w})</math> beschriebene Hyperebene nicht durch den Ursprung verläuft. Dieser erweiterte Fall kann auf den Basisfall zurückgeführt werden, indem die erweiterten Vektoren <math display="inline">{{\bf x}^}^T = ({\bf x}, 1)^T</math> und <math display="inline">{{\bf w}^}^T = ({\bf w}, b)^T</math> eingeführt werden, was eine äquivalente Beschreibung ergibt.</div><div><br></div><div><math display="block">\hat{y}= {\bf w}^{T} {\bf x}^.</math></div><div><br></div><div><span>''<math display="inline">\mathrm{\ \ \ \ \ \ }</math> Verbindung zwischen linearen Regression mit MSE und Maximum-Likelihood-Schätzung''</span></div><div><br></div><div>Sei <math display="inline">{\bf z} = (z_1,\ldots,z_M)</math> eine Folge von Stichproben aus der Grundgesamtheit, die unabhängige Stichproben ergeben. Jede Stichprobe wird durch derselbe Zufallsvariable <math display="inline">Z</math> mit einer Likelihood-Funktion (likelihood function) <math display="inline">p({\bf z}\|{\boldsymbol{\theta}})</math> aus einer bekannten Verteilungsfamilie mit unbekanntem Parametervektor <math display="inline">{\boldsymbol{\theta}}</math> erzeugt. Die Likelihood-Funktion entspricht der Wahrscheinlichkeitsfunktion (probability mass function - pmf) und der Wahrscheinlichkeitsdichtefunktion (probability density function - pdf) mit dem Parametervektor als Variable, für diskrete bzw. stetige Verteilung. Die Maximum-Likelihood-Schätzung, kurz ML-Schätzung (Maximum Likelihood Estimation - ML estimation or MLE) des Parametervektors <math display="inline">{\bf \theta}</math> ist der Wert, der die Wahrscheinlichkeit der beobachteten Stichprobenfolge maximiert. Mit anderen Worten</div><div><br></div><div><math display="block">{\boldsymbol{\theta}}_{ML} = \arg \max_{{\boldsymbol{\theta}}} p({\bf z}\|{\boldsymbol{\theta}}) =  \arg \max_{{\boldsymbol{\theta}}} p(z_1,\ldots,z_M\|{\boldsymbol{\theta}}) = \arg \max_{{\boldsymbol{\theta}}} \prod_{m=1}^{M} p(z_m\|{\boldsymbol{\theta}}),</math></div><div><br></div><div>wobei wir verwendet haben, dass die Ziehungen aus der Grundgesamtheit unabhängig von einander sind und die Stichproben werden von derselben Zufallsvariablen <math display="inline">Z</math> erzeugt.</div><div><br></div><div>Das Produkt mit mehreren Likelihood (likelihood) kann zu numerischen Problemen führen, z. B. numerischer Unterlauf. Daher ist es üblich, anstelle der Likelihood den Logarithmus der Likelihood zu verwenden. Diese Änderung führt zu keiner Änderung von argmax und max, da die Logarithmusfunktion monoton ist. Dies ergibt die übliche Form der ML-Schätzung des Parametervektors <math display="inline">{\bf \theta}</math> als <math display="block">{\boldsymbol{\theta}}_{ML} = \arg \max_{{\boldsymbol{\theta}}} \log\left( \prod_{m=1}^{M} p(z_m\|{\boldsymbol{\theta}})\right) = \arg \max_{{\boldsymbol{\theta}}}\sum_{m=1}^{M} \log~ p(z_m\|{\boldsymbol{\theta}}).</math></div><div><br></div><div>Wenn man das MLE-Prinzip auf eine bedingte pmf or pdf <math display="inline">p(y\|{\bf x})</math> anwendet, dann wird die bedingte Likelihood-Funktion aus einer bekannten Verteilungsfamilie mit unbekanntem Parametervektor zu <math display="inline">{\boldsymbol{\theta}}</math> zu <math display="inline">p(y\|{\bf x}, {\boldsymbol{\theta}})</math>. Somit ist die ML-Schätzung des Parametervektors <math display="inline">{\bf \theta}</math> wird für diesen Fall durch</div><div><br></div><div><math display="block">{\boldsymbol{\theta}}_{ML} = \arg \max_{{\boldsymbol{\theta}}}\sum_{k=1}^{K} \log~ p(y_k\|{\bf x}_k, {\boldsymbol{\theta}})</math></div><div><br></div><div>gegeben.</div><div><br></div><div>Jetzt wählen wir die Normalverteilung als bekannte Verteilungsfamilie und legen den Mittelwert der Verteilung auf den vorhergesagten Ausgabewert <math display="inline">\hat{y}</math> und die Varianz der Verteilung auf einen festen Wert <math display="inline">\sigma^2</math> fest. Dann wird die Likelihood-Funktion, die in diesem Fall ein bedingtes pdf ist, zu <math display="inline">p(y\|{\bf x},{\boldsymbol{\theta}}) = N(y\| \hat{y}({\bf x},{ \bf w}),\sigma^2)</math>, wobei <math display="inline">N(y\|\mu,\sigma^2)</math> für das pdf der Normalverteilung mit Mittelwert <math display="inline">\mu</math> und Varianz <math display="inline">\sigma^2</math> steht. Durch Anwendung der Formel des pdf der Normalverteilung <math display="inline">N(y\|\mu,\sigma^2)= \frac{1}{\sqrt{2 \pi \sigma^2}}exp\left(-\frac{ 1}{2} \frac{(y-\mu)^2}{\sigma^2} \right)</math> erhalten wir für die ML-Schätzung der vorhergesagten Ausgabewerte <math display="inline">{\bf \hat{y}}</math> als</div><div><br></div><div><math display="block">\begin{aligned}</div><div>{\bf \hat{y}} &= \arg \max_{\bf \hat{y}}\sum_{k=1}^{K} \log~ N(y_k\| \hat{y_k}({\bf x_k},{\bf w}),\sigma^2) \\</div><div>&=  \arg \max_{\bf \hat{y}}\sum_{k=1}^{K} \log\left(\frac{1}{\sqrt{2 \pi \sigma^2}}exp\left(-\frac{1}{2} \frac{(y_k-\hat{y_k})^2}{\sigma^2} \right)\right)  \\</div><div>&= \arg \max_{\bf \hat{y}} \left(-K \log(\sigma) -\frac{K}{2} \log(2 \pi) - \sum_{k=1}^{K} \frac{(y_k-\hat{y_k})^2}{2\sigma^2} \right) \\</div><div>&= \arg \max_{\bf \hat{y}} \left(-\sum_{k=1}^{K} (y_k-\hat{y_k})^2\right) </div><div>= \arg \min_{\bf \hat{y}} \sum_{k=1}^{K} (y_k-\hat{y_k})^2 =  \arg \min_{\bf \hat{y}} \lVert {\bf \hat{y}} - {\bf y} \rVert_2^2 \nonumber.</div><div>\end{aligned}</math></div><div><br></div><div>Angenommen, dass die lineare Beziehung zwischen <math display="inline">\hat{y}</math> und <math display="inline">{\bf x}</math> als <math display="inline">\hat{y} = {\bf w}^T{\bf x}</math> (oder äquivalent <math display="inline">{\bf \hat {y}} = {\bf X}{\bf w}</math>) steht, ergibt die oben aufgeführte Optimierung bezüglich <math display="inline">{\bf w}</math> die gleiche Schätzung für <math display="inline">{\bf w}</math> wie die Minimierung des MSE, was die Verwendung von MSE aufgrund der wünschenswerten statistischen Eigenschaften der ML-Schätzung rechtfertigt.</div><div><br></div><div><span>'''''<math display="inline">\mathrm{\ \ \ \ }</math> Klassifikation - lineare Diskriminanzfunktionen'''''</span></div><div><br></div><div><span>''<math display="inline">\mathrm{\ \ \ \ \ \ }</math> Allgemeine Diskriminanzfunktionen''</span></div><div><br></div><div>Eine allgemeine Möglichkeit, einen Klassifikator (classifier) darzustellen, besteht darin, ihn durch eine Menge von Diskriminanzfunktionen (discriminant functions) <math display="inline">d_i({\bf x})</math> für <math display="inline">i=1,\ldots,C</math> anzugeben. Der Klassifikator entscheidet, die Klasse <math display="inline">c_i</math> dem Feature Vektoren <math display="inline">{\bf x}</math> als Eingabe zuzuweisen, wenn <math display="block">d_i({\bf x}) > d_j({\bf x})   \mathrm{~für~alle~} j \neq i.</math></div><div><br></div><div>Also der Klassifikator entscheidet die Klasse mit dem höchsten Diskriminanzfunktionswert, was die Benennung Diskriminanzfunktion erklärt. Ein Beispiel für den Klassifikator ist der Klassifikator des minimalen Fehlerrates (minimum error-rate classifier). Sei <math display="inline">p(c_j\|{\bf x})</math>, <math display="inline">j=1,\ldots,C</math> die Wahrscheinlichkeit der Klasse <math display="inline">c_j</math>, gegeben der Feature Vector <math display="inline">{\bf x}</math>. Dann die Klasse <math display="inline">c_i</math> mit der höchsten <math display="inline">p(c_i\|{\bf x})</math> ist gleichzeitig auch die Klasse mit dem minimalen Fehlerrate <math display="inline">(1-p(c_i\|{\bf x}))</math>. Daher kann die Diskriminanzfunktion für den Klassifikator des minimalen Fehlerrates durch <math display="block">d_i({\bf x}) = p(c_i\|{\bf x})</math> angegeben werden. Dies kann weiter vereinfacht werden, indem verwendet wird, dass der Nenner von <math display="block">p(c_i\|{\bf x})= \frac{p({\bf x}\|c_i ) p(c_i)}{\sum_{j=1}^{C} p({\bf x}\|c_j ) p(c_j) }</math> unabhängib von <math display="inline">i</math> ist, was zu einer alternativen Diskriminanzfunktion als <math display="block">d_i({\bf x}) = p({\bf x}\|c_i ) p(c_i)</math> führt. Auf Diskriminanzfunktionen kann jede monotone Funktion angewendet werden, da sie die zur Maximalfunktion gehörende Klasse nicht verändert. Daher kann mit Hilfe der monotonen Funktion <math display="inline">\log()</math> as eine weitere Diskriminanzfunktion für den Klassifikator der minimalen Fehlerrate als <math display="block">d_i({\bf x}) = \log~ p({\bf x}\|c_i ) + log p(c_i))</math> definiert werden.</div><div><br></div><div>In diesem Fall definieren alle oben genannten unterschiedlichen Diskriminanzfunktionen dieselbe Entscheidungsregel (decision rule). Die Diskriminanzfunktionen unterteilen den Feature Space (Merkmalsraum) in disjunkte Entscheidungsregionen (decision regions) <math display="inline">{\mathcal{R}_1}, \ldots, {\mathcal{R}_C}</math>. Ein Feature Vektor (Merkmalsvektor) <math display="inline">{\bf x}</math> fällt in der Entscheidungsregion <math display="inline">{\mathcal{R}_i}</math>, wenn <math display="inline">d_i({\bf x}) > d_j({\bf x})</math> für jedes <math display="inline">j \neq i</math> gilt. Somit stellt die Entscheidungsregion <math display="inline">{\mathcal{R}_i}</math> die Menge der Feature Vektoren dar, für die der Klassifikator die Klasse <math display="inline">c_i</math> entscheidet. Die Entscheidungsregionen werden durch Entscheidungsgrenzen (decision boundaries) im <math display="inline">d</math>-dimensionalen Raum der Feature Vektoren getrennt.</div><div><br></div><div>Im Sonderfall eines Klassifikators mit zwei Klassen ist es üblich, statt <math display="inline">d_1({\bf x})</math> and <math display="inline">d_2({\bf x})</math> nur eine einzelne Diskriminanzfunktion</div><div><br></div><div><math display="block">d({\bf x}) = d_1({\bf x}) - d_2({\bf x})</math></div><div><br></div><div>zu verwenden. Daher wird die Entscheidungsregel zu</div><div><br></div><div><math display="block">\mathrm{~Entscheide~} c_1  \mathrm{~wenn~} d({\bf x}) > 0 ,  \mathrm{~sonst~} c_2.</math></div><div><br></div><div><span>''<math display="inline">\mathrm{\ \ \ \ \ \ }</math> Lineare Diskriminanzfunktionen''</span></div><div><br></div><div>Eine wichtige Klasse der Diskriminanzfunktionen sind die linearen Diskriminanzfunktionen (linear discriminant functions).</div><div><br></div><div>Lineare Diskriminanzfunktionen sind linear in den Komponenten des Feature Vektors <math display="inline">{\bf x} \in \mathbb{R}^d</math>. Daher können sie als Linearkombination der Komponenten von <math display="inline">{\bf x}</math> angegeben werden. Für den Fall eines Klassifikators mit zwei Klassen gibt es nur eine Diskriminanzfunktion, <math display="inline">d({\bf x}) = {\bf w}^T {\bf x} + w_0</math>. Die Klasse <math display="inline">c_1</math> wird entschieden, wenn <math display="inline">{\bf w}^T {\bf x}</math> den Schwellwert <math display="inline">-w_0</math> überschreitet, andernfalls die Klasse <math display="inline">c_2</math>.</div><div><br></div><div>Das Funktionsprinzip des linearen Klassifikators mit zwei Klassen und einem d-dimensionalen Feature Vektor ist in Abbildung w1 dargestellt.</div><div><br></div><div>Figure w1.</div><div><br></div><div>Betrachten wir zwei Feature Vektoren <math display="inline">{\bf x}_1</math> und <math display="inline">{\bf x}_2</math>, beide auf der Entscheidungsgrenze. Dann gilt <math display="inline">d({\bf x}_1) = d({\bf x}_2)</math>, was bedeutet: <math display="inline">{\bf w}^T {\bf x}_1 + w_0 = {\bf w} ^T {\bf x}_2 + w_0</math>, woraus</div><div><br></div><div><math display="block">{\bf w}^T \left({\bf x}_1 - {\bf x}_2\right) = 0.</math></div><div><br></div><div>Daraus folgt, dass <math display="inline">{\bf w}</math> senkrecht zu jedem auf der Entscheidungsgrenze liegenden Vektor steht und daher die Entscheidungsgrenze eine Hyperebene mit <math display="inline">{\bf w}</math> als Normalenvektor ist. Somit wird die Entscheidungsgrenze der linearen Diskriminanzfunktionen zu einer zusammenhängenden Entscheidungsfläche (decision surface).</div><div><br></div><div>Die Diskriminanzfunktion <math display="inline">d({\bf x})</math> hat einen starken Zusammenhang mit dem vorzeichenbehafteten Abstand des Vektors <math display="inline">{\bf x}</math> zur Hyperebene. Dieser vorzeichenbehaftete Abstand wird mit <math display="inline">r</math> bezeichnet. Dies kann man sehen, indem man <math display="inline">{\bf x}</math> als die Summe der Projektion des Vektors <math display="inline">{\bf x}</math> auf die Hyperebene <math display="inline">{\bf x}_p</math> und <math display="inline">r</math> mal des Einheitsvektors in der Richtung von Vektor <math display="inline">{\bf w}</math> ausdrückt:</div><div><br></div><div><math display="block">{\bf x} = {\bf x}_p + r \frac{{\bf w}}{\lVert {\bf w} \rVert}.</math></div><div><br></div><div><div id="fig:LinDiscrFuncHyperProp" class="figure"></div><div><br></div><div>[[File:./figs/LinDiscrFuncHyperProp.pdf]]</div><div><br></div><div></div></div><div>Wenn wir <math display="inline">0 = d({\bf x}_p) = {\bf w}^T {\bf x}_p + w_0</math>, für <math display="inline">d({\bf x})</math> verwenden, erhalten wir</div><div><br></div><div><math display="block">d({\bf x}) = {\bf w}^T {\bf x}_p + {\bf w}^T r \frac{{\bf w}}{\lVert {\bf w} \rVert} + w_0 = d({\bf x}_p) + r \frac{\lVert {\bf w} \rVert^2}{\lVert {\bf w} \rVert} = r \lVert {\bf w} \rVert,</math> aus denen <math display="block">r = \frac{d({\bf x})}{\lVert {\bf w} \rVert}.</math></div><div><br></div><div>Wenn <math display="inline">d({\bf x}) > 0</math>, dann ist <math display="inline">{\bf x} \in {\mathcal{R}_1}</math> und somit <math display="inline">{\bf w}^T{\bf x} > 0</math>. Dies impliziert, dass <math display="inline">{\bf w}</math> auf die gleiche Seite der Hyperebene zeigt wie <math display="inline">{\bf x}</math>, und daher zeigt der Normalenvektor <math display="inline">{\bf w}</math> in die Entscheidungsregion <math display="inline">{\mathcal{R }_1}</math>.</div><div><br></div><div>Der Abstand des Ursprungs zur Hyperebene beträgt <math display="inline">\frac{w_0}{\lVert {\bf w} \rVert}</math>, da <math display="inline">d({\bf 0})=w_0</math>. Der Ursprung liegt in der Entscheidungsregion <math display="inline">{\mathcal{R}_1}</math>, wenn <math display="inline">w_0 > 0</math> und in <math display="inline">{\mathcal{R}_2}</math>, wenn <math display="inline">w_0 < 0</math>. Wenn <math display="inline">w_0= 0</math>, dann verläuft die Hyperebene durch den Ursprung und die lineare Diskriminanzfunktion <math display="inline">d({\bf x})</math> hat eine homogene Form <math display="inline">d({\bf x})= {\bf w}^T {\bf x}</math>.</div><div><br></div><div>Die oben genannten Eigenschaften werden geometrisch in Abbildung [[#fig:LinDiscrFuncHyperProp\|4]]dargestellt.</div><div><br></div><div>Für den allgemeinen Fall eines Klassifikators mit <math display="inline">C</math>-Klassen werden die linearen Diskriminanzfunktionen wie folgt angegeben.</div><div><br></div><div><math display="block">d_i({\bf x}) = {\bf w}_i^T {\bf x} + w_{i0},</math></div><div><br></div><div>Die Entscheidungsregel ist dieselbe wie für die allgemeinen Diskriminanzfunktionen:</div><div><br></div><div><math display="block">\mathrm{~Entscheide~} c_i  \mathrm{~wenn~} d_i({\bf x}) > d_j({\bf x})   \mathrm{~für~alle~} j \neq i.</math></div><div><br></div><div>Wenn die Werte zweier oder mehrerer Diskriminanzfunktionen für ein bestimmtes <math display="inline">{\bf x}</math> gleich sind, was (wie in der Statistik) Bindungen genannt wird, ist die Entscheidung undefiniert. Der Klassifikator mit linearen Diskriminanzfunktionen <math display="inline">C</math> wird auch als lineare Maschine (linear machine) bezeichnet. Es unterteilt den d-dimensionalen Feature Space in <math display="inline">C</math> disjunkte Entscheidungsregionen. Für die Grenze zwischen zwei benachbarten Entscheidungsregionen <math display="inline">{\mathcal{R}_i}</math> und <math display="inline">{\mathcal{R}_j}</math> gilt <math display="inline">d_i({\bf x}) = d_j({\bf x})</math>, oder gleichwertig</div><div><br></div><div><math display="block">\left({\bf w}_i-{\bf w}_j\right)^T {\bf x} + \left(w_{i0}- w_{j0}\right) = 0.</math></div><div><br></div><div>Aus den Überlegungen zum Klassifikator mit zwei Klassen folgt, dass die betrachtete Entscheidungsgrenze eine Hyperebene mit dem Normalenvektor<br /></div><div><math display="inline">\left({\bf w}_i-{\bf w}_j\right)</math> ist. Darüber hinaus wird der vorzeichenbehaftete Abstand von <math display="inline">{\bf x}</math> zu dieser Hyperebene als <math display="inline">\frac{d_i({\bf x}) - d_j({\bf x})}{\lVert {\bf w}_i - {\bf w}_j \rVert}</math> angegeben. Diese Ausdrücke zeigen, dass in linearen Maschinen eher die Unterschiede der Gewichte wichtig sind, nicht die Gewichte selbst. Die Gesamtzahl der Hyperebenen kann kleiner sein als die mögliche Anzahl von Klassenpaaren, <math display="inline">\frac{C (C-1)}{2}</math>. Es kann gezeigt werden, dass die Entscheidungsregionen in <math display="inline">{\bf x}</math> konvex sind.</div><div><br></div><div>Verallgemeinerte lineare Diskriminanzfunktionen (generalized linear discriminant functions) sind in gewissen gegebenen Funktionen von <math display="inline">{\bf x}</math>, <math display="inline">h_i({\bf x})</math> linear und haben die Form</div><div><br></div><div><math display="block">d({\bf x}) = \sum_{i=1}^{d} a_i h_i({\bf x}).</math></div><div><br></div><div>Abgeschnittene Potenzreihen von <math display="inline">d({\bf x})</math> mit beliebigen <math display="inline">h_i</math>-s führen zu polynomialen Diskriminanzfunktionen (polynomial discriminant functions) als Unterklasse verallgemeinerter linearer Diskriminanzfunktionen. Ein Beispiel ist die quadratische Diskriminanzfunktion (quadratic discriminant function), die in der Form angegeben werden kann</div><div><br></div><div><math display="block">d({\bf x}) = w_0 + \sum_{i=1}^{d} w_i x_i + \sum_{i=1}^{d}\sum_{j=1}^{d}w_{ij}  x_i x_j.</math></div><div><br></div><div>Abgesehen davon, dass die Entscheidungsregionen in <math display="inline">{\bf h}</math> konvex sind, können sie jede beliebige Abhängigkeit in <math display="inline">{\bf x}</math> haben. Daher können verallgemeinerte lineare Diskriminanzfunktionen allgemeinere Feature Spaces beschreiben, was ihre vorteilhafte Eigenschaft ist, die zu ihrer Verwendung motiviert.</div><div><br></div><div><span>''<math display="inline">\mathrm{\ \ \ \ \ \ }</math> Finden linearer Diskriminanzfunktionen''</span></div><div><br></div><div>Die Parameter des Klassifikators mit linearen Diskriminanzfunktionen sind die Gewichte. Das Trainieren der Parameter des Klassifikators bedeutet also, die richtigen Gewichte für die linearen Diskriminanzfunktionen zu finden. Dies geschieht durch die Formulierung der Aufgabe als Optimierung. Eine natürliche Wahl für das Kriterium der Optimierung ist die Minimierung des Trainingsfehlers. Um eine solche Minimierung unter allgemeinen Bedingungen durchzuführen, werden bekannte numerische multivariate Optimierungsverfahren wie z. Gradientenverfahren (gradient method) verwendet und an der Eigenschaften der linearen Diskriminanzfunktionen angepasst.</div><div><br></div><div><span>'''''<math display="inline">\mathrm{\ \ \ \ }</math> Lernen aus Beispiele'''''</span></div><div><br></div><div>Das Lernen aus Beispielen (learning from examples) ist ein grundlegender Ansatz beim maschinellen Lernen. Ziel ist es, durch das Training eines statistischen Modells Wissen aus Beispielen aufzubauen, das das Wissen auch für unsichtbare Beispiele darstellt. Auf diese Weise stellt das statistische Modell eine Verallgemeinerung des aus den Beispielen gewonnenen Wissens dar. In manchen Zusammenhängen wird dieses Lernen auch als Training bezeichnet.</div><div><br></div><div>Die klassische Form eines solchen Lernens geht davon aus, dass in jedem Beispiel die richtige Ausgabe für die Eingabe bereitgestellt wird (labeling). Es ist üblich, von einem beschrifteten Trainingsdaten zu sprechen, was bedeutet, dass in jedem Beispiel die Eingabe durch die richtige Ausgabe gekennzeichnet ist. Diese Art des Lernens wird überwachtes Lernen genannt.</div><div><br></div><div>Als Beispiel für Lernen aus Beispiele geben wir eine Beschreibung von Schätzung der Übergangswahrscheinlichkeiten einer Markov-Kette mit diskreter Zeit (Discrete-Time Markov Chain - DTMC) aus beobachteten Zustandssequenzen mittels des [https://de.wikipedia.org/wiki/Lagrange-Multiplikator Verfahrens der Lagrange-Multiplikatoren].</div><div><br></div><div><span>''<math display="inline">\mathrm{\ \ \ \ \ \ }</math> Das DTMC-Modell''</span></div><div><br></div><div>Sei <math display="inline">\mathcal{S}={s_1, \ldots, s_{\|\mathcal{S}\|}}</math> die Menge der Zustände des DTMC. Weiterhin bezeichne <math display="inline">\overrightarrow{\bf z} = (z_0, z_1,\ldots,z_T)</math> die beobachtete Zustandsfolge. Die Übergangsmatrix der DTMC wird mit <math display="inline">{\bf A}</math> bezeichnet, d. h. <math display="inline">{\bf A}_{i,j}= p(z_t=s_j\|z_{t-1}=s_i)</math> für <math display="inline">s_i, s_j \in \mathcal{S}</math>. Beobachte, dass eine gegebene Zustandsfolge <math display="inline">\overrightarrow{\bf z}</math> implizit viele labeled input (beschriftete Beispiele) in der Form <math display="inline">..z_{t-1}, z_t..</math> enthält, wobei die Eingabe <math display="inline">z_{t-1}</math> ist und der nächste Zustand <math display="inline">z_t</math> liefert die entsprechende korrekte Ausgabe.</div><div><br></div><div><span>''<math display="inline">\mathrm{\ \ \ \ \ \ }</math> Problem Formulierung''</span></div><div><br></div><div>Die Aufgabe der Schätzung der Parameter der Übergangsmatrix, <math display="inline">{\bf A}</math>, die in diesem Kontext als Parametermatrix bezeichnet wird, kann durch die Optimierungsproblem</div><div><br></div><div><math display="block">{\bf A}^* = \arg\max_{{\bf A}} p(\overrightarrow{\bf z}\|{\bf A})</math></div><div><br></div><div>formuliert werden, wobei <math display="inline">{\bf A}^</math> die geschätzte Parametermatrix ist.</div><div><br></div><div>Wir werden die Parametermatrix <math display="inline">{\bf A}^</math> durch die statistische Punktschätzungsmethode ML-Schätzung bestimmen. Daher maximieren wir die logarithmische Likelihood von <math display="inline">p(\overrightarrow{\bf z}\|{\bf A})</math>, die an derselben Stelle ihr Maximum hat, an der die Likelihood.</div><div><br></div><div>Um eine einfachere Notation zu erhalten, lassen wir die Werte aus der Übergangswahrscheinlichkeiten weg und verwenden die vereinfachte Notation <math display="inline">{\bf A}_{z_{t-1},z_{t}}</math> für die Elemente der Übergangsmatrix <math display="inline">{\bf A}</math>. Mit dieser vereinfachten Notation kann die Log-Likelihood <math display="inline">\log~ p(\overrightarrow{\bf z})</math> als</div><div><br></div><div><math display="block">\begin{aligned}</div><div>\log~ p(\overrightarrow{\bf z})&= \log~ p(z_1,\ldots,z_T) \\</div><div>&= \log~ \left(p(z_T\|z_{T-1},\ldots, z_1)p(z_{T-1}\|z_{T-2},\ldots, z_1) \ldots p(z_1\|z_0) p(z_0)\right)  \\</div><div>&= \log~ \left(p(z_T\|z_{T-1}) p(z_{T-1}\|z_{T-2})\ldots p(z_1\|z_0)p(z_0)\right)\\</div><div>& = \log~ \prod_{t=1}^{T}p(z_{t}\|z_{t-1}) p(z_0) = \log~ \prod_{t=1}^{T}{\bf A}_{z_{t-1},z_{t}}p(z_0) \\</div><div>& = \sum_{t=1}^{T} \log~{\bf A}_{z_{t-1},z_{t}} + \log~ p(z_0)   </div><div>\end{aligned}</math></div><div><br></div><div>ausgedrückt werden, wobei wir in der ersten Gleichung den Multiplikationssatz der Wahrscheinlichkeit (multiplication theorem of probability) und in der zweiten Gleichung die Markov-Eigenschaft (Markov property) verwendet haben.</div><div><br></div><div>Dies kann durch die Einführung einer Indikatorvariablen wie <math display="block">\log~ p(\overrightarrow{\bf z})=\sum_{i=1}^{\|\mathcal{S}\|}\sum_{j=1}^{\|\mathcal{S}\|}\sum_{t=1}^{T} \mathbbm{1}_{\{z_{t-1} = s_i, z_{t} = s_j\} } \log~ {\bf A}_{i,j} + \log~ p(z_0)</math></div><div><br></div><div>weiter umgestaltet werden. Das Weglassen des Terms <math display="inline">\log~ p(z_0)</math> hat keinen Einfluss auf den Ort des Maximums der Log-Likelihood, da dieser nicht von der Matrix <math display="inline">{\bf A}</math> abhängt. Darüber hinaus müssen bei der Optimierung einige Einschränkungen der Matrix <math display="inline">{\bf A}</math> berücksichtigt werden. Die Matrix <math display="inline">{\bf A}</math> ist stochastisch und daher</div><div><br></div><div># <math display="inline">{\bf A}_{i,j} \neq 0</math>, d.h. die Elemente der Matrix <math display="inline">{\bf A}</math> sind nicht-negativ,</div><div># <math display="inline">\sum_{j=1}^{\|\mathcal{S}\|} {\bf A}_{i,j} = 1</math> for <math display="inline">i = 1, \ldots, \|\mathcal{S}\|</math>, d.h. die Zeilensummen der Matrix <math display="inline">{\bf A}</math> sind 1.</div><div><br></div><div>Diese Einschränkungen bilden die Nebenbedingungen für die Optimierungsaufgabe. Wir werden zur Optimierung das Verfahren der Lagrange-Multiplikatoren (method of Lagrange multiplicator) anwenden. Das Verfahren gewährleistet die Nichtnegativität der resultierenden Matrix <math display="inline">{\bf A}</math>, also diese in die Nebenbedingungen nicht einformuliert werden soll. Daher kann die Optimierungsproblem mit Nebenbedingungen als</div><div><br></div><div><math display="block">\begin{aligned}</div><div>&\arg\max_{{\bf A}} \sum_{i=1}^{\|\mathcal{S}\|}\sum_{j=1}^{\|\mathcal{S}\|}\sum_{t=1}^{T} \mathbbm{1}_{\{z_{t-1} = s_i, z_{t} = s_j\}} \log~ {\bf A}_{i,j}, ~  \\</div><div>&\mathrm{~mit~Nebenbedingungen~}~\sum_{j=1}^{\|\mathcal{S}\|} {\bf A}_{i,j} = 1,  \mathrm{~for~} i = 1, \ldots, \|\mathcal{S}\|</div><div>\end{aligned}</math> formuliert werden.</div><div><br></div><div><span>''<math display="inline">\mathrm{\ \ \ \ \ \ }</math> Lösung durch Anwendung des Verfahrens der Lagrange-Multiplikatoren''</span></div><div><br></div><div>Die Anwendung des Verfahrens der Lagrange-Multiplikatoren erfordert die Einführung von <math display="inline">\|S\|</math>-fachen Lagrange-Multiplikatoren (Lagrange multipliers), <math display="inline">\alpha_i</math> für <math display="inline">i = 1, \ldots, \|\mathcal{S}\|</math>, die in einem Vektor <math display="inline">{\boldsymbol{\alpha}}</math> angeordnet werden können. Somit kann die Lagrange-Funktion (Lagrange function) als</div><div><br></div><div><math display="block">\mathcal{L}({\bf A}, {\boldsymbol{\alpha}}) = \sum_{i=1}^{\|\mathcal{S}\|}\sum_{j=1}^{\|\mathcal{S}\|}\sum_{t=1}^{T} \mathbbm{1}_{\{z_{t-1} = s_i, z_{t} = s_j\}} \log~{\bf A}_{i,j} + \sum_{i=1}^{\|\mathcal{S}\|} \alpha_i \left(1 - \sum_{j=1}^{\|\mathcal{S}\|} {\bf A}_{i,j} \right)</math> angegeben werden.</div><div><br></div><div>Wenn man die erste Ableitung der Lagrange-Funktion nach <math display="inline">{\bf A}_{i,j}</math> nimmt und gleich 0 macht, erhält man</div><div><br></div><div><math display="block">\frac{\partial \mathcal{L}}{\partial {\bf A}_{i,j}} = \frac{1}{{\bf A}_{i,j}}\sum_{t=1}^{T} \mathbbm{1}_{\{z_{t-1} = s_i, z_{t} = s_j\}} - \alpha_i = 0, ~ i,j = 1, \ldots, \|\mathcal{S}\|,</math> woraus <math display="inline">{\bf A}_{i,j}</math> als <math display="block">{\bf A}_{i,j} = \frac{1}{\alpha_i}\sum_{t=1}^{T} \mathbbm{1}_{\{z_{t-1} = s_i, z_{t} = s_j\}}, ~ i,j = 1, \ldots, \|\mathcal{S}\|</math></div><div><br></div><div>ausgedrückt werden kann. Nimmt man nun die erste Ableitung der Lagrange-Funktion nach <math display="inline">\alpha_i</math>, macht sie gleich 0 und wendet die obige Formel <math display="inline">{\bf A}_{i,j}</math> an, erhält man <math display="block">\frac{\partial \mathcal{L}}{\partial \alpha_i} = 1 - \sum_{j=1}^{\|\mathcal{S}\|} {\bf A}_{i,j} = 1 - \sum_{j=1}^{\|\mathcal{S}\|} \frac{1}{\alpha_i}\sum_{t=1}^{T} \mathbbm{1}_{\{z_{t-1} = s_i, z_{t} = s_j\}} = 0,</math> woraus wir die Lösung für <math display="inline">\alpha_i</math> als <math display="block">\alpha_i = \sum_{j=1}^{\|\mathcal{S}\|} \sum_{t=1}^{T} \mathbbm{1}_{\{z_{t-1} = s_i, z_{t} = s_j\}} = \sum_{t=1}^{T} \mathbbm{1}_{\{z_{t-1} = s_i\}}, ~ i = 1, \ldots, \|\mathcal{S}\|</math></div><div><br></div><div>erhalten. Wenn wir die Formel von <math display="inline">\alpha_i</math> in der Formel von <math display="inline">{\bf A}_{i,j}</math> anwenden, erhalten wir die Schätzung für <math display="inline">{\bf A}_{i,j}</math> als <math display="block">{\bf A}_{i,j} = \frac{\sum_{t=1}^{T} \mathbbm{1}_{\{z_{t-1} = s_i, z_{t} = s_j\}}}{\sum_{t=1}^{T} \mathbbm{1}_{\{z_{t-1} = s_i\}}} ~ i,j = 1, \ldots, \|\mathcal{S}\|.</math></div><div><br></div><div>Diese Schätzung von <math display="inline">{\bf A}_{i,j}</math> kann als die Anzahl der Übergange <math display="inline">s_i \rightarrow s_j</math> geteilt durch die Anzahl der der Beobachtungen, die die DTMC im Zustand <math display="inline">s_i</math> finden, interpretiert werden. Diese Schätzung passt auch zur unserer menschlichen Intuition.</div><div><br></div><div><span>'''''<math display="inline">\mathrm{\ \ \ \ }</math> Learning durch Steuereung - MDP'''''</span></div><div><br></div><div>Lernen durch Steuereung (learning through control) ist ein iterativer Prozess, bei dem der Akteur bei jedem Schritt mit einer Aktion auf die Antwort der Umgebung auf seine vorherige Aktion reagiert. So lernt der Akteur sein Verhalten schrittweise. Solche Prozesse kommen in der Natur sehr häufig vor, wie z.B. derjenige, der die Bewegung der Tiere bei der Nahrungssuche steuert.</div><div><br></div><div>Ein solcher Lernprozess kann durch das mathematische Modell des Markov-Entscheidungsprozesses, MEP (Markov decision process - MDP) beschrieben werden. MDP ist ein diskreter stochastischer Kontrollprozess (discrete stochastic controll process). In jedem Zustand <math display="inline">s</math> des MDP kann der Akteur eine Aktion <math display="inline">a</math> aus dem zulässigen Satz von Aktionen in diesem Zustand ausführen. Dann im nächsten Zeitschritt wechselt der MDP in den Zustand <math display="inline">s^{'}</math> und gibt dem Akteur eine Belohnung, die der Aktion <math display="inline">a</math> und dem Zustandsübergang <math display="inline">R_a(s, s^{'})</math> entspricht. Auf diese Weise realisiert das MDP ein Aktions- und Belohnungs-feedbackbasiertes Lernen.</div><div><br></div><div>Die mathematische Definition von MDP lautet wie folgt. MDP ist ein 4-Tupel <math display="inline">(\mathcal{S}, \mathcal{A}, P, \mathcal{R})</math>, wobei</div><div><br></div><div>* <math display="inline">\mathcal{S}</math> ist der Zustandsraum, d. h. eine Menge von Zuständen,</div><div>* <math display="inline">\mathcal{A}</math> ist der Aktionsraum, d. h. eine Menge von Aktionen,</div><div>* <math display="inline">P</math>, in Funktionsform <math display="inline">p_a(s,s^{'}) = p(s(t+1) = s^{'}\| s(t) = s, a(t) = a)</math> beschreibt den Zustandsübergang von <math display="inline">s</math> zu <math display="inline">s^{'}</math>, während die Aktion <math display="inline">a</math> ausgeführt wird und</div><div>* <math display="inline">\mathcal{R}</math> ist die Menge möglicher Belohnungen und <math display="inline">R_a(s,s^{'})</math> ist die Belohnung für den Zustandsübergang von <math display="inline">s</math> zu <math display="inline">s^{'}</math>, wenn die Aktion <math display="inline">a</math> ausgeführt wird.</div><div><br></div><div>Ein Beispieldiagramm eines MDP ist in Abbildung [[#fig:MDP_example\|5]] gezeigt. Dieser MDP hat drei Zustände (grüne Kreise), zwei Aktionen (orange Kreise) und zwei Belohnungen (orange Pfeile).</div><div><br></div><div><div id="fig:MDP_example" class="figure"></div><div><br></div><div>[[File:./figs/MDP_example.pdf]]</div><div><br></div><div></div></div><div>MDP ist eine Erweiterung des DTMC, indem ihm Aktionen (die Auswahlmöglichkeiten ermöglichen) und Belohnungen (Feedback aus der Umgebung zum Lernen Lernzwecken) hinzugefügt werden. Dies impliziert, dass ein MDP mit nur einer Aktion und einer gemeinsamen Belohnung auf einen DTMC reduziert wird. MDP kann zur Lösung von Optimierungsaufgaben eingesetzt werden und wird üblicherweise durch dynamische Programmierung (dynamic programming) umgesetzt.</div><div><br></div><div><span id="ci"></span></div><div>=== CI ===</div><div><br></div><div>Computational Intelligence, abgekürzt CI, ist ein Teilbereich der KI, der biologisch motivierte und daher rechenintensive Methoden und Ansätze umfasst.</div><div><br></div><div><span>'''''<math display="inline">\mathrm{\ \ \ \ }</math> Definition von CI'''''</span></div><div><br></div><div>Es gibt keine allgemein akzeptierte eindeutige Definition von CI. Die erste Definition stammt aus dem Jahr 1994 von Bezdek (siehe in ) und definiert CI durch die folgenden Merkmalen:</div><div><br></div><div>* befasst sich mit numerischen Daten,</div><div>* hat eine Mustererkennungskomponente statt Wissensräpresentation,</div><div>* verfügt über eine Methodik, die rechnerisch adaptive und Fehlertolerant ist und</div><div>* kommt in Bezug auf Geschwindigkeit und Fehlerrate einer menschenähnlichen Leistung nahe.</div><div><br></div><div>CI kann auch anhand seiner Hauptmerkmale definiert werden:</div><div><br></div><div>* ein Teilbereich von KI,</div><div>* enthaltet mehrere Natur inspirierten Ansätze,</div><div>* befasst sich mit komplexen realen Problemen, die einige Unsicherheiten enthalten oder stochastische Komponenten enthalten können.</div><div><br></div><div><span>'''''<math display="inline">\mathrm{\ \ \ \ }</math> Positionierung von CI gegenüber KI und seiner Geschichte zur Geschichte der KI'''''</span></div><div><br></div><div>CI und KI haben beide das langfristige Ziel, allgemeine Intelligenz zu erreichen. KI basiert jedoch auf Hard-Computing-Techniken, die einer binären Logik mit zwei Werten folgen, der binären 0 oder 1. Dies kann so interpretiert werden, dass ein Element in einer Menge entweder enthalten ist oder nicht. Im Gegensatz dazu basiert CI auf Soft-Computing-Techniken, die der Fuzzy-Logik (fuzzy logic) folgen und reale Werte zwischen 0 und 1 ermöglichen, die als Grad der Zugehörigkeit eines Elements zu einer Menge angesehen werden können. Dies ist ein deutlicher Unterschied zwischen KI und CI. Andererseits kann CI als Teilbereich von KI im weiteren Sinne betrachtet werden.</div><div><br></div><div>Während die Geschichte der KI bereits in den 1950er Jahren begann, wurde der Begriff CI erstmals 1990 vom IEEE Neural Networks Council verwendet, der sich mit der Entwicklung biologischer und künstlicher neuronaler Netze befasste. Im Jahr 2001 wurde der Rat zur IEEE Computational Intelligence Society und einige Jahre später wurden neue Bereiche wie Fuzzy-Systeme und Evolutionsberechnungen in den Interessenbereich der Gesellschaft aufgenommen.</div><div><br></div><div><span>'''''<math display="inline">\mathrm{\ \ \ \ }</math> Hauptkomponenten der CI'''''</span></div><div><br></div><div>Die Hauptkomponenten von CI (Abbildung [[#fig:CI\|6]]) werden wie folgt angegeben:</div><div><br></div><div># Neuronale Netze, die Ähnlichkeit mit biologischen Netzten haben, die</div><div>#* die Verarbeitung und das Lernen aus Erfahrungsdaten ermöglicht und</div><div>#* in gewissem Umfang Fehlertoleranz anbietet.</div><div># Fuzzy-Logik ist eine der Hauptdisziplinen von CI, die</div><div>#* Soft-Computing-Techniken zur Modellierung realer komplexer Prozesse durch die Anwendung probabilistischer Methoden ermöglicht und</div><div>#* zum Approximate Reasoning, aber nicht zum Lernen verwendet werden kann.</div><div># Evolutionäre Berechnung stellt Evolutionäre Algorithmen (Evolutionary Algorithms - EAs) für die globale Optimierung bereit, die</div><div>#* von der biologischen Evolution inspiriert sind und</div><div>#* normalerweise auf einer Population von Kandidatenlösungen basiert.</div><div><br></div><div><div id="fig:CI" class="figure"></div><div><br></div><div>[[File:./figs/CI.pdf]]</div><div><br></div><div></div></div><div><span>'''''<math display="inline">\mathrm{\ \ \ \ }</math> Evolutionäre Algorithmen (EA)'''''</span></div><div><br></div><div>Evolutionäre Algorithmen umfassen unter anderen die zwei am weitesten verbreiteten EA-Algorithmen:</div><div><br></div><div>* Partikelschwarmoptimierung (Particle Swarm Optimisation - PSO, [https://en.wikipedia.org/wiki/Particle_swarm_optimization PSO]) und</div><div>* Genetischer Algorithmus (Genetic Algorithm - GA, [https://en.wikipedia.org/wiki/Genetic_algorithm GA]).</div><div><br></div><div><span id="anwendungsgebiete-von-ki"></span></div><div>== Anwendungsgebiete von KI ==</div><div><br></div><div><span id="anwendungen-von-kg"></span></div><div>=== Anwendungen von KG ===</div><div><br></div><div>In diesem Unterabschnitt beschäftigen wir uns mit der Anwendungen der KG.</div><div><br></div><div>(1) Information Retrieval, IR Systeme umfassen Aufgaben wie</div><div><br></div><div>* Image Retrieval,</div><div>* Music Retrieval,</div><div>* Websuche (web search),</div><div>* domänenspezifischer (domain-specific) Retrieval (z. B. geografisch, rechtlich usw.),</div><div>* sprachübergreifendes (cross-lingual) Retrieval und</div><div>* Textzusammenfassung (text summarization), hauptsächlich als extrahierte Teile des Originaltextes.</div><div><br></div><div>IR kann auch als Teilbereich des Data Mining (data mining) angesehen werden.</div><div><br></div><div>(2) Die semantische Suche (semantic search) wird durch die Integration von KG in die Ergebnisse der Suchmaschine realisiert. Dies führt zu einer verbesserten „Big Data“-Suchmaschine. Es erweitert die herkömmliche Suchmaschine um die folgenden neuen Funktionen</div><div><br></div><div>* relevantere Informationen anbieten,</div><div>* Entitäten im Text identifizieren und eindeutig machen (disambiguate),</div><div>* stellt Links zu verwandten Entitäten bereit (explorative Suche - exploratory search).</div><div><br></div><div>Beispiele beinhalten</div><div><br></div><div>* Google-Suchmaschine (search engine) implementiert durch Integration der Google KG,</div><div>* Bing, die Microsoft-Suchmaschine, die durch die Integration von Microsofts KB Satori realisiert wurde.</div><div><br></div><div>(3) Das Question Answering System (QA, nicht verwechseln mit QA-System, das Quality-Assurance-System bedeutet) kann semantische Fragen beantworten, indem es semantische Informationen von KG in die Antwort einbezieht. Daher realisieren sie semantisch bewusste Fragebeantwortungsdienste (semantically aware question answering services). Beispiele beinhalten</div><div><br></div><div>* Watson, das Question Answering System von IBM, das unter anderem YAGO, DBpedia und Freebase nutzt,</div><div>* Digitale/virtuelle Assistenten (digital/virtual assistants) wie Siri, Cortana, Google Now.</div><div><br></div><div>Die Question Answering Systeme können in extraktive und generative Question Answering Systemen eingeteilt werden.</div><div><br></div><div>* Bei dem extraktiven Question Answering System (extractive QA) wird die Antwort aus dem relevanten Kontext extrahiert (BERT-ähnliche Modelle).</div><div>* Bei dem generativen Question Answering System (generative QA) generiert das Modell Freitext basierend auf dem Kontext, für den es Textgenerierungsmodelle (Text Generation models) verwendet.</div><div><br></div><div>Andererseits können die Question Answering System auch als offene oder geschlossene Question Answering Systeme (open or closed QA systems) klassifiziert werden.</div><div><br></div><div>* Bei dem offenen Question Answering System wird die Antwort aus dem Kontext entnommen.</div><div>* In dem geschlossenen Question Answering System wird kein Kontext bereitgestellt und daher ist die Antwort vollständig generiert.</div><div><br></div><div>Die schnelle Question Answering wird durch die Einfügung eines ersten Rankings mithilfe von Passage-Ranking-Modell (passage ranking model) ermöglicht. Passage-Ranking-Modell ist ein neues Ranking-Modell von Google zur Kategorisierung von Inhalten von Websites. Für akademische Benchmark-Tests stehen QA Datensätze zur Verfügung. Der am häufigsten verwendete QA Dataset(Datensatz) für den akademischen Benchmark extraktiver QA Systeme ist der Stanford Question Answering Dataset (SQuAD), der aus mehr als 100.000 QA Paaren zu mehr als 500 Artikeln besteht.</div><div><br></div><div>(4) Das Empfehlugssystem (Recommendation/Recommender System) ist eine Art IR-System, das personalisierte Empfehlungen gibt, die auf dem Verhalten, den gemeinsamen Präferenzen und Interessen der Benutzer basieren. Basierend auf der Analyse von Benutzerklicks können diese Content-Plattformen (content platforms) andere Inhalte vorschlagen, die die Benutzer ansehen oder lesen können. Bei solchen Anwendungen tragen KGs dazu bei, die Genauigkeit zu verbessern, die Vielfalt der empfohlenen Elemente durch die Einbeziehung externen Wissens zu erhöhen und die Interpretierbarkeit von Empfehlungen zu verbessern. Typische Beispiele für solche KG-Anwendungen sind Content-Plattformen, wie z.B. Social Media (social media), Netflix oder Suchmaschinenoptimierung (Search Engine Optimization - SEO), die ein Teilgebiet des Suchmaschinenmarketings ist.</div><div><br></div><div>(5) Natural Language Processing, NLP (Verarbeitung Natürlicher Sprache) befasst sich mit der Verarbeitung und dem Verstehen von Text und gesprochener Sprache durch die Anwendung hauptsächlich Techniken von Maschinelles Lernen. Informationsextraktion (information extraction - IE) ist eine NLP-Technik, die darauf abzielt, strukturierte Informationen aus typischerweise unstrukturiertem Text zu extrahieren. Genauer gesagt befindet sich IE im Schnittpunkt von IR und NLP. Zwischen KG und NLP besteht eine gegenseitig vorteilhafte Beziehung. Einerseits dient KG der Umsetzung von NLP-Techniken, wie z.B. Textzusammenfassung. Andererseits werden NLP-Techniken wie die Named Entity Recognition und die Relation Extraction verwendet, um KG zu erstellen.</div><div><br></div><div>(6) Beim Enterprise Knowledge Management geht es darum, KG im industriellen Bereich einzusetzen, um die Vorteile zu nutzen, die KG bietet. Zu diesen Vorteilen gehören:</div><div><br></div><div>* Big Data (big data) nutzen, um neuen Geschäftswert zu schaffen,</div><div>* Geschäftsansichten auf verschiedenen Granularitätsebenen erstellen,</div><div>* durch hierarchische Einbeziehung unternehmensrelevanter Daten neue Erkenntnisse liefern und</div><div>* Mitarbeitern einen erweiterten Zugriff auf Unternehmensinformationen bieten.</div><div><br></div><div>(7) Domänenspezifische Anwendungen (domain-specific applications) ermöglichen Mehrwerts durch die Anwendung von KG in verschiedenen Bereichen zu schaffen.</div><div><br></div><div>* Biomedical KG-Anwendungen (biomedical KG applications) ermöglichen die Beantwortung von Fragen und die Entscheidungsunterstützung in den Biowissenschaften (life sciences) durch die Integration mehrerer Quellen biomedizinischer Informationen (biomedical information).</div><div>* Medizinische Anwendungen (medical application) nutzen KG zur Integration textueller medizinischer Kenntnisse. Ein Beispiel hierfür ist das Abrufen spezifischer Informationen mittels Schlussfolgerung.</div><div>* In Cybersicherheit-Anwendungen (cybersecurity applications) wird KG zum Speichern von Modellierungsmustern in großen Datensätzen von Transaktionen und Organisationen verwendet. Dies dient als Grundlage für Aufbau von Anwendungen, wie z.B. Angriffe zu erkennen und zu vorhersagen (d.h. potenzielle Arten von Wirtschaftskriminalität zu identifizieren) und Sicherheitsbedrohungen durch verdächtige Transaktionen (suspicious transactions), abnormales Benutzerverhalten (abnormal user behaviour) oder gefälschte Konten (fake accounts) zu identifizieren.</div><div>* In E-Commerce-Anwendungen (e-commerce applications) wird KG verwendet, um semantische Informationen über die Interaktionen zwischen Kunden und Produkten und deren Merkmale zu speichern. Diese können für eine Vielzahl von Aufgaben verwendet werden, darunter die Suche nach ähnlichen oder kompatiblen Produkten, die Identifizierung von Produktklassen, das Abrufen relevanter Produkte für einen bestimmten Suchbegriff und das Abrufen ähnlicher Suchbegriffe.</div><div>* In Finanzanwendungen (financial applications) wird die KG durch die Identifizierung Named Entities aus News von Unternehmen und durch die Extraktion von Geschäftsbeziehungen zwischen relevanten Aktien erstellt. Solche KGs können Aufgaben wie z.B. Vorhersage der Kursbewegung einer Aktie ausführen.</div><div>* KG wird in der Bereitstellung von Nachrichten (KG in field of news) zur Umsetzung der Fake-News-Erkennung (fake news detection) eingesetzt.</div><div>* Im Bildungsbereich (KG in field of education) werden KG-Knoten zum Speichern von didaktischen Konzepten (instructional concepts) verwendet, die für Aufgaben wie z.B. die Empfehlung von Lernressourcen (learning resource recommendation) und die Visualisierung von Konzepten (concept visualisation) verwendet werden.</div><div>* In Geoscience Applications (Geoscience applications) KG speichert die geowissenschaftlichen Textdaten, die für Informationsextraktions- und Wissensentdeckungsdienste (information extraction and knowledge discovery services) verwendet werden.</div><div><br></div><div><span id="anwendungen-von-ml"></span></div><div>=== Anwendungen von ML ===</div><div><br></div><div>ML Technologien haben sowohl viele allgemein bekannte Anwendungen als auch Anwendungen in einer Vielzahl von Fachgebieten, darunter Finanzen, Gesundheitswesen, Landwirtschaft und viel mehr.</div><div><br></div><div>Im Folgenden geben wir eine kurze Beschreibung einiger allgemein bekannter Anwendungen.</div><div><br></div><div>Spracherkennung (speech recognition) ist der Prozess der Umwandlung der gesprochenen Sprache in geschriebenen Text. Es wird auch als Speech to Text (STT) oder Automatic Speech Recognition (ASR oder einfach SR) bezeichnet. Spracherkennung wird z.B. in sprachgesteuerten Callcentern (speech automated call centers), Sprachsteuerung (voice dialling, speech enabled dialling) oder in Apples Sprachassistent Siri (Apple’s speech assistant Siri) verwendet.</div><div><br></div><div>Bei der Sprechererkennung (speaker recognition) handelt es sich um die Aufgabe, den Sprecher anhand einer kurzen Rede (normalerweise einige Sekunden) zu identifizieren.</div><div><br></div><div>Die Sprachsynthese (speech synthesis) umfasst die Aufgabe, geschriebenen Text in menschliche Sprache umzuwandeln. Es wird auch als Text-to-Speech (TTS) bezeichnet und ist die umgekehrte Aufgabe der Spracherkennung.</div><div><br></div><div>Sprachübersetzung (language translation), wie z.B. Google Translate kann geschriebenen Text in einer Sprache in den entsprechenden Text in einer anderen Sprache übersetzen. Es basiert auf NLP Techniken, einschließlich Part-of-speech-Tagging (POS-Tagging) und Named Entity Recognition.</div><div><br></div><div>Aufgabe der Bilderkennung (image recognition) ist Muster in einem Bild oder Video zu erkennen. Es kann unter anderem zur Gesichtsdetektion (face detection), Gesichtserkennung (face recognition) oder zur weiteren Analyse verwendet werden.</div><div><br></div><div>Vorhersage des Verkehrsmusters (traffic pattern prediction). Diese Aufgabe generiert Vorhersagen über den bevorstehenden Verkehr basierend auf dem tatsächlichen Verkehr, der z.B. verwendet wird um die schnellste Route zum gewünschten Ziel zu ermitteln und vorzuschlagen.</div><div><br></div><div>Ziel des Data Mining (data mining) ist es, Informationen aus einem (meist großen) Dataset zu extrahieren und in eine für die weitere Verwendung geeignete Struktur umzuwandeln. Data Mining wird z.B. durch Geheimdienste (secret services) oder zur Ausreißererkennung (outlier detection) in der Statistik angewendet.</div><div><br></div><div>Produktempfehlungen für den E-Commerce (E-commerce product recommendations). Es handelt sich um eine Marketinganwendung, die Produktempfehlungen basierend auf gesammelten Daten über früheres Kundenverhalten und vergangene Einkäufe generiert. Es ist ähnlich, unterscheidet sich aber vom Empfehlungssystem, das IR und KG anstelle von ML verwendet.</div><div><br></div><div>Die E-Mail-Spam-Erkennung/E-Mail-Filterung (email spam detection/email filtering) erfolgt mithilfe von Spam-Filtern, die ML-Algorithmen verwenden, um eingehende E-Mails als Spam zu klassifizieren oder nicht.</div><div><br></div><div>Die Malware-Erkennung (Malware detection) wird als ein Mustererkennungssystem realisiert, welches auf Features (Merkmalen) trainiert wird, die verdächtige Aktivitäten characterisieren.</div><div><br></div><div>Computer Vision (computer vision) nutzt ML-Techniken, um hochdimensionale reale Daten zu verarbeiten, zu analysieren, zu visualisieren oder zu interpretieren.</div><div><br></div><div>Die Transportanwendung (Transportation application), wie Uber, verwendet ML Verfahren, um die Verkehrsbedingungen zu analysieren und die voraussichtliche Ankunftszeit (Estimated Time of Arrival - ETA) am gewünschten Ziel abzuschätzen.</div><div><br></div><div>ML angewendet auf Geschäftsprobleme wird auch als Predictive Analytics bezeichnet. Wir geben zunächst kurze Interpretationen mehrerer Anwendungsbeispielen für ML- im Finanzwesen.</div><div><br></div><div>* Die Betrugserkennung bei Banktransaktionen (Fraud Detection) wird durch einen ML-Algorithmus implementiert, der für jede Transaktion einen Wert angibt, der die Wahrscheinlichkeit eines Betrugs darstellt. Das Training des Algorithmus basiert auf Mustern für ungewöhnliches Verhalten, die aus großen Mengen an Transaktionsdaten identifiziert werden. Dies ist die wichtigste Anwendung von ML im Bank- und Finanzbereich.</div><div>* Fokussierte Ausrichtung auf Kontoinhaber (Focused Account Holder Targeting). Dabei klassifizieren ML-Algorithmen die Kontoinhaber nach Segmenten mit vordefinierten Salden und Krediten.</div><div>* Börse und Daytrading (Stock Market and Day Trading). In dieser Anwendung wird ML darauf trainiert, die Entwicklung der Preise an der Börse vorherzusagen.</div><div>* Die Vorhersage der Kreditwürdigkeit (Loan Eligibility Prediction) wird durch verschiedene ML-Klassifikatoren (wie z. B. Random Forest, siehe [[#subsub:RF\|4.2.5]] realisiert, um die Eignung der Kunden für die Gewährung eines Kredits zu beurteilen.</div><div><br></div><div>Zunächst werden wir einige Anwendungen von ML im Gesundheitswesen erwähnen.</div><div><br></div><div>* In der personalisierten Behandlung/Medikation (Personalized Treatment,<br /></div><div>Personalized Medication) wird ML verwendet, um<br /></div><div>Genmuster/Ansprechmarker (gene patterns/response markers) von Patienten zu identifizieren, die gezielte Therapien ermöglichen könnten.</div><div>* In der Genetik und Genomik (Genetics and Genomics) wird ML zur Identifizierung von Gensequenzen (gene sequences) bei der Genomsequenzierung (genome sequencing) und genetische Veränderung (gene modification) insbesondere mittels Hidden-Markov-Modelle ( Hidden Markov Models – HMMs) verwendet und wird auch in der Genforschung eingesetzt.</div><div>* In der Krebsprognose und -vorhersage (Cancer Prognosis and Prediction) wird ML verwendet, um Vorhersagemodelle zu erstellen, um Entscheidungen über eine Therapie zu unterstützen und deren Entwicklung vorherzusagen.</div><div>* Bei der Arzneimittelentwicklung (Drug development) kann der Prozess der Arzneimittelentdeckung durch den Einsatz von ML-Techniken beschleunigt werden.</div><div><br></div><div>Künstliche neuronale Netzwerke/Netze, KNN (Artificial Neural Networks - ANNs) oder einfache neuronale Netzwerke/Netze (NNs) kombinieren ML mit dem NN-Modell. Die große Mehrheit der Anwendungen (wie z. B. Krebsprognose und -vorhersage) hat von der Verwendung von ANN anstelle reiner ML-Algorithmen profitiert. Diese Anwendungen sind z.B. Bilderkennung, medizinische Diagnose, Spracherkennung, maschinelle Übersetzung, Computer Vision, Krebsprognose und -vorhersage, Filterung sozialer Netzwerke, Brett- und Videospiele.</div><div><br></div><div>Embedded Machine Learning (Embedded Machine Learning) ist ein Teilgebiet des ML, bei dem ML auf eingebettete Systeme (embedded systems) mit begrenzten Ressourcen angewendet wird. Zu diesen eingebetteten Systemen gehören z. B. Mikrocontroller (microcontrollers), tragbare Computer (wearable computers) und Edge-Geräte (edge devices). Der Einsatz von ML-Methoden in eingebetteten Systemen macht die Übertragung und Speicherung von Daten auf Cloud-Servern (cloud servers) überflüssig. Zu den Techniken des eingebetteten maschinellen Lernens gehören unter anderem Approximatives Rechnen (approximate computing) und Hardwarebeschleunigung (hardware acceleration).</div><div><br></div><div>Weitere Einzelheiten zur Anwendung von ML befinden sich z.B. auf der<br /></div><div>Wikipedia-Seite [https://en.wikipedia.org/wiki/Machine_learning Machine Learning].</div><div><br></div><div><span id="weitere-anwendungsgebiete-von-ki"></span></div><div>=== Weitere Anwendungsgebiete von KI ===</div><div><br></div><div>Weitere Anwendungsgebiete von KI sind u.a</div><div><br></div><div># Ausbildungssektor (educational sector), z.B. durch die Erstellung automatisierter Nachrichten an Studierende oder durch die Gestaltung von Inhalten basierend auf den Interessen des Benutzers (Smart Content Creation),</div><div># Robotik (robotics) z.B. indem wir Entscheidungen in Echtzeit auf der Grundlage von NLP, Objekterkennung (object recognition) und Mensch-Roboter-Interaktion (Human-Robotics Interaction - HRI) ermöglichen,</div><div># Navigation (navigation) z.B. durch die Berechnung der besten Route basierend auf GPS- und KI-Technologien (GPS - Global Positioning System),</div><div># Gesundheitswesen (Healthcare), z.B. durch Patientenüberwachung (patient monitoring) oder chirurgische Assistenz (surgical assistance),</div><div># Automobile (automobiles) z.B. durch Advanced Driving Assistance System (ADAS) oder autonomes Fahren (autonomous driving),</div><div># Landwirtschaft (agriculture) z.B. durch Pflanzenüberwachung (crops monitoring), Supply Chain und Instandhaltung (supply chain maintenance) oder Wettervorhersage (weather forecasting),</div><div># Personalwesen (human resource), z.B. durch Screening,</div><div># Lebensstil (lifestyle) z.B. durch personalisierte Empfehlung (personalized recommendation), virtuelle Assistenz,</div><div># Gaming (gaming) z.B. durch Animation (animation),</div><div># Astronomie (astronomy) z.B. durch Analyse astronomischer Daten und Erkennung z.B. von Exoplaneten,</div><div># Reisen und Transporte (travel and transport), z.B. Platooning von LKWs (truck platooning) ermöglichen,</div><div># Militär (military), z.B. durch Erkennung von Cyberangriffen (detecting Cyberattacks) und Entscheidungsunterstützung (decision support) z.B. für die Ressourcenallokation (resource allocation).</div><div><br></div><div><span id="ethik-in-der-ki"></span></div><div>== Ethik in der KI ==</div><div><br></div><div>Ethik ist im allgemeinen eine Menge von moralischer Regeln und Leitfaden, die den Menschen helfen, zwischen Recht und Unrecht zu entscheiden. Es ist zu erwarten, das KI schon in der näheren Zukunft erhebliche Auswirkungen auf die ganze Menscheit und Welt haben wird. Deshalb ist es wichtig auf ethischen Fragen in Zusammenhang mit KI bedeutsam Aufmerksamkeit zu schenken.</div><div><br></div><div>In der vorigen Jahren haben Organisationen verschiedene Big Data Algoritmen und KI Lösungen eingesetzt meist um ihre Geschäftsergebnisse durch Automatisierung und datengesteuerte Entscheidungsfindung zu verbessern. Dabei wurden einige Unternehmen in Zusammenhang mit ihrer KI-Anwendungen mit unerwarteten negative Konsequenzen konfrontiert, insbesondere aufgrund unfairer Ergebnisse und durch Anwendung von mit Vorurteilen behafteten Datensätzen. Dies hat dazu geführt, dass führende Unternehmen und Forschungs-und Datenwissenschafts-Communities im Bereich der KI sich mit den ethischen Aspekten der KI eingehend befassen mussten. Mangel an angemessene Regeln in diesem Bereich kann zu Reputationsverlust, hohe Geldstrafen sowie zu regulatorischen und rechtlichen Problemen führen.</div><div><br></div><div>Ethik der KI (kurz KI-Ethik) ist ein Teilbereich der angewandten Ethik, der sich unten anderen mit der folgende Fragestellungen sich beschäftigt:</div><div><br></div><div>* die gezielte Rolle von KI-Syteme und die ethische Aspekte die ihre Benützung entsprechend ihrer Rollen ermöglichen,</div><div>* ethische Regeln, Leitpfaden für Menschen, die KI-Systeme planen, herstellen, testen, zertifizieren und benutzen.</div><div>* gewünschtes ethische Verhalten von KI-Systemen (Maschinenethik).</div><div><br></div><div><span id="prinzipien-und-elemente-der-ki-ethik"></span></div><div>=== Prinzipien und Elemente der KI-Ethik ===</div><div><br></div><div>Als Leitfaden für die Ethik in der experimentellen Forschung und der Entwicklung von Algorithmen sind der Belmont-Bericht (https://www.hhs.gov/ohrp/sites/default/files/the-belmont-report-508c_FINAL.pdf) in akademischer Gemeinschaft weit verbreitet. Die drei wesentliche Prinzipien des Belmont-Berichts lauten:</div><div><br></div><div># Respekt für Personen</div><div># Gutes tun</div><div># Gerechtigkeit (bzgl. Fairness und Gleichheit)</div><div><br></div><div>Obwohl eine vielzahl von ethischen Elemente, Prinzipien und Richtlinien für KI vorgeschlagen wurden, existiert derzeit keine einheitliche Richtlinien für KI-Ethik. Allerdings besteht eine gewisse Konsens über die folgende zwei Elemente in die KI-Ethik zu integrieren:</div><div><br></div><div>* Governance - um die Einhaltung der gesetzlichen Vorschriften in Zusammenarbeit mit Regierungsbehörden sicherzustellen.</div><div>* Erklärbarkeit - die Funktionsweise der KI Systeme zu erklären (Transparenz) um Vertrauen gegenüber KI-Systeme zu schaffen.</div><div><br></div><div>Es gibt mehrere Organisationen mit dem Ziel das KI-Ethik zu fördern. Dies sind die folgenden.</div><div><br></div><div>* CHAI:Eine Kooperation verschiedener Universitäten und Institute ist das Center for Human-Compatible Artificial Intelligence<br /></div><div>(https://humancompatible.ai/), welche dei vertrauenswürdige KI und nachweislich nutzbringender Systeme fördert.</div><div>* DARPA: Die Defense Advanced Research Projects Agency des<br /></div><div>US-Verteidigungs-ministeriums (https://www.darpa.mil/work-with-us/ai-next-campaign) fördert die erklärbarer KI-Forschung.</div><div>* NASCAI: Die National Security Commission on Artificial Intelligence<br /></div><div>(https://www.nscai.gov/) ist eine US Kommission ,,die die Methoden und Mittel prüft, die notwendig sind, um die Entwicklung von künstlicher Intelligenz, maschinellem Lernen und damit verbundenen Technologien voranzutreiben, um die nationalen Sicherheits- und Verteidigungsbedürfnisse der Vereinigten Staaten umfassend zu erfüllen.“</div><div>* AlgorithmWatch: Eine gemeinnützige Organisation<br /></div><div>(https://algorithmwatch.org/en/), die sich auf den Einsatz von erklärbaren und nachvollziehbaren Entscheidungsprozessen und Algorithmen abzielt.</div><div>* AI Now Institute: Eine gemeinnützige Organisation an der New York University (https://ainowinstitute.org/), die sich mit der sozialen Auswirkungen der KI beschäftigt.</div><div><br></div><div>Laut Luciano Floridi und Josh Cowls herrscht eine weitgehende Übereinstimmung darüber, dass es möglich ist, die ethischen Prinzipien für gesellschaftlich nützlichen Einsatz von KI basierend auf die vier Prinzipien der Medizinethik und ein zusätzliches fünftes Prinzip, Erklärbarkeit aufzubauen :</div><div><br></div><div>,,1. Fürsorge (Benefizienz): KI-Technologie soll der Menschheit nützen, das Wohlergehen fördern, die Menschenwürde wahren und der Erhaltung des Planeten dienen.<br /></div><div>2. Schadensvermeidung (Non-Malefizienz): Negative Folgen eines übermäßigen oder missbräuchlichen Einsatzes von KI müssen vermieden werden, KI soll nur in einem sicheren Rahmen eingesetzt werden.<br /></div><div>3. Autonomie: Menschen müssen die volle Entscheidungsfreiheit darüber haben, ob und welche Aufgaben sie an KI-Systeme delegieren, ihre Freiheit, sich eigene Normen und Standards zu setzen, muss gewahrt bleiben.<br /></div><div>4. Gerechtigkeit: Wahrung der Solidarität, Vermeidung von Ungerechtigkeit, gleichberechtigter Zugang zu den Vorteilen der KI.<br /></div><div>5. Erklärbarkeit (Verständlichkeit): Die Prinzipien 1 bis 4 sind nur realisierbar, wenn auch Laien nachvollziehen können, welchen Nutzen oder Schaden KI für die Gesellschaft hat und wer für welche Auswirkungen verantwortlich ist.“</div><div><br></div><div><span id="kritik-und-debatten"></span></div><div>=== Kritik und Debatten ===</div><div><br></div><div>Es gibt derzeit eine Reihe von ethischer Diskussionen bzgl. KI Systemen. Sollche KI-Ethik einbeziehende Debatten kommen in mehrere Bereichen vor. Autonomes Fahren stellt ein Musterbeispiel dar. Von automatisierter Systeme sind erwartet, dass sie im Vergleich zur menschlichen Fahrleistung zumindest eine Schadensminderung erzielen. Da derzeitige KI Syteme sehr selten, aber eventuell Fehlerhafte Reaktionen produzieren, ist es zumindest fragwürdig ob autonome Fahrzeuge diese Erwartung erfüllen können. Außerdem ist es auch problematisch, wie ein autonomes Fahrzeug in einem nicht normierbare dilemmatische Entscheidungen, wie z.B. Leben gegen Leben bei plötzlich auftretenden Gefahren, reagieren werden sollen. Ähnliche Debatte kommen auch im Bereiche Autonome Waffensysteme und Maschinenethik aber allgemeiner in Bereiche, wo Algorithmen verwendet werden (siehe Studie [https://www.antidiskriminierungsstelle.de/SharedDocs/downloads/DE/publikationen/Expertisen/studie_diskriminierungsrisiken_durch_verwendung_von_algorithmen.pdf?__blob=publicationFile&v=3 Diskriminierung]), vor</div><div><br></div><div>Im Allgemeinen die folgende Debatte auslösende Quellen können identizifiert werden:</div><div><br></div><div># KI Systemen machen eventuell Fehler - durch Beschränkungen der Sammlung von Daten und Dokumentation sowie der algorithmischen Regeln und - Aufgrund der Unvollständigkeit der Korpora bei der Entscheidungsfindung (ist eine Angabe alle nötige Informationskanäle in die Korpora um die gleiche Entscheidung von KI zu haben, was ein Mensch machen würde, ist nicht möglich).</div><div># Bedenken hinsichtlich der Designziele des Systems, z.B. bessere Geschäftsergebnis zu schaffen statt öffentliches Interesse zu folgen. Eine andere Debatte bilden die Überlegungen über die technologische Singularität, i.e. wann die KI das Übertreffen die menschliche Intelligenz erreicht. Obwohl diese Superintelligenz steht nicht unmittelbar bevor, ist Sie mit Angst vor Gefahr auf die Menschheit verbunden. Allerdings ist diese Angst zumindest Teilweise unbegründet, da diese dadurch ausgelöst, dass die Funktionsweise der KI Systeme für meistens die Menschen nicht bekannt ist, also durch die fehlende Transparenz.</div><div><br></div><div><span id="ki-ethik-vorgehensweisen"></span></div><div>=== KI-Ethik-Vorgehensweisen ===</div><div><br></div><div>Eine mögliche Vorgehesweise in KI-Ethik ist die Verfassung einer KI-Ethikerklärung, zu deren Einhaltung sich jeder (Privatperson, Firma oder Institut) verpflichten kann, der sich an verantwortungsvollen Entwicklung der künstlichen Intelligenz befasst.</div><div><br></div><div>Eine sollche bekannte KI-Ethik-Erklärung ist die Montreal Declaration (https://www.montrealdeclaration-responsibleai.com/the-declaration). Die Prinzipien der Montreal Declaration lauten:</div><div><br></div><div><div class="small"></div><div><br></div><div># Wohlbefinden Respekt vor Autonomie</div><div># Schutz der Privatsphäre und Intimität</div><div># Solidarität</div><div># Demokratische Beteiligung</div><div># Gerechtigkeit</div><div># Vielfalt</div><div># Inklusion</div><div># Vorsichtsprinzip</div><div># Verantwortung</div><div># Nachhaltig</div><div># Entwicklung</div><div><br></div><div><br></div><div></div></div><div>Die Österreichische UNESCO-Kommission hat eine Empfehlung zur Ethik der KI ausgegeben [https://www.unesco.at/fileadmin/Redaktion/Wissenschaft/Wissenschafts-_und_Bioethik/UNESCO-Empfehlung_zur_Ethik_der_Kuenstlichen_Intelligenz.pdf Empfehlung zur Ethik der KI]. Eine Zusammenfassung üblicher internationalen Vorgehensweisen und Handlungsempfehlungen befindet sich im Dokument https://ec.europa.eu/futurium/sites/futurium/files/ethik_im_zeitalter_der_kunstlichen_intelligenz_v05_haarich_0.pdf.</div>

Einführung in Computational Intelligence und AI: Unterschied zwischen den Versionen

Version vom 10. September 2024, 18:16 Uhr

Navigationsmenü

Suche