Optimierung - Optimierung unter Nebenbedingungen

Optimierung unter Nebenbedingungen

Häufig treten in ökonomischen Anwendungen Optimierungsprobleme auf, bei denen gewisse Nebenbedingungen erfüllt werden müssen. Das bedeutet, das nicht mehr der ganze Definitionsbereich einer Funktion betrachtet wird, sondern nur eine Teilmenge; deren genaue Gestalt hängt von den Nebenbedingungen ab; maximieren wir etwa eine Funktion ${\textstyle f\left(x,y\right)}$ unter der Nebenbedingung: ${\textstyle g\left(x,y\right)=x^{2}+y^{2}=4}$, so wird das Maximum auf dem Kreis mit Radius 2 gesucht. Dieser ist die Höhenschichtline der Funktion ${\textstyle g\left(x,y\right)}$ zum Niveau 4. Wenn wir statt der Gleichung die Ungleichung ${\textstyle g\left(x,y\right)=x^{2}+y^{2}\leq 1}$ als Nebenbedingung vorgeben, so wird das Maximum auf der ganzen Kreisscheibe gesucht (also auch im Inneren des Kreises). Für den Spezialfall der Optimierung von linearen Funktionen unter linearen Nebenbedingungen gibt es das sogenannte Simplex-Verfahren, das hier nicht behandelt wird; es gibt dafür inzwischen leicht auffindbare Internetresourcen (z.B. www.phpsimplex.com oder LINDO); wir behandeln die weitaus schwierigere Fragestellung der nichtlinearen Optimierung unter Nebenbedingungen, die selbst linear oder nichtlinear sein können. Die wichtigste Methode zur Behandlung von Optimierungsaufgaben unter Nebenbedingungen besteht darin, diese auf Optimierungsprobleme ohne Nebenbedingungen zurückzuführen. Der Einfachheit halber werden wir diese Theorie hier nur für Funktionen in zwei Veränderlichen vorstellen, die Verallgemeinerung auf mehrere Veränderliche erfordert zwar mehr Rechenaufwand, jedoch keine neuen Konzepte. Wir beschreiben nur die Suche nach einem lokalen Minimum, für Maxima läuft alles völlig analog, bzw. kann man das Minimum von ${\textstyle -f\left(x,y\right)}$ suchen um das Maximum von ${\textstyle f\left(x,y\right)}$ zu erhalten.

Lagrange – Multiplikatoren – Gleichungen als Nebenbedingung

Wir wollen folgende Aufgabe lösen:Finde

$${\begin{aligned}\mathrm {min\ } f\left(x,y\right)\end{aligned}}$$

unter

$${\begin{aligned}g\left(x,y\right)=c\end{aligned}}$$

d.h., wir suchen das Minimum der Funktion ${\textstyle f\left(x,y\right)}$ über der Höhenschichtline zum Niveau ${\textstyle c}$ der Funktion ${\textstyle g\left(x,y\right)}$, wobei wir voraussetzen, dass sowohl ${\textstyle f}$ als auch ${\textstyle g}$ differenzierbar sind. Im ersten Schritt der Methode wird ein Lagrange-Multiplikator, zumeist mit ${\textstyle \lambda }$ bezeichnet (hat nichts mit den Eigenwerten einer Matrix zu tun!), eingeführt. Man definiert die Lagrange-Funktion ${\textstyle L}$ als

$${\begin{aligned}L\left(x,y,\lambda \right)=f\left(x,y\right)+\lambda \left(g\left(x,y\right)-c\right)\end{aligned}}$$

und sucht jene Paare ${\textstyle \left(x_{0},y_{0}\right)}$, für das es ein Lambda gibt, mit dem die Funktion in ${\textstyle \left(x_{0},y_{0},\lambda (x_{0},y_{0}\right))}$ ein Minimum annimmt. Die Nebenbedingung steckt nun implizit in der Lagrange-Funktion. Falls die Nebenbedingung erfüllt ist so gilt ${\textstyle L\left(x,y,\lambda \right)=f\left(x,y\right)}$. Falls die Nebenbedingung nicht erfüllt ist und zum Beispiel ${\textstyle g\left(x_{0},y_{0}\right)>c}$, so wird die Lagrange-Funktion für diesen Punkt für hinreichen kleines ${\textstyle \lambda }$ beliebig klein, und und die Lagrangefunktion kann in diesem Punkt für kein ${\textstyle \lambda }$ ein Minimum annehmen. Beachten Sie auch: das Kriterium ist etwas anderes als die Suche nach Tripeln ${\textstyle \left(x,y,\ \lambda \right)}$, welche die Lagrangefunktion minimieren – solche wird man im Allgemeinen nicht finden: gilt nämlich ${\textstyle \left(g\left(x,y\right)-c\right)\neq 0}$, dann gibt es aus den genannten Gründen kein optimales ${\textstyle \lambda }$!
Das Lagrange-Theorem besagt nun folgendes: falls ${\textstyle \left(x_{0},y_{0}\right)}$ ein lokales Minimum von ${\textstyle f\left(x,y\right)}$ unter der Nebenbedingung ${\textstyle g\left(x,y\right)=c}$ ist, und falls ${\textstyle \mathrm {\nabla g} (x_{0},y_{0})\neq (0,0)^{T}}$so gibt es eine eindeutige Zahl ${\textstyle \lambda }$, für welche die Lagrange-Funktion einen stationären Punkt in ${\textstyle \left(x_{0},y_{0}\right)}$ hat, d.h. ${\textstyle \mathrm {\nabla L} (x_{0},y_{0})=(0,0)^{T}}$ unter Beibehaltung der Nebenbedingung ${\textstyle g\left(x,y\right)=c}$. Um Kandidaten zur Lösung der ursprünglichen Aufgabe zu erhalten, muss also das folgende System von Gleichungen gelöst werden:

$${\begin{aligned}&{\frac {\partial }{\partial x}}L(x,y,\lambda )={\frac {\partial }{\partial x}}f(x,y)+\lambda {\frac {\partial }{\partial x}}g(x,y)=0\\&{\frac {\partial }{\partial y}}L(x,y,\lambda )={\frac {\partial }{\partial y}}f(x,y)+\lambda {\frac {\partial }{\partial y}}g(x,y)=0\\&{\frac {\partial }{\partial \lambda }}L(x,y,\lambda )=g(x,y)-c=0\end{aligned}}$$

d.h., der Gradient der Zielfunktion ist ein lineares Vielfaches des Gradienten der Funktion, die die Nebenbedingung angibt. Nun zeigt uns der Gradient die Richtung des stärksten Anstiegs an und steht normal auf die Höhenschichtlinie. Stellen wir uns den Graphen der Zielfunktion als hügelige Landschaft vor, so wird durch die Nebenbedingung ein Weg durch diese Landschaft gelegt, und gesucht werden die höchsten bzw. tiefsten Punkte auf diesem Weg. An diesen fällt das Gelände senkrecht zum Weg am steilsten ab.
Beispiel 11:
Ein Verbraucher habe die Nutzenfunktion

$${\begin{aligned}f\left(x,y\right)=\mathrm {xy} .\end{aligned}}$$

Maximiere die Nutzenfunktion unter der Budgetbeschränkung

$${\begin{aligned}g\left(x,y\right)=x+2y=\mathrm {10} .\end{aligned}}$$

Die Lagrange Funktion lautet:

$${\begin{aligned}L\left(x,y,\lambda \right)=\mathrm {xy} +\left(x+2y-\mathrm {10} \right)\end{aligned}}$$

Null setzen der partiellen Ableitungen gibt

$${\begin{aligned}{\frac {\partial }{\partial x}}L(x,y,\lambda )&=y+\lambda =0\\{\frac {\partial }{\partial y}}L(x,y,\lambda )=x+2\lambda &=0\end{aligned}}$$

Elimination von ${\textstyle \lambda }$ aus diese beiden Gleichungen liefert ${\textstyle x-2y=0}$ Und wir haben die Nebenbedingung

$${\begin{aligned}x+2y=\mathrm {10} \end{aligned}}$$

Dieses lineare Gleichungssystem mit zwei Variablen hat eine eindeutige Lösung:

$${\begin{aligned}x=5,y=2.5\end{aligned}}$$

und schließlich

$${\begin{aligned}\lambda =-y=-2\mathrm {.} 5\end{aligned}}$$

An sich haben wir bisher nur eine notwendige Bedingung für ein lokales Extremum und es sollte noch gezeigt werden, dass es sich tatsächlich um ein Maximum handelt. Ähnlich wie im Falle der Optimierung ohne Nebenbedingung gibt es entsprechende Kriterien an die zweiten Ableitungen von ${\textstyle f}$ und ${\textstyle g}$, anhand derer man entscheiden kann ob es sich um ein Maximum oder ein Minimum handelt. Wir wollen uns zunächst auf eine graphische Darstellung des Sachverhalts beschränken:

Optimierung unter Nebenbedingungen

Optimierung unter Nebenbedingungen

Abbildung 1.4 zeigt einerseits ausgewählte Niveaulinien der Zielfunktion ${\textstyle f\left(x,y\right)=\mathrm {xy} }$, anderseits die Gerade ${\textstyle y=5-{\frac {x}{2}}}$ welche gerade die Budget-beschränkung beschreibt. Sinnvoller weise sind beide Investitionen x und y positiv. Entsprechende Ungleichungs-Nebenbedingungen werden im nächsten Abschnitt besprochen. Am Punkt ${\textstyle (x_{0}=5,y_{0}=2.5)}$ berührt die Gerade die Niveaulinie zum Wert ${\textstyle xy=12.5}$. Es ist klar ersichtlich, dass an allen anderen Punkten die Gerade jene Niveaulinien schneidet, die einem geringeren Wert der Zielfunktion entsprechen. Daher handelt es sich bei dem Punkt ${\textstyle (x_{0},y_{0})}$ um ein lokales Maximum der Zielfunktion unter der gegebenen Budgetbeschränkung. Dass an dieser Stelle die Nebenbedingungsgerade tangential an die Niveaulinie liegt ist typisch, und der geometrische Grund dafür, dass die Lagrange-Methode funktioniert. Abbildung 1.5 ist eine dreidimensionale Veranschaulichung des Sachverhaltes; die stark ausgezogene Kurve ist der Graph der Funktion unter der Nebenbedingung (der „Weg durch das hügelige Gelände“, um beim Bild zu bleiben). An seinem höchsten Punkt ist er tangential zum Graphen der Höhenschichtlinien, d.h., das Gelände fällt dort senkrecht zum Weg am steilsten ab.
Für eine allgemeine Klassifizierung von Punkten, die mithilfe der Lagrage Funktion gefunden wurden, steht die Methode der berandeten Hessematrizen zur Verfügung; im zweidimensionalen Fall: Sei

$$L(x,y,\lambda )=f(x,y)+\lambda g(x,y-c)$$

die Lagrangefunktion eines Optimierungsproblems; dann bilden wir die Hessematrix nach allen drei Variablen – allerdings beginnend mit ${\textstyle \lambda }$:

$${\bar {H}}=\left({\begin{array}{c}{\frac {\partial ^{2}L}{\partial \lambda ^{2}}}{\frac {\partial ^{2}L}{\partial \lambda \partial x}}{\frac {\partial ^{2}L}{\partial \lambda \partial y}}\\{\frac {\partial ^{2}L}{\partial \lambda \partial x}}{\frac {\partial ^{2}L}{\partial x^{2}}}{\frac {\partial ^{2}L}{\partial x\partial y}}\\{\frac {\partial ^{2}L}{\partial \lambda \partial y}}{\frac {\partial ^{2}L}{\partial x\partial y}}{\frac {\partial ^{2}L}{\partial y^{2}}}\end{array}}\right)$$

(der linke obere Eintrag – die zweite Ableitung nach ${\textstyle \lambda }$ – ist immer 0.)
Ist die Determinante dieser Matrix positiv, so haben wir ein lokales Maximum, ist sie negativ, ein Minimum, ist die Determinante Null, so ist die Frage nicht entscheidbar.
Einen Sonderfall stellen Nebenbedingungen dar, die eine beschränkte Menge beschreiben – z.B. einen geschlossenen Kreis, eine Ellipse oder ein Streckenstück; auf einer solchen Menge können wir einfach alle kritischen Punkte der Reihe nach betrachten – der mit dem größten Funktionswert ist das Maximum, der mit dem kleinsten das Minimum.

Aufgabe 8:
Finde die beiden Extremstellen von

$${\begin{aligned}f\left(x,y\right)=x^{2}+y^{2}\end{aligned}}$$

unter der Nebenbedingung

$${\begin{aligned}g\left(x,y\right)=x^{2}+\mathrm {xy} +2=3\end{aligned}}$$

Die vorgestellte Theorie lässt sich weitgehend unverändert auf Funktionen mit mehr als zwei unabhängigen Variablen erweitern. Häufig gibt es in der Anwendung mehr als eine Nebenbedingung, und die Lagrange-Methode besteht dann darin, dass für jede Nebenbedingung ein eigener Lagrange-Multiplikator hinzugefügt wird. Bei einem Optimierungsproblem in n Variablen mit m Nebenbedingungen erhält man demnach eine Lagrange-Funktion L in n+m Variablen. Kandidaten für lokale Extrema erhält man wiederum indem man nach stationären Punkten von L sucht, wobei es nun gilt n+m Gleichungen in n+m Variablen zu lösen.

Karush Kuhn Tucker Bedingungen

Häufig tauchen Nebenbedingungen nicht in Gleichungsform, sondern in Ungleichungsform auf, z.B., dass eine Variable x nur positive Werte annehmen kann, also die Nebenbedingung ${\textstyle x\geq 0}$ erfüllen muss. Das allgemeine Problem in zwei Variablen mit einer Nebenbedingung hat die Form: Finde

$${\begin{aligned}\mathrm {max\ (} f(x,y))\end{aligned}}$$

unter

$${\begin{aligned}g\left(x,y\right)\leq c\end{aligned}}$$

D.h., wir suchen das Minimum der Funktion ${\textstyle f\left(x,y\right)}$ über einem Bereich, der von der Höhenschichtline zum Niveau c der Funktion ${\textstyle g\left(x,y\right)}$ begrenzt wird, wobei wir wieder voraussetzen, dass sowohl f als auch g differenzierbar sind. Die Menge aller ${\textstyle \left(x,y\right)}$ welche die Nebenbedingung erfüllen, wird als zulässige Menge bezeichnet. Im Prinzip kann dieses Problem mit den bereits gelernten Methoden behandelt werden, indem man einerseits nach lokalen Extremstellen im Inneren des zulässigen Bereichs sucht (Optimierung ohne Nebenbedingung), und andererseits den Rand des zulässigen Bereichs ${\textstyle g\left(x,y\right)=c}$ mit Hilfe der Lagrange-Methode untersucht. Unter gewissen Voraussetzungen an die Randbedingungen (den sogenannten constraint qualifications ) lassen sich allerdings notwendige Bedingungen für lokale Extremwerte im gesamten zulässigen Bereich angeben. Dazu wird wiederum die Lagrange-Funktion

$${\begin{aligned}L\left(x,y,\lambda \right)=f\left(x,y\right)+\lambda \left(g\left(x,y\right)-c\right)\end{aligned}}$$

definiert, allerdings gilt hier für die Lagrange Multiplikatoren ${\textstyle \lambda \leq 0}$. Entscheidend ist nun die sogenannte komplementäre Schlaffheitsbedingung (complementary slackness). Man fordert, dass entweder die Nebenbedingung exakt erfüllt ist (d.h. ${\textstyle g\left(x,y\right)=c}$), oder aber der Lagrange Multiplikator${\textstyle \lambda =0}$. Diese Bedingung ist erfüllt falls

$${\begin{aligned}\lambda \left(g\left(x,y\right)-c\right)=0\end{aligned}}$$

Die complementary slackness Bedingung beinhaltet in sehr eleganter Form dass ein lokaler Extremwert direkt am Rande des zulässigen Bereiches andere Bedingungen erfüllen muss als im Inneren: für ${\textstyle \lambda =0}$ erhält man die lokalen Maxima im Inneren, diese sind die gleichen, die wir auch ohne Nebenbedingung gefunden hätte. Am Rand hingegen müssen die Gradienten von ${\textstyle f\left(x,y\right)}$ und ${\textstyle g\left(x,y\right)}$ (anti-) parallel sein, d.h., wenn wir der Richtung des steilsten Angstiegs der Zielfunktion folgen würden, würden wir den von der Nebenbedingung erlaubten Bereich verlassen. Zusammenfassend liefert dies die sogenannten Karush Kuhn Tucker (KKT) Bedingungen als notwendige Bedingungen für lokale Extrema unter Ungleichheits-Nebenbedingungen:

$${\begin{aligned}{\frac {\partial }{\partial x}}L(x,y,\lambda )={\frac {\partial }{\partial x}}f(x,y)+\lambda {\frac {\partial }{\partial x}}g(x,y)&=0\\{\frac {\partial }{\partial y}}L(x,y,\lambda )={\frac {\partial }{\partial y}}f(x,y)+\lambda {\frac {\partial }{\partial y}}g(x,y)&=0\\g(x,y)\leq c\lambda &\leq 0\\\lambda (g(x,y)-c)&=0\end{aligned}}$$

Beispiel 12:
Ein Unternehmen hat die Möglichkeit zwei Güter zu produzieren. Bei beiden Produkten ist der erzielbare Preis jeweils proportional zur Qualität x bzw. y, während der Aufwand zur Qualitätssteigerung quadratisch wächst. D.h.:
 Produkt 1: Für Preis ${\textstyle ax}$ bedarf es ${\textstyle Ax^{2}}$ Arbeitseinheiten
 Produkt 2: Für Preis ${\textstyle by}$ bedarf es ${\textstyle By^{2}}$ Arbeitseinheiten
 wobei alle Konstanten ${\textstyle (a,b,A,B)}$ größer als 0 sein sollen.
 Das Unternehmen hat insgesamt höchstens L Einheiten an Arbeit pro Woche zur Verfügung, die es der Produktion der beiden Güter zuordnen kann. Bestimme welche Qualität ${\textstyle x}$ bzw. ${\textstyle y}$ den Erlös maximiert, wenn der wöchentliche Absatz auf jeden Fall gewährleistet ist. Lösung: Der erzielbare Erlös beträgt

$${\begin{aligned}f\left(x,y\right)=\mathrm {ax} +b\end{aligned}}$$

Die Gesamtarbeitsleitung ist beschränkt:

$${\begin{aligned}g\left(x,y\right)={\mathrm {Ax} }^{2}+{\mathrm {By} }^{2}\leq L\end{aligned}}$$

Die KKT Bedingungen lauten also:

$${\begin{aligned}{\frac {\partial }{\partial x}}L(x,y)&=a+2\lambda \mathrm {Ax} =0\\{\frac {\partial }{\partial y}}L(x,y)=b+2\lambda \mathrm {By} =0&=\\\lambda \left(\mathrm {Ax} ^{2}+\mathrm {By} ^{2}-L\right)&=0\end{aligned}}$$

wobei

$${\begin{aligned}\lambda \leq 0{\mathrm {Ax} }^{2}+{\mathrm {By} }^{2}\leq L\end{aligned}}$$

Falls ${\textstyle \lambda =0}$ folgt aus den ersten beiden Gleichungen unmittelbar ${\textstyle a=b=0}$, im Widerspruch zur Angabe. Für ${\textstyle \lambda <0}$ folgt ${\textstyle x>0,y>0}$, und daher

$${\begin{aligned}\lambda ={\frac {-a}{2Ax}}={\frac {-b}{2By}}\end{aligned}}$$

Somit gilt auch

$${\begin{aligned}y={\frac {\mathrm {Ab} }{\mathrm {Ba} }}x\end{aligned}}$$

Andererseits muss gelten (complementary slackness)

$${\begin{aligned}\mathrm {Ax} ^{2}+\mathrm {By} ^{2}=L\end{aligned}}$$

und wir folgern, dass insgesamt die optimale Lösung erreicht wird für

$${\begin{aligned}x={\sqrt {\frac {L}{a^{2}B+b^{2}A}}}\cdot {\frac {a{\sqrt {B}}}{\sqrt {A}}}y={\sqrt {\frac {L}{a^{2}B+b^{2}A}}}\cdot {\frac {b{\sqrt {A}}}{\sqrt {B}}}\end{aligned}}$$

Aufgabe 9: Untersuche die Funktion

$${\begin{aligned}f\left(x,y\right)=x^{2}+y+1\end{aligned}}$$

auf Extremwerte unter der Nebenbedingung

$${\begin{aligned}g\left(x,y\right)=x+y\leq 4\end{aligned}}$$

Zusammenfassung
 Wir haben einige Aspekte der nichtlinearen Optimierung kennen gelernt. Speziell wurden zur Lösung von mehrdimensionalen Optimierungsaufgaben als hinreichende Bedingungen für lokale Maxima und Minima die Definitheitseigenschaften der Hessematrix angegeben. Für Optimierungsaufgaben mit Nebenbedingungen wurden nur notwendige Bedingungen zum Finden von lokalen Extremstellen besprochen, und zwar die Lagrange-Methode im Falle von Gleichheits-nebenbedingungen, und die Karush-Kuhn-Tucker Bedingungen für Ungleichheits-nebenbedingungen. Als einfache Algorithmen zum Lösen von nichtlinearen Optimierungsaufgaben wurden das Newton-Verfahren und das Gradientenverfahren kurz diskutiert.

Optimierung ist ein weites Feld, und viele interessante Gebiete konnten hier nicht einmal kurz angerissen werden. Eine Liste von gängigen Fragestellungen umfasst Transportprobleme, Zuordnungsprobleme, Netzplantechnik oder das weitläufige Gebiet der ganzzahligen und kombinatorischen Optimierung. Die dort benötigten Techniken unterscheiden sich oft wesentlich von denen die in diesem Kapitel erwähnt wurden, und oftmals finden Konzepte der Graphentheorie Verwendung. Für eine elementare deutschsprachige Einführung sei etwa auf das Buch von Domschke und Drexl (1995) verwiesen.