Condiciones de Karush-Kuhn-Tucker

Departamento de Matematicas, CSI/ITESM

21 de abril de 2010

Indice

16.1. Historia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116.2. Formulacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116.3. Uso de las Condiciones KKT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316.4. Ejemplo 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316.5. Ejemplo 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 416.6. Ejemplo 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516.7. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

16.1. Historia

Las condiciones necesarias que deben satisfacer los optimos de problemas de optimizacion no lineal conrestricciones de desigualdad fueron publicadas por primera vez (1939) en la tesis de Maestra de WilliamKarush (1917-1997) (en aquel entonces estudiante de matematicas de la Universidad de Chicago) (W. Karush(1939): Minima of Functions of Several Variables with Inequalities as Side Constraints. M.Sc. Dissertation.Dept. of Mathematics, Univ. of Chicago, Chicago, Illinois.), aunque fueron renombradas tras un artculo enuna conferencia de Harold W. Kuhn y Albert W. Tucker en 1951. (H. W. Kuhn, Tucker, A. W.: Nonlinearprogramming (Proceedings of 2nd Berkeley Symposium, University of California Press, 1951, Berkeley.)Las condiciones de Karush-Kuhn-Tucker (KKT) son una generalizacion del metodo de los multiplicadores deLagrange para restricciones de desigualdad.

16.2. Formulacion

Considere el problema de optimizacion

Min f(x1, x2, . . . , xn)

sujeto ag1(x1, x2, . . . , xn) 0g2(x1, x2, . . . , xn) 0

...gm(x1, x2, . . . , xn) 0

(1)

El metodo de solucion procede de la siguiente manera. Cambiemos cada restriccion de desigualdad gi 0 auna restriccion de igualdad introduciendo una variable si de la siguiente manera:

gi 0 gi + s2i = 0

De acuerdo a la tecnica de los multiplicadores de Lagrange se construye la funcion:

F (x, , s) = f(x) +m

i=1

i (gi + s2i ) (2)

Los puntos que minimizan a f sujeta a las restricciones gi 0 (1 i m) estan dentro de los puntos crticosde F :

Que hacen cero las parciales con respecto a las variables xj (j = 1, . . . , n):

F

xj=

f

xj+

m

i=1

igixj

= 0

Que hacen cero las parciales con respecto a las variables i (i = 1, . . . ,m):

F

i= gi + s

2i = 0 gi 0

Que hacen cero las parciales con respecto a las variables si (i = 1, . . . ,m):

F

si= 2i si = 0 i si = 0 i gi = 0

Lo anterior se resume en el siguiente teorema que indica las condiciones que deben satisfacer los puntosque minimizan la funcion sujeta a las restricciones.Teorema

Suponga una formulacion para el problema anterior de minimizacion. Si x0 = (a1, a2, . . . , an) es unoptimo, entonces deben existir numeros reales llamados multiplicadores 1, 2,. . . ,m no negativostales que (a1, a2, . . . , an, 1, . . . , m) es un punto crtico para F . Es decir que se cumple:

Bloque I

+f(xo)xj +m

i=1 igi(xo)xj

= 0 j = 1, 2 . . . , n

Bloque II: Condicion de Holgura Complementariai gi(xo) = 0 i = 1, 2, . . . ,m

Bloque IIIgi 0 i = 1, 2, . . . ,m

(3)

Observe que los valores de si se obtienen de la relacion gi + s2i = 0 y de que gi 0.

Si ahora el problema es de maximizacion:

Max f(x1, x2, . . . , xn)

sujeto ag1(x1, x2, . . . , xn) 0g2(x1, x2, . . . , xn) 0

...gm(x1, x2, . . . , xn) 0

(4)

2

Para su solucion lo cambiamos a un problema de minimizacion para f(x). En este caso la funcion F quedaen la forma:

F (x, , s) = f(x) +m

i=1

i (gi + s2i )

De tal forma que las condiciones que deben satisfacer los optimos ahora quedan de acuerdo al siguienteteorema.Teorema

Suponga una formulacion para el problema anterior en el caso de maximizacion. Si x0 = (a1, a2, . . . , an)es un optimo, entonces deben existir numeros reales llamados multiplicadores 1, 2,. . . ,m no negativostales que (a1, a2, . . . , an, 1, . . . , m) es un punto crtico para F . Es decir, que se cumple:

Bloque I

f(xo)xj +m

i=1 igi(xo)xj

= 0 j = 1, 2 . . . , n

Bloque IIi gi(xo) = 0 i = 1, 2, . . . ,mBloque III

gi 0 i = 1, 2, . . . ,m

(5)

16.3. Uso de las Condiciones KKT

La forma de operar las condiciones de KKT sera la siguiente: Como lo que buscamos es el punto xo y deinicio se desconoce, entonces las ecuaciones de las condiciones de los bloques I y II se piensan como un sistemade ecuaciones en las variables xj

s y js: Se intenta resolver tal sistema de ecuaciones y en caso de encontrarse

las soluciones se revisan una a una para ver cual de ella cumple que los js son no negativos y que tambien

se cumplen las restricciones gi 0 en los puntos encontrados. Normalmente se realiza una tabla donde se hacela verificacion.Observe tambien es posible trabajar el problema de maximizacion resolviendo el problema de minimizacionpero conservando aquellos puntos que tengan los valores de los multiplicadores no positivos.

16.4. Ejemplo 1

Encuentre los valores mnimo y maximo de la funcion f(x1, x2) = 3 x1 x2 sujeta a las restricciones0 x1, 0 x2 y 2x1 + x2 2.Solucion

Primero cambiemos las restricciones a la forma gi 0:

0 x1 g1 = x1 00 x2 g2 = x2 0

x1 + x2 2 g3 = 2x1 + x2 2 0

Resolvamos el problema de minimizacion primeramente. En este caso las condiciones son:

Bloque If(xo)x1

+m

i=1 igi(xo)x1

= 1 + 21 2 = 0

f(xo)x2

+m

i=1 igi(xo)x1

= 1 + 1 3 = 0

Bloque II: Condicion de Holgura Complementaria1 g1 = 1 (2x1 + x2 2) = 02 g2 = 2 x1 = 03 g3 = 3 x2 = 0

3

El sistema de ecuaciones es resuelto en Maple y se arma la siguiente tabla.

x1 x2 1 2 3 g1 g2 g3 f

0 0 0 -1 -1 -2 0 0 3

1 0 1/2 0 -1/2 0 -1 0 2

0 2 1 1 0 0 0 -2 1

En la tabla vemos que solo el ultimo renglon tiene valores de los multiplicadores no negativos. Por tanto,el mnimo valor de f(x1, x2) lo alcanza en P (0, 2) y es 1.

Para determinar el maximo las condiciones quedan:

Bloque I

f(xo)x1 +m

i=1 igi(xo)x1

= 1 + 21 2 = 0

f(xo)x2 +m

i=1 igi(xo)x1

= 1 + 1 3 = 0

Bloque II: Condicion de Holgura Complementaria1 g1 = 1 (2x1 + x2 2) = 02 g2 = 2 x1 = 03 g3 = 3 x2 = 0

El sistema de ecuaciones es resuelto en Maple y se arma la siguiente tabla.

x1 x2 1 2 3 g1 g2 g3 f

0 0 0 1 1 -2 0 0 3

1 0 -1/2 0 1/2 0 -1 0 2

0 2 -1 -1 0 0 0 -2 1

En la tabla vemos que solo el primer renglon tiene valores de los multiplicadores no negativos. Por tanto,el maximo valor de f(x1, x2) lo alcanza en Q(0, 0) y es 3.

Observamos que las tablas para minimizacion y para maximizacion son identicas salvo que los valores de losmultiplicadores estan cambiados de signo. Por tanto, la estrategia conveniente para optimizar una funcionsujeta a restricciones de desigualdad por el metodo de las condiciones de KKT sera:

1. Plantear el problema como si se tratara solo de minimizacion y resolver el sistema de ecuacionescorrespondientes.

2. Eliminar aquellos puntos encontrados que no satisfacen las restricciones gi 0.

3. Eliminar aquellos puntos que tienen a la vez multiplicadores positivos y negativos.

4. Para minimizacion: escoger dentro de aquellos puntos que tienen multiplicadores no negativos aquel quetienen la menor evaluacion de la funcion objetivo.

5. Para maximizacion: escoger dentro de aquellos puntos que tienen multiplicadores no positivos aquel quetienen la mayor evaluacion de la funcion objetivo.

4

Figura 1: Preparativos y puntos crticos del ejemplo 2

Figura 2: Sustitucion de los puntos crticos en [x, y, t, g, f ]

16.5. Ejemplo 2

Encuentre los maximos y mnimos absolutos de la funcion:

f(x, y) = x2 + y2 + y 1

En la region S definida porS =

{(x, y) R2|x2 + y2 1

}

Solucion

Utilizaremos las condiciones KKT para caracterizar los maximos y los mnimos. Aqu g = g(x, y) = x2+y21 0. En la figura 1 aparecen los preparativos para la solucion del problema, as como sus puntos crticos. El ordende las variables en la matriz es x y t.

En la figura 2 aparecen las coordenadas de los puntos crticos y las evaluaciones de g y de f en cada unode los puntos crticos. Lo que se resume en la siguiente tabla.

x y t g f

0 -1/2 0 -3/4 -5/4

0 -1 -1/2 0 -1

0 1 -3/2 0 1

Observe que:

Los tres puntos cumplen la restriccion g(x, y) 0.

Para minimizacion, solo el primer punto al tener t = 0 cumple t 0. Por tanto, P (0,1/2) debe ser elmnimo.

Para maximizacion, los puntos dos y tres al tener t = 1/2 y t = 3/2 son los candidatos a maximos dela funcion. Debera escogerse aquel que tiene un mayor valor de f .

Por lo tanto, f(x = 0, y = 1/2) = 5/4 es el mnimo de la funcion y f(x = 0, y = 1) = 1 es el valor maximo.

5

16.6. Ejemplo 3

Un comerciante puede comprar hasta 17.25 onzas de un producto qumico A a 10 dolares cada onza. Sepuede convertir una onza del producto qumico A en una onza del producto I a un costo de 3 dolares a onza.Asimismo, una onza del qumico A se puede convertir en una onza del producto II a un costo de 5 dolares laonza. Si se producen x1 onzas del producto I se vendera a 30x1 dolares la onza, mientras que si se producenx2 onzas del producto II se vendera a 50x2 dolares la onza. Determine como el comerciante puede maximizarsus ganancias.Solucion:Variables de Decision

x1 = Onzas del producto I producidas

x2 = Onzas del producto II producidas

Objetivo

Lo que debe hacerse es maximizar las ganancias que se obtiene restando a las ventas los costos, tanto demateria prima como de produccion:

Max z = x1 (30 x1) + x2 (50 x2) 3x1 5x2 10 (x1 + x2)

Restricciones

x1 + x2 17.25, 0 x1, 0 x2

Nos olvidaremos de las restricciones de no-negatividad para la x1y x2 y posteriormente filtramos las solucionesencontradas.As:

f = x1 (30 x1) + x2 (50 x2) 3x1 5x2 10 (x1 + x2)g1 = x1 + x2 17.25 0g2 = x1 0g3 = x2 0

Las condiciones de KKT que debe satisfacer el optimo son:

Bloque I

fx1 +3

i=1 i gix1

= 17 + 2x1 + 1 2 = 0

fx2 +3

i=1 i gix1

= 35 + 4x2 + 1 3 = 0

Bloque II1 (g1) = 1 (x1 + x2 17.25) = 0

2 (g2) = 2 x1 = 03 (g3) = 3 x2 = 0

Resolviendo el sistema anterior con Maple obtenemos los siguientes puntos. En la tabla se tabula cada una delas restricciones evaluada en el punto correspondiente. Recuerde que las s deben ser positivas y las restriccionesdeben cumplirse (gi 0):

x1 x2 1 2 3 g1(x) g2(x) g2(x) f(x)

0 0 0 -17. -35. -17.25 0 0 0

8.50 0 0 0 -35. -8.75 -8.50 0 72.25

17.25 0 -17.5 0 -52.5 0 -17.25 0 -4.3125

0 17.5 0 -17. 0 .25 0 -17.5 306.25

8.50 17.5 0 0 0 8.75 -8.50 -17.5 378.5

0 17.25 .500 -16.5 0 0 0 -17.25 306.1875

4.125 13.125 8.75 0 0 0 -4.125 -13.125 340.21875

6

Figura 3: Preparativos en la TI para el ejemplo 3

El puntos correspondientes a los renglones 1, 2, 3, 4 y 6 se cancelan pues tienen al menos un negativo. Elrenglon 5 se cancela pues una de las restricciones no se cumple: g1 debe ser 0. Por consiguiente, el unicopunto sobrevieviente es el del renglon 7: x1 = 4.125 y x2 = 13.125 con una evaluacion de 340.21875.Nota

Si se utiliza LINGO para resolver el problema codificandolo como

MAX=x1*(30-x1)+x2*(50-x2)-3*x1-5*x2-10*(x1+x2);x1+x2

Figura 4: Formacion del sistema para los puntos crticos del ejemplo 3

Figura 5: Puntos crticos del ejemplo 3

En la figura 5 se muestran las races del sistema que define los puntos crticos. Observe que estas 7 racescoinciden con los resultados de Maple. Recuerde que en la primer columna aparece el valor de x1, en lasegunda el de x2, en la tercera el de t1, en la cuarta el de t2 y en la quinta el de t3. Como los valoresde ti esperados deben ser positivos esto descarta todos excepto los correspondientes a los renglones 1 y 3:P (x1 = 4.125, x2 = 13.125, t1 = 8.75, t2 = 0, t3 = 0) y Q(x1 = 8.5, x2 = 17.5, t1 = 0, t2 = 0, t3 = 0)

Recuerde que algunos de estos puntos crticos pueden no cumplir las restricciones y deben pasarse porla verificacion. En la figura 6 se muestran los vectores [g1, g2, g3] resultantes de sustituir en las restriccioneslos puntos. Recuerde que las restricciones son del tipo gi 0. Obervamos que el punto Q se descarta puesg1(Q) = 8.75 > 0 y que el punto P las cumple. Por tanto, el unico punto maximo de f sujeto a las restriccioneses P (x1 = 4.125, x2 = 13.125, t1 = 8.75, t2 = 0, t3 = 0) y que tiene una evaluacion de 340.219

16.7. Ejercicios

Los siguientes seran los ejercicios de tarea para este tema.Ejercicio 1

Utilizando las condiciones de KKT resuelva el problema:

Max z = x1 x2

Figura 6: Verificacion de restricciones para el ejemplo 3

8

sujeto a la condicion:g1(x1, x2) = x1

2 + x22 1 0

Indique en orden los valores de x1, x2 y de z.

Ejercicio 2

Utilice las condiciones de KKT para encontrar la solucion optima del siguiente problema:

Min z = (x1 3)2 + (x2 5)

2

sujeto a:g(x1, x2) = x1 + x2 7 0

x1 0x2 0

Indique en orden los valores de x1, x2 y de z.

Ejercicio 3

Utilice las condiciones de KKT para encontrar la solucion optima del siguiente problema:

Max z = (x1 1)2 + (x2 2)

2

sujeto a:g1(x1, x2) = x1 + x2 1 = 0g2(x1, x2) = x1 + x2 2 0

x1 0x2 0

Indique en orden los valores de x1, x2 y de z.Sugerencia: Codifique la restriccion g1 = 0 mediante las dos restricciones g1 0 y g1 0 (g1 0).

Ejercicio 4

Una compana de energa electrica enfrenta demandas de energa durante los tiempos de carga maxima y nomaxima. Si cobra un precio de p1 dolares el kilowatt-hora durante el tiempo de carga maxima, entonces losclientes pediran 60 0.5 p1 kwh de energa. Si se cobra un precio de p2 dolares el kilowatt-hora, entonces losclientes pediran 40 p2 kwh. La compana tiene que tener la suficiente capacidad para satisfacer la demandadurante los dos tiempos. A la compana le cuesta 10 dolares al da mantener cada kilowatt-hora de capacidad.Determine como la compana puede maximizar los ingresos diarios menos los costos de operacion. Indique

la capacidad de la compana en kwh,

el precio en dolares durante el tiempo de demanda maxima, y

el precio en dolares fuera de demanda maxima.

Ejercicio 5

Se disponen semanalmente de un total de 160 horas de mano de obra a 15 dolares la hora. Se puede conseguirmano de obra adicional a 25 dolares la hora. Se puede obtener capital en cantidades ilimitadas a un costode 5 dolares la unidad de capital. Si se disponen de K unidades de capital y de L horas de mano de obra,entonces se pueden producir L1/2K1/3 maquinas. Se vende cada maquina a 270 dolares. Como puede laempresa maximizar sus ganancias? Indique

9

el total de horas de mano de obra a utilizar,

el total de unidades de capital, y

el total de maquinas a producir.

10

HistoriaFormulacinUso de las Condiciones KKTEjemplo 1Ejemplo 2Ejemplo 3Ejercicios