| applet-magic.com Thayer Watkins Kiseldal & Tornadogränd USA |
|---|
|
Tvunget och Unconstrained |
Ändamålet som lyder finnas härav derivationen av de andra beställningbeskaffenhetarna för optimization, så att läsareviljan förstår inte bara vad de andra beställningbeskaffenhetar finnas men de finnas dessutom varför de riktiga beskaffenhetarna. För det unconstrained fallet beskaffenhetarna finnas påstått i ordalag av matrisen av andra derivata som anropas Hessianmatrisen. Hessianmatrisen finnas intuitively begripligt. beskaffenhetarna för den tvungna fallburken finnas lätt påstått i ordalag av en matris som anropas dengränsade hessianen. För generationen generationen efter av ansökt matematik som studenter har, accepterade den gränsade hessianen utan en ledtråd såsom till den finnas varför den relevant entiteten.
För att fulfill målet av att skaffa en intuitive derivation av de andra beställningbeskaffenhetarna etta vilja för två och tre variabel fall finnas gett först innan den flyttar till variabelfallet för general n.
Även om detta fall finnas så enkelt, det förefaller nästan trivial dess analys sätter scenen för de mer mycket komplexfallen.
Låta f(x) finnas en differentiable funktion. den quadratic approximationen till nära f(x) någon punkt x0 finnas gett vid
var dx=(x-x0) och df=f(x) - f(x0).
En kritisk punkt finnas ett värde av sådan x0 att fx(x0) =0. Om fx(x0) = 0 alltså
För ett minimum df måster finnas positivt, och sedan (dx)2 finnas alltid positivt den betyder att fxx(x0) måstar finnas positivt. Å ena sidan för en max df måster finnas negativa, och det fordrar att fxx(x0) finnas negativa. Fallet för Hessianmatrisen finnas härför justt matrisen 1×1 [fxx(x0)]. (Hereafter punkten de andra derivata finnas varvid evaluerad vilja finnas inte uttryckt explicitly så fallet för Hessianmatrisen skade härför finnas sagt till finnas [fxx].
Det finnas nr som härför motsvarar det tvungna fallet för variabeln för ettan för optimizationproblem.
Den quadratic approximationen om punkten(x0, y0) för en differentiable funktion f(x, y) finnas
df = fxdx + fydy + ½(dx, dy)H(dx, dy)T
var (dx, dy)T finnas den vilkna spaltvectoren finnas transposen av radvectoren(dx, dy) och
| | fxy fxx | | ||
| H | = | | | |
| | fyy fyx | |
För det unconstrained fallet per kritisk punkt finnas den sådan ettan att fx=0 och fy=0 så
För ett minimum den andra beställningbeskaffenheten finnas att H finnas en positiv bestämd matris. Conditonen för en matris till finnas positivt bestämt finnas att dess allaa föreståndareminors finnas positivt. För ett maxt H måstar finnas en negativa bestämd matris som vilken vilja finnas fallet, om de pincipal minorsna växlar i skylt.
För det tvungna fallet per kritisk punkt finnas definierat i ordalag av den Lagrangian multiplikatormetoden. Anta tvånget finnas
var λ, den Lagrangian multiplikatorn, finnas väljat, för att ha de kritiska värdena tillfredsställa tvånget.
Den quadratic approximationsburken finnas nu uttryckt såsom
Sedan några avsteg alltifrån den kritiska punkten måsta tillfredsställer dessutom tvånget
därför
men nu H måster inte finnas heller positivt eller negativa bestämt för(en max eller minimum) ytterlighet, därför att dx och dy finnas inte oinskränkt; dvs. bara dx och dy sådan att pxdx + pydy = 0 finnas lovligt. Detta görar precisera beskaffenhetarna på H mycket besvärligt. Den mer avlägsna analysen av den tvungna fallviljan finnas senarelagt till efter det övervägande av det unconstrained fallet för tre variabler.
För en trinary funktion f(x, y, z) den quadratic approximationen av avstegen finnas
var nu H finnas gett vid
| | fxx fxy fxz | | ||
| H | = | | fyx fyy fyz | |
| | fzx fzy fzz | |
Såsom i etta och det två variabel unconstrained fallet det först beställningordalaget vanish, och beskaffenhetarna för ett minimum finnas den positiva definitenessen av H och på motsvarande sätt negativa definiteness för det maxt. Burken för de beskaffenhetar finnas i sin tur påstått i ordalag av skyltarna av föreståndaren som minors av H. finnas där ingenting det nya här härför fallet.
Fallet för vikt finnas härav att den tvungna fallburken för två variabel finnas restated i ordalag av ett fall för tre variabel genom användningen av den Lagrangian multiplikatormetoden.
I den Lagrangian multiplikatormetoden optimizationproblemet av att minimera f(x, y) med hänsyn till x och y-ämne till tvångs pxx + pyy = I finnas förbytts in i ett problem för tre variabel av unconstrained minimera
med hänsyn till x, y och λ.
Den först beställningbeskaffenheten för λ finnas
Den quadratic approximationen för L(x, y, λ) finnas alltså
På grund av satisficationen av tvången det först två ordalaget reducerar till noll och likewise tredjedelbeteckningen. Således värdet av dL finnas gett vid
De andra beställningconditonsna för den tvungna burken för fallet för två variabel finnas alltså påstått i ordalag av Hessian H* för det corrsponding fallet för tre variabel. Karaktären av H* finnas gett vid först notera det
Och således de andra derivata finnas gett såsom:
| | fxy fxx -px | | ||
| H * | = | | fyy fyx -py | |
| | -px -py 0 | |
Så detta finnas den gåtfullagränsade hessianen. Den positiva eller negativa definitenessen av H* finnas alltså de andra beställningbeskaffenhetarna för det tvungna optimizationproblemet.
|
HEMSIDA AVThayer Watkins |