サンJoséの州立大学

applet-magic.com
Thayer Watkins
シリコン・バレー
及び竜巻の通り道
米国

最適化のための第2順序の条件:
強いられ、自由にされる

この読書の目的はそれらが適切な状態なぜであるかそれらの第2順序の状態がであるが、またものしか読者が理解しないように最適化のための第2順序の条件の派生である。 拘束を受けない場合のために条件はヘシアンマトリックスと呼ばれる第2派生物のマトリックスの点では示される。 ヘシアンマトリックスは直観的に理解しやすい。 強いられた場合のための条件は接されたヘシアンと呼ばれるマトリックスの点では容易に示すことができる。 それが関連した実体なぜに関してであるか応用数学学生の生成が糸口なしで接されたヘシアンを受け入れた後生成。

第2順序の状態の直観的な派生の提供の目的を達成するためには1つは一般的なnの変数の例へ動く前に、2つそして3つの可変的な場合与えられる最初に。

1つの可変的な場合

この場合は従ってあるが分析セットほとんどとるに足らないより複雑な場合のための段階ようである簡単。

fを許可しなさい(x)は区別できる機能である。 fへの二次近似(x)ポイントの近くでx0は与えられる

f(x) = f(x0) + fx(x0)(x-x0) + ½fxx(x0)(x-x0)2
or, equivalently
df = fx(x0)dx + ½fxx(x0)(dx)2

dx=(x-x0) および df=f(x)-f(x0)一方。

屈曲点は x0 の価値そのような物ことfxx0) =0である。 fx なら(それから x0) =0

df = ½fxx(x0)(dx)2

最低のためにdfは肯定的でなければなり、(dx) 2以来fxx(x0) が肯定的でなければならないことを肯定的意味する常にである。 一方で最高のためにdfは否定的でなければなり、それはそのfxx(x0)をである否定的要求する。 この場合のためのヘシアンマトリックスはちょうど1×1マトリックスである[fxx(x0)]。 (以後第2派生物が明確に表現されない評価される従ってこの場合のためのヘシアンマトリックスはあると言われるポイント[fxx]。

この1可変的な場合のための対応する制約つき最適化問題がない。

2つの変数の例

区別できる機能fのためのポイント(x0、y0)についての二次近似(xのy)はある

df = fxdx + fydy + ½[fxxdxdx + fxydxdy + fyxdydx + fyydydy]
which can be expressed in the form

df = fxdx + fydy + ½(dx, dy)H(dx, dy)T

(dx、dy) Tが列ベクトル(dx、dy)の置換であるコラムのベクトルであるところ

  | fxx    fxy |
H = |              |
  | fyx    fyy |

屈曲点拘束を受けない場合のために1つはそのような物ことfx=0およびfy=0そうである

df = ½(dx, dy)H(dx, dy)T

第2順序の状態がそのHの最低のための肯定的で明確なマトリックスがありなさい。 主な未成年者がすべて肯定的であることがあることを明確ことを肯定的があるマトリックスのための条件。 最高のために、Hは主な未成年者が印で交互になれば事実である否定的で明確なマトリックスでなければならない。

屈曲点強いられた場合のためにLagrangian乗数方法の点では定義される。 抑制があることを仮定しなさい

pxx + pyy = I
in which case
the first order conditions are
fx = λpx
fy = λpy

重大な価値を抑制を満たしてもらうためにλ、Lagrangian乗数が、選ばれるところ。

二次近似はように今表現することができる

df = λpxdx + λpydy + ½(dx, dy)H(dx, dy)T

屈曲点からのどの偏差でもまた抑制を満たさなければならないので

pxdx + pydy = 0

従って

df = λ(pxdx + pydy) + ½(dx, dy)H(dx, dy)T
= ½(dx, dy)H(dx, dy)T

しかし今Hはdxおよびdyが制限されていなくないので極端のためにプラスでもマイナスでも明確でなくてもよろしくない(最高か最低); すなわちpxdxが+ pydy = 0許可されること、dxだけおよびdyそのような物。 これは作り条件を非常に困難にHで指定する。 強いられた場合のそれ以上の分析は3つの変数のための拘束を受けない言い分の考察の後まで延期される。

3つの変数の例

trinary機能fのため(x、yは、z)偏差の二次近似ある

df = fxdx + fydy + fzdz + ½(dx, dy, dz)H(dx, dy, dz)T

今Hが与えられるところ

  | fxx    fxy    fxz |
H = | fyx    fyy    fyz |
  | fzx    fzy    fzz |

1および2可変的で拘束を受けない場合でように最初の順序の言葉は消失し、最低のための条件はHの肯定的なdefinitenessおよび最高のための同様に否定的なdefinitenessである。 それらの条件はH.の主な未成年者の印の点ではそれから示すことができる。 この場合のためここに何も新しいことではない。

この場合の重大さは強いられた2つの変数の例がLagrangian乗数方法の使用による3つの変数の例の点では再表明することができることである。

Lagrangian乗数方法fを最小にする最適化問題(抑制のpxxに応じるxそしてyに関するxは、y)拘束を受けない最小になる3つの変数問題に+ pyy = I変形する

L(x,y,λ) = f(x,y) - λ(pxx + pyy - I)

x、yおよびλに関して。

λのための最初の順序の条件はある

Lλ = pxx + pyy - I = 0
which is equivalent to satisfying the constraint.

L (x、yのλ)のための二次近似はそれからある

dL = Lxdx + Lydy + Lλ
+ ½(dx, dy, dλ)H*(dx, dy, dλ)T
which on the basis
of the definition of L reduces to
dL = fxdx + fydy + (pxx + pyy - I)dλ + ½(dx, dy, dλ)H*(dx, dy, dλ)T
and for the first order conditions
dL = λpxdx + λpydy + (pxx + pyy - I)dλ
+ ½(dx, dy, dλ)H*(dx, dy, dλ)T

抑制の満足のために最初の2つの言葉はゼロおよび同様に第3言葉に減る。 従ってdLの価値は与えられる

dL = + ½(dx, dy, dλ)H*(dx, dy, dλ)T

強いられた2つの変数の例のための第2順序の条件は対応する3つの変数の例のためのヘシアンH*の点ではそれから示すことができる。 H*の特性は最初にそれに注意することによって与えられる

Lx = fx - λpx
Ly = fy - λpy
Lλ = -(pxx + pyy - I)

そしてこうして第2派生物は次のように与えられる:

  | fxx    fxy    -px |
H* = | fyx    fyy    -py |
  | -px    -py    0   |

従ってこれは解き難い接されたヘシアンである。 H*の肯定的か否定的なdefinitenessはそれから制約つき最適化問題のための第2順序の条件を構成する。


applet-magic.comのホームページ
Thayer Watkinsのホームページ