AI.doll

このブログは僕のためのメモです。

$$ \newcommand{\inner}[2]{\langle #1, #2 \rangle} \newcommand{\matr}[1]{\boldsymbol{#1}} \newcommand{\pdif}[2]{\frac{\partial #1}{\partial #2}} \newcommand{\pdifn}[3]{\frac{\partial^{#1} #2}{\partial #3^{#1}}} \newcommand{\dif}[2]{\frac{d #1}{d #2}} \newcommand{\bracket}[1]{\left\langle #1 \right\rangle} $$

2019-12-11から1日間の記事一覧

Chapman-Robbins inequality

Chapman-Robbins 不等式 \(X\)値確率変数\(x\)の確率密度関数を母数\(\theta\)を用いて\(f(x| \theta)\)とする. \(S(\theta)\)を以下のように定義する: $$ \begin{align} &f(x| \theta) > 0, \;\; a.e.\;x\in S(\theta)\\ &f(x| \theta) = 0, \;\; a.e.\;x\i…

Bhattacharyya inequality

注意 MathJaxを使っていて, Covという文字列を式中に含めるとなぜかバグるので\(\mathrm{C}\)で代用しています. そのうち直せたら修正します。 Bhattacharyya 不等式 \(X=(X_1, \ldots, X_n)\)の分布が母数\(\theta\)を用いて\(f(X_1, \ldots, X_n|\theta)\)…

Cramér-Rao inequality

Cramér-Rao 不等式 \( X=(X_1, \ldots, X_n)\)の分布が母数\( \theta\)を用いて\( f(X_1, \ldots, X_n|\theta)\)と表せるとする. \( \varphi(X)\)が\( \psi(\theta)\)の不偏推定量, つまり\( \left\langle\varphi(X)\right\rangle=\psi(\theta)\)のとき, $$ …

Jensen inequality

Jensen 不等式 を凸関数とすると. 証明 とすると, は単調非減少である. よって, を満たすが存在する. の範囲に注意してをかけると, 両辺の期待値をとって,

Lyapunov inequality

Lyapunov不等式 のとき, . 証明 Hölderの不等式でとすると, とできるので, 両辺を乗すると,

Minkowski inequality

Minkowski 不等式 のとき, . 証明 のときは三角不等式になり明らかに成り立つのでを考える. とすると, Hölder不等式から よって,

Hölder inequality

Hölder 不等式 がを満たすとき 証明 ① まずはYoung inequalityと呼ばれる以下の不等式を示す. に対して, を定数とみなして, の最小値を調べる. ただしは凸関数なので1階微分のみ調べればよい. よってを最小とするは よって. ② またはのときは明らかに成り立…

Cauchy-Shwarz inequality

Cauchy-Shwarz 不等式 $$ \begin{align} \int_X dx \left\{ f(x)g(x)\right\}^2 \leq \left\{\int_X dx f(x)^2\right\} \left\{\int_X dx g(x)^2\right\}. \end{align} $$ 証明 $$ h(t) = \int_X dx \left\{tf(x) + g(x)\right\}^2 $$ とすると, $$ h(t) = t…

確率不等式

確率不等式まとめ