AI.doll

このブログは僕のためのメモです。

$$ \newcommand{\inner}[2]{\langle #1, #2 \rangle} \newcommand{\matr}[1]{\boldsymbol{#1}} \newcommand{\pdif}[2]{\frac{\partial #1}{\partial #2}} \newcommand{\pdifn}[3]{\frac{\partial^{#1} #2}{\partial #3^{#1}}} \newcommand{\dif}[2]{\frac{d #1}{d #2}} \newcommand{\bracket}[1]{\left\langle #1 \right\rangle} $$

Chapman-Robbins inequality

Chapman-Robbins 不等式

\(X\)値確率変数\(x\)の確率密度関数を母数\(\theta\)を用いて\(f(x| \theta)\)とする. \(S(\theta)\)を以下のように定義する:

$$ \begin{align} &f(x| \theta) > 0, \;\; a.e.\;x\in S(\theta)\\ &f(x| \theta) = 0, \;\; a.e.\;x\in X-S(\theta). \end{align} $$

\(\varphi(x)\)を母数\(\theta\)の不偏推定量であるとする. \(S(\theta + h)\subset S(\theta)\)となるような\(h(\neq 0)\)を考えると,

$$ \begin{align} \mathrm{Var}_\theta[\varphi(x)]\geq\frac{1}{\inf_{h} \bracket{J(\theta, h)}_\theta}. \end{align} $$

ただし,

$$ \begin{align} J(\theta, h) = \frac{1}{h^2}\left[\left\{\frac{f(x|\theta+h)}{f(x|\theta)}\right\}^2-1\right]. \end{align} $$

また, 条件を満たすような\(h\)が存在しない場合でも \(\inf_{h} \bracket{J(\theta, h)} _ \theta = \infty \)とすれば不等式は成立する. (\(\inf \)に関してこういうことをするのは割と普通らしい?)

証明

条件を満たす\(h\)が存在するとき,

$$ \begin{align} &\bracket{(\varphi(x)-\theta)\frac{f(x|\theta+h)-f(x|\theta)}{hf(x|\theta)}}_\theta \\ &= \int_{S(\theta)}dx (\varphi(x)-\theta)\frac{f(x|\theta+h)-f(x|\theta)}{h}\\ &= \frac{1}{h}\left\{\left( \int_{S(\theta+h)}dx \varphi(x)f(x|\theta+h) - \int_{S(\theta)}dx \varphi(x)f(x|\theta) \right) + \theta\left( \int_{S(\theta+h)}dx f(x|\theta+h) - \int_{S(\theta)}dx f(x|\theta+h) \right) \right\}\\ &= \frac{1}{h}\left\{(\theta + h - \theta)+\theta(1-1)\right\}\\ &= 1. \end{align} $$

Cauchy-Schwartz 不等式から,

$$ \begin{align} \bracket{(\varphi(x)-\theta)\frac{f(x|\theta+h)-f(x|\theta)}{hf(x|\theta)}}_\theta^2=1 &\leq \bracket{(\varphi(x)-\theta)^2}_\theta\bracket{\left\{\frac{f(x|\theta+h)-f(x|\theta)}{hf(x|\theta)}\right\}^2}_\theta\\ &=\mathrm{Var}_\theta[\varphi(x)] \frac{1}{h^2}\bracket{\left\{\frac{f(x|\theta+h)}{f(x|\theta)}\right\}^2 - 2\frac{f(x|\theta+h)}{f(x|\theta)}+1}_\theta\\ &=\mathrm{Var}_\theta[\varphi(x)] \frac{1}{h^2}\left[\bracket{\left\{\frac{f(x|\theta+h)}{f(x|\theta)}\right\}^2}_\theta-1\right]. \end{align} $$

ここで,

$$ \begin{align} J(\theta, h) = \frac{1}{h^2}\left[\left\{\frac{f(x|\theta+h)}{f(x|\theta)}\right\}^2-1\right] \end{align} $$

とすれば,

$$ \begin{align} \mathrm{Var}_\theta[\varphi(x)]\geq\frac{1}{\bracket{J(\theta, h)}_\theta} \end{align} $$

ここで, \(S(\theta+h)\subset S(\theta)\)を満たせば\(h\)は任意に取れるのでこの条件の下で\(\inf\)を取れば,

$$ \begin{align} \mathrm{Var}_\theta[\varphi(x)]\geq\frac{1}{\inf_{h} \bracket{J(\theta, h)}_\theta}. \end{align} $$

補足(お気持ち)

\( \bracket{\frac{f(x|\theta+h)}{f(x|\theta)}}_\theta = 1 \) から,

$$ \begin{align} \bracket{J(\theta, h)}_\theta &= \frac{1}{h^2}\left[\bracket{\left\{\frac{f(x|\theta+h)}{f(x|\theta)}\right\}^2}_\theta -\bracket{\frac{f(x|\theta+h)}{f(x|\theta)}}_\theta^2 \right]\\ &= \frac{1}{h^2}\mathrm{Var}_\theta\left[\frac{f(x|\theta+h)}{f(x|\theta)}\right]. \end{align} $$

\(f\)の\(S\)を狭めるような\(h\)を取ったときの確率密度関数の変わり具合のばらつきが大きいほど右辺は小さくなる. つまり, 母数に対して確率密度関数が敏感なほど推定のばらつきは小さくできる. (分母の\(h ^ 2\)は母数がいっぱい変われば確率密度関数もいっぱい変わるのでそれを打ち消すような感じ...?)