注意
MathJaxを使っていて, Covという文字列を式中に含めるとなぜかバグるので\(\mathrm{C}\)で代用しています.
そのうち直せたら修正します。
Bhattacharyya 不等式
\(X=(X_1, \ldots, X_n)\)の分布が母数\(\theta\)を用いて\(f(X_1, \ldots, X_n|\theta)\)と表せて,
\(\varphi(X)\)が\(\psi(\theta)\)の不偏推定量であるとすると,
$$
\begin{align}
\mathrm{Var}[\varphi(X)] \geq C^\mathrm{T} B^{-1} C.
\end{align}
$$
ただし, \(i, j=1, \ldots, K\)として
$$
\begin{align}
B_{ij} &= \left\langle\frac{\partial_\theta^i f(X|\theta)}{f(X|\theta)} \frac{\partial_\theta^j f(X|\theta)}{f(X|\theta)}\right\rangle\\
C_i &= \partial_\theta^i \psi(\theta)
\end{align}
$$
で, \(B\)は正則であるとする.
証明
ベクトル
$$
\begin{align}
y=\left(\varphi(X)-\psi(\theta), \frac{\partial_\theta f(X|\theta)}{f(X|\theta)}, \ldots, \frac{\partial_\theta^K f(X|\theta)}{f(X|\theta)}\right)
\end{align}
$$
の共分散行列を考える.
まず, \(\bracket{y}=0\)を示す.
\(\bracket{\varphi(X)-\psi(\theta)}=0\)は定義から明らかである.
$$
\begin{align}
\bracket{\frac{\partial_\theta^k f(X|\theta)}{f(X|\theta)}}
&=\int dx f(x|\theta)\frac{\partial_\theta^k f(x|\theta)}{f(x|\theta)}\\
&=\int dx \partial_\theta^k f(x|\theta)\\
&=\partial_\theta^k \int dx f(x|\theta)\\
&=0.
\end{align}
$$
以上より\(y\)の期待値は\(0\)なので, \(y\)の各要素の積の期待値を取れば共分散がでる. \(\bracket{y_1 y_k}\)を考えると,
$$
\begin{align}
\bracket{y_1 y_k} &= \bracket{(\varphi(X)-\psi(\theta))\frac{\partial_\theta^k f(X|\theta)}{f(X|\theta)}}\\
&= \int dx f(x|\theta)(\varphi(x)-\psi(\theta))\frac{\partial_\theta^k f(x|\theta)}{f(x|\theta)}\\
&= \partial_\theta^k \int dx \varphi(x) f(x|\theta) - \psi(\theta)\partial_\theta^k\int dx f(x|\theta)\\
&= \partial_\theta^k \psi(\theta).
\end{align}
$$
よって,
$$
\begin{align}
B_{ij} &= \bracket{\frac{\partial_\theta^i f(X|\theta)}{f(X|\theta)} \frac{\partial_\theta^j f(X|\theta)}{f(X|\theta)}}\\
C_i &= \partial_\theta^i \psi(\theta)
\end{align}
$$
とすれば,
$$
\begin{align}
\mathrm{C} [y] =
\begin{pmatrix}
\mathrm{Var}[\varphi(X)-\psi(\theta)] & C\mathrm{T}\\\
C & B
\end{pmatrix}.
\end{align}
$$
\(B\)が正則であると仮定しているので, 次のような行列が定義できる:
$$
\begin{align}
S =
\begin{pmatrix}
1 & 0\\\
-B^{-1}C & I
\end{pmatrix}.
\end{align}
$$
\(B\)が対象行列であることに注意して\(S, S^\mathrm{T}\)を共分散行列の両側からかけると,
$$
\begin{align}
S^\mathrm{T} \mathrm{C}[y] S &=
\begin{pmatrix}
1 & -C^\mathrm{T}B^{-1}\\\
0 & I
\end{pmatrix}
\begin{pmatrix}
\mathrm{Var}[\varphi(X)-\psi(\theta)] & C\mathrm{T}\\\
C & B
\end{pmatrix}
\begin{pmatrix}
1 & 0\\\
-B^{-1}C & I
\end{pmatrix}\\
&=
\begin{pmatrix}
1 & -C^\mathrm{T}B^{-1}\\\
0 & I
\end{pmatrix}
\begin{pmatrix}
\mathrm{Var}[\varphi(X)-\psi(\theta)] -C^\mathrm{T}B^{-1}C & C^\mathrm{T}\\\
0 & B
\end{pmatrix}\\
&=
\begin{pmatrix}
\mathrm{Var}[\varphi(X)-\psi(\theta)] -C^\mathrm{T}B^{-1}C & 0\\\
0 & B
\end{pmatrix}.
\end{align}
$$
ここで, \(S\)が正定値であることと共分散行列は半正定値であることから,
$$
\begin{align}
\mathrm{Var}[\varphi(X)-\psi(\theta)] -C^\mathrm{T}B^{-1}C \geq 0.
\end{align}
$$
