AI.doll

このブログは僕のためのメモです。

$$ \newcommand{\inner}[2]{\langle #1, #2 \rangle} \newcommand{\matr}[1]{\boldsymbol{#1}} \newcommand{\pdif}[2]{\frac{\partial #1}{\partial #2}} \newcommand{\pdifn}[3]{\frac{\partial^{#1} #2}{\partial #3^{#1}}} \newcommand{\dif}[2]{\frac{d #1}{d #2}} \newcommand{\bracket}[1]{\left\langle #1 \right\rangle} $$

Bhattacharyya inequality

注意

MathJaxを使っていて, Covという文字列を式中に含めるとなぜかバグるので\(\mathrm{C}\)で代用しています. そのうち直せたら修正します。

Bhattacharyya 不等式

\(X=(X_1, \ldots, X_n)\)の分布が母数\(\theta\)を用いて\(f(X_1, \ldots, X_n|\theta)\)と表せて, \(\varphi(X)\)が\(\psi(\theta)\)の不偏推定量であるとすると,

$$ \begin{align} \mathrm{Var}[\varphi(X)] \geq C^\mathrm{T} B^{-1} C. \end{align} $$

ただし, \(i, j=1, \ldots, K\)として

$$ \begin{align} B_{ij} &= \left\langle\frac{\partial_\theta^i f(X|\theta)}{f(X|\theta)} \frac{\partial_\theta^j f(X|\theta)}{f(X|\theta)}\right\rangle\\ C_i &= \partial_\theta^i \psi(\theta) \end{align} $$

で, \(B\)は正則であるとする.

証明

ベクトル

$$ \begin{align} y=\left(\varphi(X)-\psi(\theta), \frac{\partial_\theta f(X|\theta)}{f(X|\theta)}, \ldots, \frac{\partial_\theta^K f(X|\theta)}{f(X|\theta)}\right) \end{align} $$

の共分散行列を考える. まず, \(\bracket{y}=0\)を示す. \(\bracket{\varphi(X)-\psi(\theta)}=0\)は定義から明らかである.

$$ \begin{align} \bracket{\frac{\partial_\theta^k f(X|\theta)}{f(X|\theta)}} &=\int dx f(x|\theta)\frac{\partial_\theta^k f(x|\theta)}{f(x|\theta)}\\ &=\int dx \partial_\theta^k f(x|\theta)\\ &=\partial_\theta^k \int dx f(x|\theta)\\ &=0. \end{align} $$

以上より\(y\)の期待値は\(0\)なので, \(y\)の各要素の積の期待値を取れば共分散がでる. \(\bracket{y_1 y_k}\)を考えると,

$$ \begin{align} \bracket{y_1 y_k} &= \bracket{(\varphi(X)-\psi(\theta))\frac{\partial_\theta^k f(X|\theta)}{f(X|\theta)}}\\ &= \int dx f(x|\theta)(\varphi(x)-\psi(\theta))\frac{\partial_\theta^k f(x|\theta)}{f(x|\theta)}\\ &= \partial_\theta^k \int dx \varphi(x) f(x|\theta) - \psi(\theta)\partial_\theta^k\int dx f(x|\theta)\\ &= \partial_\theta^k \psi(\theta). \end{align} $$

よって,

$$ \begin{align} B_{ij} &= \bracket{\frac{\partial_\theta^i f(X|\theta)}{f(X|\theta)} \frac{\partial_\theta^j f(X|\theta)}{f(X|\theta)}}\\ C_i &= \partial_\theta^i \psi(\theta) \end{align} $$

とすれば,

$$ \begin{align} \mathrm{C} [y] = \begin{pmatrix} \mathrm{Var}[\varphi(X)-\psi(\theta)] & C\mathrm{T}\\\ C & B \end{pmatrix}. \end{align} $$

\(B\)が正則であると仮定しているので, 次のような行列が定義できる:

$$ \begin{align} S = \begin{pmatrix} 1 & 0\\\ -B^{-1}C & I \end{pmatrix}. \end{align} $$

\(B\)が対象行列であることに注意して\(S, S^\mathrm{T}\)を共分散行列の両側からかけると,

$$ \begin{align} S^\mathrm{T} \mathrm{C}[y] S &= \begin{pmatrix} 1 & -C^\mathrm{T}B^{-1}\\\ 0 & I \end{pmatrix} \begin{pmatrix} \mathrm{Var}[\varphi(X)-\psi(\theta)] & C\mathrm{T}\\\ C & B \end{pmatrix} \begin{pmatrix} 1 & 0\\\ -B^{-1}C & I \end{pmatrix}\\ &= \begin{pmatrix} 1 & -C^\mathrm{T}B^{-1}\\\ 0 & I \end{pmatrix} \begin{pmatrix} \mathrm{Var}[\varphi(X)-\psi(\theta)] -C^\mathrm{T}B^{-1}C & C^\mathrm{T}\\\ 0 & B \end{pmatrix}\\ &= \begin{pmatrix} \mathrm{Var}[\varphi(X)-\psi(\theta)] -C^\mathrm{T}B^{-1}C & 0\\\ 0 & B \end{pmatrix}. \end{align} $$

ここで, \(S\)が正定値であることと共分散行列は半正定値であることから,

$$ \begin{align} \mathrm{Var}[\varphi(X)-\psi(\theta)] -C^\mathrm{T}B^{-1}C \geq 0. \end{align} $$