再生核方法-第四章算子的应用

再生核方法-第四章算子的应用

一般非线性回归的变量选择

考虑模型

y_{i} = f^{*} (x_{i}) + ε_{i},

其中

x_{i} \in R^{d}

，中

f^{*}

来自于一个对称正定核

k

诱导出的再生核希尔伯特空间

H

。定义偏导函数的

L_{2} (P)

范数

\begin{matrix} (1.1) & ‖ \frac{\partial f}{\partial x^{a}} ‖_{P} = \sqrt{\int (\frac{\partial f (x)}{\partial x^{a}})^{2} d P (x)} . \end{matrix}

在一定条件下，有

‖ \frac{\partial f}{\partial x^{a}} ‖_{P} = 0 \Rightarrow f

关于

x_{a}

是常数。

(1.1)

的样本版本为

‖ \frac{\partial f}{\partial x^{a}} ‖_{n} = \sqrt{\frac{1}{n} \sum_{i = 1}^{n} (\frac{\partial f (x_{i})}{\partial x^{a}})^{2}},

其中

\frac{\partial f}{\partial x^{a}}

表示

f

关于第

a

个分量的偏导数。

我们考虑如下最小化如下正则化的泛函来求解函数 $f$ ，并实现变量选择，

\begin{matrix} (1.2) & {\hat{E}}^{τ} (f) = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - f (x_{i}))^{2} + τ (2 {\hat{Ω}}_{1}^{D} (f) + ν ‖ f ‖_{H}^{2}) . \end{matrix}

添加

ν ‖ f ‖_{H}^{2}

项是为了泛函的强凸性，从而保证解的唯一性，也保证算法的稳定性。

推导新的表示定理

由核函数的再生性可得,对 $\forall f \in H, x \in X,$

f (x) = ⟨ f, k_{x} ⟩_{H}

定义抽样算子

\hat{S}

，它输出一个函数

f \in H

在样本点的取值，即

\hat{S} : H \to R^{n}, (\hat{S} f)_{i} = ⟨ f, k_{x_{i}} ⟩, i = 1, \dots, n .

如果核函数有界，则该算子是线性且有界的（见参考文献）。由定义和再生性可知：

(\hat{S} f)_{i} = f (x_{i}) .

下面介绍一下再生核理论如何实现导数的有效计算。记核函数关于第一个变量的偏导数为

(\partial_{a} k)_{x} \equiv \frac{\partial k (s, \cdot)}{\partial s^{a}} |_{s = x} .

根据Zhou(2008)中定理1有：如果 $k$ 为至少二次可微函数( $k \in C^{2} (X \times X)$ )，则对 $\forall x \in X$ 有 $(\partial_{a} k)_{x} \in H$ 并且对于 $a = 1, \dots, d,$

\frac{\partial f}{\partial x^{a}} = ⟨ f, (\partial_{a} k)_{x} ⟩ .

于是，关于导数可以定义类似的抽样算子：

{\hat{D}}_{a} : H \to R^{n}, ({\hat{D}}_{a} f)_{i} = ⟨ f, (\partial_{a} k)_{x_{i}} ⟩, i = 1, \dots, n .

进一步，定义经验梯度算子：

\hat{\nabla} : H \to (R^{n})^{d}, \hat{\nabla} f = ({\hat{D}}_{a} f, a = 1, \dots, d)

. 在一定条件下，可以证明这些算子都是线性且有界的。

记 $F (f) = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - f (x_{i}))^{2} + τ ν ‖ f ‖_{H}^{2}$ ，则根据算子定义，可以重写成：

\begin{matrix} (1.3) & F (f) = \frac{1}{n} ‖ Y - \hat{S} f ‖^{2} + τ ν ‖ f ‖_{H}^{2}, \end{matrix}

其中

Y = (y_{1}, \dots, y_{n})^{T}

。于是，泛函

F

关于

f

的导数为

\nabla F (f) = \frac{2}{n} {\hat{S}}^{*} (\hat{S} f - Y) + 2 τ ν f,

其中

{\hat{S}}^{*}

为

\hat{S}

的伴随算子。

对于任意算子 $A : W \to V$ ,定义它的值空间（也叫Range空间）为：

R a n g e (A) = {A w : \forall w \in W} \subset V .

定义它的零空间（也叫kernel空间）为：

K e r (A) = {w : A w = 0, w \in W} .

新表示定理的证明：因为 $R a n g e ({\hat{S}}^{*}) + R a n g e ({\hat{V}}^{*})$ （此处加号指两个集合的并）是 $H$ 的一个闭子空间，于是对任意函数 $f \in H$ 存在存在正交分解： $f = f^{/ /} + f^{⊥}$ ，其中 $f^{/ /} \in R a n g e ({\hat{S}}^{*}) + R a n g e ({\hat{V}}^{*})$ ，而 $f^{⊥} ⊥ {R a n g e ({\hat{S}}^{*}) + R a n g e ({\hat{V}}^{*})}$ . 将该分解代入 $(1.2)$ ，分别考察目标函数中每一项与 $f$ 分解的依赖关系。第一项只通过 $f (x_{i})$ 与 $f$ 产生关系，有 $f (x_{i}) = ⟨ k_{x_{i}} ， f ⟩ = ⟨ k_{x_{i}} ， f^{/ /} ⟩ + ⟨ k_{x_{i}} ， f^{⊥} ⟩$

本内容参考文献：
Rosasco, et al., Nonparameteric Sparsity and Regularization, 2013, JMLR.

再生核方法-第四章 算子的应用

一般非线性回归的变量选择

推导新的表示定理

再生核方法-第四章算子的应用