开始的疑问是，如果考虑的问题是形如

的去噪问题，那么能用CV的方法来选择最优参数吗，假设取90%的数据作为训练集，在训练集上应该只能得到这90%的数据所对应的估计x，那要怎么得到测试集数据的估计？直觉是这样的模型是不能用CV选择参数的，但之前听说在图像恢复问题中是可以用GCV来选择参数的，所以一直对这个参数选择过程存在一些疑惑.这次仔细看了下几篇文章，发现CV方法确实是不适用于上述问题的，但GCV貌似是可以的，不过仅从给出的公式来看并不能得到这个结论，所以GCV到底能不能用还得再仔细分析一下，以后有时间再看吧.在图像恢复问题中，如果模糊算子H不是对角的，GCV和CV应该都是适用的.

普通交叉验证[1,2]：

考虑多元线性回归

是响应变量，已知，是白噪声，考虑如下最小化问题：

则有的估计

令表示 是提出了第k 个数据后得到的估计结果，即

交叉验证的基本思想是，如果此时的是一个好的参数，则应该是的一个好的估计，因此定义了如下的CV函数：

从而，的最佳估计是.

注意：如果X是对角矩阵，那么在剔除第k个元素后，是不能得到合理的的，这个时候是0，

所以最小化CV函数是得不到的估计的. 特别地，如果X是单位矩阵，自然也不能用CV的方法来选择正则化参数。

广义交叉验证[2]

广义交叉验证是旋转不变的交叉验证(什么是旋转不变?)

仅从这个公式来看，GCV只是加权后的CV，不太明白为什么可以克服X是对角矩阵对CV的限制.

图像恢复问题中的正则化参数选择[3]

考虑图像模型

其中 是观测图像，是恢复图像，是已知的模糊矩阵，是噪声. 图像恢复问题可以考虑求解下列最小化问题：

引入辅助变量u, 则利用变量分裂法可以将问题转化为：

从而，上述问题可以利用交替迭代来求解.

令，考虑下述问题中正则化参数的选择

, 注： v 是在计算u的过程中产生的(与我们关心的问题无关，所以没仔细看).

有

从而的最佳估计是.

只看的表达式的话，如果H是单位矩阵应该也不行啊，奇奇怪怪.

Allen, David M. The Relationship Between Variable Selection and Data Agumentation and a Method for Prediction. Technometrics, Vol. 16, No. 1 (February, 1974), pp. 125-127./10.1080/00401706.1974.10489157Golub, G.H., Heath, M., Wahba, G.: Generalized cross-validation as a method for choosing a good ridge parameter. Technometrics 21(2), 215–223 (1979)./10.1080/00401706.1979.10489751Haiyong Liao, Fang Li, and Michael K. Ng, Selection of regularization parameter in total variation image restoration,J. Opt. Soc. Am. A26, 2311-2320 ()./10.1364/JOSAA.26.002311