为防止网络过拟合，在损失函数上增加一个网络参数的正则化项是一个常用方法，下面介绍如何在Tensorflow中添加正则化项。
tensorflow中对参数使用正则项分为两步:
step1: 创建一个正则方法(函数/对象)step2: 将这个正则方法(函数/对象),应用到参数上
下面详细介绍：
step1: 创建一个正则化方法
regularizer_l1 = tf.contrib.layers.l1_regularizer(scale, scope=None)
参数：
scale: 正则项的系数scope: 正则化函数的命名，一般可忽略
返回：
regularizer_l1 ： 是一个函数对象
可选择的其他正则化方法：
regularizer_l2 = tf.contrib.layers.l2_regularizer(scale, scope=None)regularizer__sum = tf.contrib.layers.sum_regularizer(regularizer_list, scope=None)
其中，regularizer_l2中参数的定义与regularizer_l1 相同。
regularizer_sum 是一个可以执行多种(个)正则化的函数.意思是,创建一个正则化方法,这个方法是多个正则化方法的混合体.，regularizer_list是一个regularizer的列表，如
regularizer_list = [regularizer_l1,regularizer_l2]
step2: 将定义的正则方法(函数/对象),应用到参数上
方法1：
tf.contrib.layers.apply_regularization(regularizer_l1, weights_list=None)
参数:
regularizer:就是我们上一步创建的正则化方法weights_list: 想要执行正则化方法的参数列表,如果为None的话,就取GraphKeys.WEIGHTS中的weights.
函数返回一个标量Tensor,同时,这个标量Tensor也会保存到GraphKeys.REGULARIZATION_LOSSES中.这个Tensor保存了计算正则项损失的方法.
tensorflow中的Tensor是保存了计算这个值的路径(方法),当我们run的时候,tensorflow后端就通过路径计算出Tensor对应的值。
现在,我们只需将这个正则项损失加到我们的损失函数上就可以了.
如果是自己手动定义weight的话,需要手动将weight保存到GraphKeys.WEIGHTS中,但是如果使用layer的话,就不用这么麻烦了,别人已经帮你考虑好了.(最好自己验证一下tf.GraphKeys.WEIGHTS中是否包含了所有的weights,防止被坑)
方法2（更常用）
在使用tf.get_variable()和tf.variable_scope()的时候,你会发现,它俩中有regularizer形参.如果传入这个参数的话,那么variable_scope内的weights的正则化损失,或者weights的正则化损失就会被添加到GraphKeys.REGULARIZATION_LOSSES中
import tensorflow as tffrom tensorflow.contrib import layers# 在tf.variable_scope()中加入regulizerregularizer_l1 = layers.l1_regularizer(0.1)with tf.variable_scope('var1', regularizer=regularizer_l1):weight1= tf.get_variable('weight1', shape=[8])with tf.variable_scope('var2',regularizer=regularizer_l1):weight2 = tf.get_variable('weight2', shape=[8])regularization_loss = tf.reduce_sum(tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES))# 打印正则项包含的变量print(tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES))
备注：正则化项常用于weights,而不用于bias,具体分析见：TensorFlow之四—正则化
参考：/liuzuoping/article/details/103821607
