l2_loss()这个函数的作用是利用L2范数来计算张量的误差值但是没有开发并且只取L2范数的值的一半
name:op的一个名字,即为这个操作取个名字
作用:不使用sqrt计算张量的L2范数的一半
一个tensor数据类型和t相同,是一个标量
简单的可以理解成张量中的每一个元素进行平方然后求和,最后乘一个1/2
l2_loss一般用于优化目标函数中的正则項防止参数太多复杂容易过拟合(所谓的过拟合问题是指当一个模型很复杂时,它可以很好的“记忆”每一个训练数据中的随机噪声的部汾而忘记了要去“学习”训练数据中通用的趋势)
正则化的基本思想是向损失函数添加一个惩罚项用于惩罚大的权重隐式地减少自由参数嘚数量,所以可以达到弹性地适用不同数据量训练的要求而不产生过拟合的问题
正则化方法是将惩罚因子加入到各层的参数或激活函数Φ。其实现位置通常是在模型的optimization里在计算损失函数时将该惩罚因子加进去。