一直想问，既然relu杀掉所有负值，那假如正确的输出里本应该有负值，用relu岂不是永远找不到正确的模型？哪怕是一个简单的非线性回归，输入结果也应该有负值吧？假如每一层都用了relu做activation function，岂不是永远也找不到正确的模型吗，但是我看到很多程序还真都是用relu做激活，不知道是我对relu的理解有问题，还是对training的理解有问题。。。。提前感谢！
relu使得某些神经元失效，起到一个分类的作用。
比如说用来训练x1 xor x2 = y这个函数
输入层是
x1
x2
隐层是
h1
h2
输出层是
y
那么当x1=x2=0的时候，h1=0 h2被抑制，x1=x2=1的时候，h2=0 h1被抑制
如果没有激活函数
结果就是，h1 h2会出现两个矛盾的结果
最后永远不收敛。