激活函数为啥要关于零点对称比较好

问题描述

为啥说激活函数最好具有关于零点对称的性质,不关于零点对称会导致收敛变慢?

网上查了一些文章也还是没有弄明白,要是能讲得通俗易懂、深入浅出一些就好了😝

也不是绝对关于零点对称就慢,如果是这样,那ReLU速度应该比Tanh慢才对,但是实际上ReLU可比Tanh快很多收敛。
你说的应该是下面链接里面的情况,公式推理很详细了。