残差连接的结构以及激活函数的选择

请问残差连接为什么是左边这种形式，右边这种不行吗。还有残差连接的激活函数一定是relu 吗，我使用了其它的激活函数，但是层数增加后，网络效果变差了。

img

一般用 relu，有效避免梯度爆炸

不知道你这个问题是否已经解决, 如果还没有解决的话:

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^