在神经网络中容易出现梯度爆炸的问题，有的地方说是可以用 relu 激活函数来解决，用起来也确实有效果，有点想不通这里面的原理是什么呢？

This topic created in 2933 days ago, the information mentioned may be changed or developed.

2 replies

66450146

Oct 23, 2018

f'(x) = 1 就不会有 vanishing gradient 了😂

alixali

Oct 23, 2018

这个问题在输入数据维度高的时候，和网络层数多的时候出现了，更像是和网络的节点数有关系。