下列关于RNN、LSTM、GRU说法正确的是()。
A.RNN引入了循环的概念
B.LSTM可以防止梯度消失或者爆炸
C.GRU是LSTM的变体
D.RNN、LSTM、GRU是同一神经网络的不同说法,没有区别
A.使用sigmod函数容易出现梯度消失
B.sigmod的导数形式较为复杂
C.双曲正切更简单
D.sigmoid函数实现较为复杂
A.正向传播更新参数
B.正向传播计算结果
C.反向传播更新参数
D.反向传播计算结果
A.根据链式法则,如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话,那么即使这个结果是0.99,在经过足够多层传播之后,误差对输入层的偏导会趋于0
B.可以采用ReLU激活函数有效的解决梯度消失的情况
C.根据链式法则,如果每一层神经元对上一层的输出的偏导乘上权重结果都大于1的话,在经过足够多层传播之后,误差对输入层的偏导会趋于无穷大
D.可以通过减小初始权重矩阵的值来缓解梯度爆炸