什么样的数据集不适合用深度学习？

1、数据集太小，数据样本不足时，深度学习相对其它机器学习算法，没有明显优势。

2、数据集没有局部相关特性，目前深度学习表现比较好的领域主要是图像／语音／自然语言处理等领域，这些领域的一个共性是局部相关性。图像中像素组成物体，语音信号中音位组合成单词，文本数据中单词组合成句子，这些特征元素的组合一旦被打乱，表示的含义同时也被改变。对于没有这样的局部相关性的数据集，不适于使用深度学习算法进行处理。举个例子：预测一个人的健康状况，相关的参数会有年

阅读全文 → 2022-12-24

为什么LSTM模型中既存在sigmoid又存在tanh两种激活函数，而不是选择统一一种sigmoid或者tanh？这样做的目的是什么？

sigmoid 用在了各种gate上，产生0~1之间的值，这个一般只有sigmoid最直接了，相当于要么是1则记住，要么是0则忘掉。

tanh 用在了状态和输出上，是对数据的处理，这个用其他激活函数或许也可以。

二者目的不一样

另可参见A Critical Review of Recurrent Neural Networks for Sequence Learning的section4.1，说了那两个tanh都可以替换成别的。

阅读全文 → 2022-12-22

为什么引入非线性激励函数？

深度学习的前提是神经网络的隐层加上了非线性激活函数，提升了模型的非线性表达能力，使得神经网络可以逼近任意复杂的函数。假如有一个100层的全连接神经网络，其隐层的激活函数都是线性的，则从输入层到输出层实际上可以用一层全连接来等价替换，这样就无法实现真正的深度学习。举个简单的例子，线性函数 f(x)=2x+3 对 x 经过三次相同的线性变换等价于对 x 只进行一次线性变换：f(f(f(x)))=2(2(2x+3)+3)+3=8x+21。

阅读全文 → 2022-12-22

LSTM结构推导，为什么比RNN好？

推导forget gate，input gate，cell state， hidden information等的变化；因为LSTM有进有出且当前的cell informaton是通过input gate控制之后叠加的，RNN是叠乘，因此LSTM可以防止梯度消失或者爆炸。

阅读全文 → 2022-12-22

为什么不同的机器学习领域都可以使用CNN，CNN解决了这些领域的哪些共性问题？他是如何解决的？

CNN的关键是卷积运算，卷积核与卷积输入层进行局部连接可以获取整个输入的局部特征信息或者说是每个输入特征的组合特征。所以CNN的本质是完成了特征提取或者说是对原始特征的特征组合工作，从而增加模型的表达能力。不同领域的机器学习都是通过数据的特征进行建模，从而解决该领域的问题。故CNN解决了不同领域的特征提取问题，所用的方法是基于局部连接／权值共享／池化操作／多层次结构。

阅读全文 → 2022-12-22

到底什么是深度学习I/O的驱动能力？

这时驱动能力是指，在小于等于最大输入电流的情况下，I/O引脚可以正常的输出逻辑0。道理同上，流过N-MOS电流越大，N-MOS产生压降越大，I/O口电压越大。当电压达到逻辑0的最高电压Vol时，这时的电流就表示驱动能力。

以上看明白后，文章开头的3个问题也就有了答案，

1）I/O驱动能力是指在同时满足Voh(输出引脚为逻辑1时的最小电压值) 和 Vol(输出引脚为逻辑0时的最大电压值）前提下，最大可以输出和吸收的电流大小。Voh和Vol的值在芯片

阅读全文 → 2022-12-22

首页上一页 108 109 110 111 112 113 114 115 116 117 下一页尾页